※ 2016/2/12 追記 : BANされました。
以前作った FX絶叫bot が遂に逝ったようだ。おそらく最近の荒れ相場の影響でツイッターの投稿限界を突破してしまいBANされたのだろう。無いだろうけど需要あればまた設置します。 pic.twitter.com/4pQbJoCOFB
— ラマ (@pacstrap) 2016, 2月 12
最近FXを再開してしまった。ポジ保有時間を極力減らすという、独自の低リスク手法が功を奏しているのかどうかはわからないけど、今のところ微妙にプラスだ。
それはともかく、僕はトレードしながら2ちゃんねるの市況板を頻繁に見る。参考になる書き込みはほぼ無いのだけれど、まあスポーツ観戦みたいなもので、刻々と動いていく株価だったりFXのレートを皆でドキドキしながら見守る臨場感が好きなのだ。
ただ、いつも張り付いているわけでは無いから、大幅な下落があったりする瞬間に立ち会えないこともある。そこで2ちゃんのスレを監視しつつ、絶叫系コメントを抽出して自動でつぶやくボットを作ってみた。
役にたたないものを作るという行為は贅沢で高尚な行いだと思う。
.dat取れないから力技でスクレイピング
今はスレッドデータファイル(.dat)を無許可で取得できないらしい。元管理人との権利争いがどのうこうのってやつだ。詳しくは知らない。
2ch.scはこれまで通り.datを取ってこれるが、未だに2ch.netの利用者は多く、またscの方にログが反映されるのに数分のタイムラグがあるので、出来ればオリジナルの2ch.netからリアルタイム性のあるデータを取ってきたい。
なので今回はかなり力技だが、通常のスレッド表示データを逆にdat化してしまうことにした。とは言ってもsimple_html_dom.phpなどのスクレイピング用ライブラリを使うほどでは無いので、自分で正規表現をゴリゴリ書いて実装してみた。
2ch.netからAPIの使用許可が降りなかった専ブラ製作者も、別に.datにこだわらずに、頑張ってhtmlを整形すればこれまで開発を通り続けられるんじゃないかな。
Error 1007 Access denied
ローカルでは問題無かったのに、さくらサーバーからだと2ch.netへアクセスできなかった。これは多分クロール対策だと思うがなかなかの徹底ぶりだと思った。以前の2chなら考えられない。
レンタルサーバーが規制されるとなると、おそらくプロキシ系も全滅だろう。これは参りました。
ということで結局2ch.scを使うことになった。最悪、自宅のraspberry piサーバーを使えば.netへのアクセスも大丈夫だろうが、そこまでして遂行するほどのプロジェクトではないことは確かだ。