Ancient-Scapes/visualization-twitter-grass

CSVファイルを使用しないモード

Opened this issue · 2 comments

Twilogをスクレイピングして日毎のツイート数をカウントすれば、CSVファイル無しでも行けそうです。
しかしながら、

  • CSVファイルと違ってDOM構造は変化が激しそう
  • スクレイピングするコードを書くのがつらそう
  • Twilogがクロスオリジン通信を許可していない場合別途プロキシサーバーが必要
  • パフォーマンスが悪そう

などのマイナス要素があるので、どなたかが他に良い案を思いつくことを期待します😎

スクレイピングは当初構想に入ってましたがユーザーが多いとTwilog側の負荷が高そうだと思ったので除外しました…

Twilogのデータを利用するのであればcsvを用意してくれているのでそちらを使ったほうが良いと判断した結果です👍

あと何より動作速度が多分きついと思います……

多分一番簡単なのはTwitterのOAuth認証させてTwitter公式APIで取得する方法だと思うんですが、なんか7日間しか取れなくて無理矢理何回も叩いて過去のツイート取得するのが正攻法らしくてしんどそうだなと思いました