BigQueryにTwitterのタイムラインを入れる [Ruby]

Twitter のタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら 4 年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、MongoDB や MySQL とか Groonga とかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えると BigQuery が現代にマッチしてるようなのでそちらに移行した。 BigQuery に TL を保存するとできること TL の全てのデータをフルスキャンできる。これはかなり便利で、今回このブログ記事を書くにあたっても ‘BigQuery’ を TL から検索すれば、信頼できるフォローイングの人々の声を見ることができた。これにより「某 CA 社では 5000 台の MongoDB クラスタで BigQuery に対抗している」という

[sora_h]

akane.gem っていう便利な timeline のストリーム処理できる奴があるので、後でプラグイン書いて同じようなことやってみよう

[kksg]

ライフハック記事書いた

[stumsky]

「某CA社では5000台のMongoDBクラスタでBigQueryに対抗している」 BigQueryにTwitterのタイムラインを入れる [Ruby] - 9mのブログ

[u1tnk]

もうRedshiftで良いんじゃないかと思ってたのに手を出す前にBigQueryで良いんじゃないか疑惑。集計もできるんだよね？？

[kasumani]

BigQueryにTwitterのタイムラインを入れる [Ruby] Twitterのタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら4年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサー

[nilab]

BigQueryにTwitterのタイムラインを入れる [Ruby] - 9mのブログ

[a-know]

なるほど、タイムラインを。コードもあとでチェックする

[kimutansk]

TwitterのタイムラインをBigQueryに入れておくのは何かと便利そうですね。ヤバさは同意です。

[oranie]

「某CA社では5000台のMongoDBクラスタでBigQueryに対抗している」という不確かな情報まで獲得することができました。

[itiut]

ストレージ代は $0.026 per GB, per month なので1TBあたり月額 $26 なのでは？

[akuwano]

“これにより「某CA社では5000台のMongoDBクラスタでBigQueryに対抗している」という不確かな情報まで獲得することができました。”この情報不確かなわりにディテールが細かすぎるでしょｗｗｗ

[tarchan]

＞Google API 叩いたら JSON Schema で仕様返ってきて便利だった。

[shinagaki]

Twitter社が有料でそういうB2Cサービスやってくれれば、無駄がないのに

[YuichiTanaka]

うお、JSONも展開できるんだ。

[quabbin]

BigQueryは、クエリ言語に少し癖がありますけど、良いサービスですよね

[mikage014]

TL全部流し込んで検索できたら便利かも

[dayafterneet]

“これにより「某CA社では5000台のMongoDBクラスタでBigQueryに対抗している」という不確かな情報まで獲得することができました。”

[nasneg]

“となにかと便利なので、色々と保存形式を変えながら4年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、MongoDBやMySQLとかGroongaとかいろいろやっ

[karupanerura]

アツイ

[sonots]

CA社さんは5000台のmongodbでBigQueryに対抗しようとしているとな？

[kanameishi]

twisave.com

[FumblePerson]

そろそろBigData系もある程度知っておかないとと思いつつ、学習コスト高いのが…と思ってたけど、もうBigQueryで良いんじゃないか疑惑

[ikosin]

“Twitterのタイムラインを保存しておくとなにかと便利”

[onigra]

よさそう