BigQueryにTwitterのタイムラインを入れる [Ruby]
Twitter のタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら 4 年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、MongoDB や MySQL とか Groonga とかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えると BigQuery が現代にマッチしてるようなのでそちらに移行した。 BigQuery に TL を保存するとできること TL の全てのデータをフルスキャンできる。これはかなり便利で、今回このブログ記事を書くにあたっても ‘BigQuery’ を TL から検索すれば、信頼できるフォローイングの人々の声を見ることができた。これにより「某 CA 社では 5000 台の MongoDB クラスタで BigQuery に対抗している」という
![BigQueryにTwitterのタイムラインを入れる [Ruby]](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb99bf7e3074ef0fe5df0ca25a644e696c62ad78/height=288;version=1;width=512/https%3A%2F%2Fs3-ap-northeast-1.amazonaws.com%2Fkksg%2Fblog%2F53b4ac19c38aa5513f47ea75.png)
不確実な世界ではビッグデータは役に立たない - himaginary’s diary
引き続き、ギーゲレンツァーのインタビューからの引用。 Gut feelings are tools for an uncertain world. They’re not caprice. They are not a sixth sense or God’s voice. They are based on lots of experience, an unconscious form of intelligence. I’ve worked with large companies and asked decision makers how often they base an important professional decision on that gut feeling. In the companies I’ve worked with, which are large i
ゲオがビッグデータ活用 危機感募らせる30代社長 - 日本経済新聞
AV（音響・映像）ソフトレンタル国内大手のゲオホールディングスが、ビッグデータ活用で生き残りをかける。顧客データを分析する部隊を作って、有効な販促と店舗テコ入れを図る。「これまで当社のネット戦略は、競合に比べると何もできていなかったと言ってもいい。その結果、他社のネット通販やVOD（ビデオ・オン・デマンド）などによって、本業のレンタルビデオ事業が切り崩されている。ビッグデータ活用に取り組もうと
なぜ？“磁気テープ”が復活 - NHK 特集まるごと
データ保存の専門家 「いま、磁気テープが非常に脚光を浴びている。 復活したといってもいい状態だと思う。」 阿部 「そう、われわれの時代は、カセットテープですよ、青春の思い出と共に。 なかなか処分できないんですよ、かさばっていても。」 鈴木 「そういう方、多いと思うんですよね。 使いやすさの面でも、記録できる情報量の面でも、ＣＤやＤＶＤにとって代わられた磁気テープなんですが、日本のメーカーが性能を飛躍的に高めた結果、今、再び記録媒体として、復活のきざしを見せています。 新しい磁気テープは、１本でＤＶＤ５００枚分という、大量のデータを記録できるようになっているんです。」 阿部 「なぜ今、磁気テープが注目を集めるのか、取材しました。」
情報大航海に遡る、プライバシー保護ルール作りの迷走
日経コンピュータ2013年10月17日号の特集「『Suica履歴販売』は何を誤ったのか」のあとがきでも書いたのだが、「データ分析とプライバシー」をテーマに記事を書くのは、IT記者として結構ストレスがたまる作業である。 まず、議論がややこしい。「個人情報とは何か」について、専門家の間でも確たるコンセンサスがない。そもそも、プライバシーの権利について、法学者の間で議論が定まっていない。 このテーマで取材すると、取材先の企業からは「細かい話を聞く記者だなあ」と煙たがれる。一方で、記事の中で「データ利活用とのバランスも大事」と書けば、プライバシー保護を重視する匿名諸氏からTwitterなどで罵倒を浴びる。いずれにせよ、あまりいい思いをした記憶がない。 それでもせっせと記事を書いている背景には、データ利活用とプライバシー保護のバランスについて、誰もが「ルール作りは重要」と言いながら、誰も何も決めよう
ビッグデータは99％失敗する
最近、「ビッグデータの話とBI（ビジネスインテリジェンス）とは何が違うのですか」との質問をよく受ける。そんなときには、「同じです」と私は答える。もう少し厳密に言えば、「ビジネスにおけるビッグデータ活用とBIの取り組みは本質的に同じ」ということだ。 このことから、ビッグデータ活用の将来を簡単に予言できる。つまり、日本企業の取り組みは99％失敗する。かつてBIの取り組みの多くが失敗した。そして今、なぜBIで失敗したかを総括することもなく、「これからはビッグデータ」だと浮かれている。と言うか、ビッグデータ活用がBIと本質的に同じであることにも気づいていない。これでは上手くいくはずがない。 ビッグデータ活用とBIの違いでよく言われることは、扱うデータの量と質。BIの場合、従来の基幹系システムで管理しているデータの分析が中心だった。一方、ビッグデータ活用では顧客の行動履歴、そして“つぶやき”のような
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ツイートデータを研究者に無料提供、Twitterが「Data Grants」プロジェクト 
ggsoku.com
