Hadoopエンタープライズソリューションセミナー2012NTTデータさんの2012/12/10『Hadoopエンタープライズソリューションセミナー2012』（http://oss.nttdata.co.jp/hadoop/event/201212/）に関係していそうなツイートのまとめてみました。
Hadoopでログ解析ってよく聞くけど。。。
wyukawa @wyukawa ログ解析はよく聞くけどログ設計の話はあんま聞かないな。そういえば。＞エンタープライズビジネスを加速させるHadoop：第4回 ログ解析で利用できるHadoop｜gihyo.jp … 技術評論社 http://bit.ly/mXcJk6 2011-07-06 20:40:02 wyukawa @wyukawa HDFSにとりあえずためとくって話があるけど、完全ノープランでためるだけだとただのゴミだよなあ。監査でどうしても必要っていうなら別の保管の仕方もありそうだし。 2011-07-06 20:41:44 wyukawa @wyukawa 自前でロギングするにせよ専用ソフトを使うにせよ、どういう情報が必要でどう解析してどう役立てるのかっていうストーリーが最初に無いと手段が目的になってしまう気がしている。もちろん最初から完璧なストーリーなど作れないので試行錯誤
Twitter、買収したBackTypeのリアルタイムデータ処理技術「Storm」を公開へ
米Twitterは米国時間2011年8月4日、同社が先月買収した米BackTypeのリアルタイムデータ処理技術「Storm」をオープンソースとして公開すると発表した。ミズーリ州セントルイスで開催される技術カンファレンス「Strange Loop 2011」に合わせ、9月19日にリリースする。 BackTypeはソーシャルメディアのデータ解析を手がける新興企業で、Twitterの投稿（ツイート）を解析するサービス「BackTweets」などを展開していた。買収後、既存ユーザーへのBackTweetsの提供のみ継続し、他の製品やAPIサービスは中止した。同社のサービスは米Microsoftや米AOL、米Timeなどが採用していた（関連記事：Twitter、ソーシャルメディア解析のBackTypeを買収）。 TwitterのNathan Marz氏によると、Stormは分散処理ソフトウエア「Ha
Hadoopのテスト環境はどうやるのがいいのか？
御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 Hadoopで真に大事なのは、テスト環境だったりする。基本的に分散環境が前提になるので、どのレベルまでが単体テストなのか？どの程度までローカルでテストできなくてはいけないのか？というのは常に問題になるわけで。その意味ではCI含めた開発環境の重要性は以前よりも高いな、と今日思った。 2011-06-21 00:50:47 御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 HadoopのOS化ってのは一つの流れだとは思うけど、その場合、その上位のDSLが開発環境になるわけで。では、そのDSLにどこまで、どのようなテスト実行環境があるの？ってのは、やっぱり重要で。そもそも「プラットフォーム」って何って考えるところまで行く
Hadoopを使ってTwitterやFacebook上での「影響力」を数値化するには - nokunoの日記
Hadoopを使ってTwitterやFacebook上での「影響力」を数値化しているKloutというサービスがあるそうです。大変興味深かったので翻訳してみました。元記事のCloudera社とKout社の許可を頂いて掲載しています（@shiumachiさん、ありがとうございます！） Using Hadoop to Measure Influence | Apache Hadoop for the Enterprise | Cloudera ソーシャルメディア上の影響力測定サービス「Klout」とはKlout | The Standard for InfluenceKloutのゴールは影響力の数値化の分野でのスタンダードになることだ。近年のソーシャルメディアの普及により、多くの測定可能な友達関係に関する情報が手に入るようになってきている。Facebookユーザには、平均して130人の友達がいる
TwitterにおけるHadoopとLuceneを利用した大規模データ解析について - nokunoの日記
Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇（大学教授が長期の休みを取れる制度）でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitterエンジニアの@squarecogさんと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新技術・新バージョンへの移行談義
第３回 Linux女子部 勉強会 #ljstudy
まとめよう、あつまろう - Togetter
Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会（第4回）