エンジニアのための『仕事・職場・転職』応援サイト Ｔｅｃｈ総研ヘルプ リーダーインタビュー エンジニアあるある 仕事魂 最新技術 キャリアアップ 勉強会・イベント 技術豆知識 ビジネススキル 職場環境 会社訪問 人間関係 メンタルヘルス 給与・ボーナス 貯蓄・投資 採用全体動向 ＩＴ・Web系 モノづくり系 建築・土木系 ＩＴ・Web系 モノづくり系 転職体験談 職務経歴書・面接 健康 恋愛・結婚・家庭 こだわりのアレ 指定されたURLは存在しません。 プライバシーポリシー ご利用にあたって お問い合わせ エンジニアライフ応援サイト Ｔｅｃｈ総研
hadoopの話とpythonでデータマイニングをする話 - gumi Engineer’s Blog
gumiの粟飯原です。 データマイニングやってます。しかしながら最近はあまりデータをいじる時間がなく社内でプレゼンばかりする日々で、社内でも私がなにやってるのかわからないというもっぱらの評判。そこで今回は一応データ解析もやってはいるんだよということを内外に主張するためにもデータマイニングの話をしようと思います。 アプリの基本的な日々の統計データ取得などは別の方々はやられているので、私からはhadoopを使った大規模解析の話や、そこで得られたデータを分析する環境の話をしたいと思います。コードを併記した具体例などは今回載せられないのですが、今後また紹介していければと思います。 大規模データの解析 日々のログ解析やDB解析はcronによる処理で毎朝レポーティングを行っているのですが、新しい情報を過去のアクセスログからまとめてどかんと取得したいと言う時はHadoopによる大規模解析を実行しています
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
