大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog
2012年度が始まり1ヶ月が経ちました。2011年度は、大規模分散処理技術・データ基盤の普及が広く進んだ年だったと思います。2012年はそれら蓄積された大規模データを活用しデータマイニング・機械学習を用い、ビジネス・サービス洗練を大きく広げていく年ではないでしょうか。 Mahoutは 大規模分散データマイニング・機械学習のライブラリです。ApacheプロジェクトのOpen Sourceで、Hadoop上で動作しデータマイニング・機械学習の大規模分散実行を行うことができます。 Apache Mahout 大規模分散 データマイニング・機械学習を実行できる Mahout ですが、まだ「ドキュメント整備が発展途上で詳細を知るためにはソースコードから読み解く」必要がある場合が多く、また、活用には「対象とするデータマイニング・機械学習の基礎知識」が必要なため、まだまだ活用の敷居が高いのが現状ではない
「Hadoop Hacks」読んだ - たごもりすメモ
「Hadoop Hacks」を著者陣のご高配を得てオライリー・ジャパンから献本いただきました。ありがとうございます。 Hadoop Hacks ―プロフェッショナルが使う実践テクニックposted with amazlet at 12.04.26中野 猛 山下 真一 猿田 浩輔 上新 卓也 小林 隆 オライリージャパン 売り上げランキング: 2139 Amazon.co.jp で詳細を見る で、ざっと読んだ(自分でやってないところは眺めた程度)ので感想をざらっと。 なんというか、さすがにちょっと扱う内容が広過ぎる＆プログラミングを避けられない箇所が多過ぎる感はあって、苦労したんだろうなー、という気がする。読んで「ああこれは役に立つよね」というのがだいぶ少なくてちょっと残念。100行単位でコードを書かないといけない内容をこういう本で「hack」といって紹介するのはやっぱりちょっときびしいなー
データベースとHadoopの連携
近年、大規模データ処理の新たな潮流として話題になることの多い分散処理プラットフォームHadoopですが、企業の中でどのようにHadoopを活用し、既存システムとの連携を考えるかということが大きな検討のテーマになってきています。HadoopはこれまでのRDB中心のデータ処理基盤とは異なるアプローチのシステムですが、両者を補完的に組み合わせることで、これまでは不可能であった大規模かつ柔軟なデータ活用の道が開けます。今回はGreenplum DBのHadoopとの連携機能をデータベース／Hadoopのアーキテクチャや用途の違いの観点を含めて解説します。 Hadoopのしくみとデータベースシステムとの対比 HadoopはGoogleの分散処理基盤システムを紹介した論文をもとに、Apacheコミュニティにて開発されたオープンソースの分散処理システムです。分散処理環境の構築に汎用ハードウェアを活用し、
Hadoopハンズオンセミナーに参加してきました - Dev3TechHack
4月14日に新横浜のAcroquest Technology社で開催された、第2回 初心者向け Hadoop ハンズオンセミナーに参加してきました。 第2回 初心者向け Hadoop ハンズオンセミナー : ATND 初心者向けと銘打っているだけあって、Hadoop環境の構築手順から当日のセミナー内容まで丁寧でわかりやすく、とても勉強になりました。 普段の業務ではRDBMSばかり相手にしているため、Hadoopについての知識はほとんどありませんでした。 そのため、多くの新しい概念を学びました。 1. 入出力データはファイルベース、置く場所はHDFS Hadoopでは、HDFSと呼ばれる、通常とは異なるファイルシステムを使います。 このファイルシステムの上に、処理したいデータ（ログファイルなどの巨大なファイル）を配置します。 HDFSを扱うには、下記のようにhadoopコマンドを使います。
Hadoopハンズオンセミナーに参加してきました。 - 無気力生活 (ノ ´ω｀)ノ ~゜
黄色いゾウさんすげー！な体験です(｀・ω・´) 昨日04/14に開催されました、Hadoop初心者向けハンズオンセミナーに参加してきました。 セミナーでは、前半にHadoopについての説明。後半から実際にHadoopを使ったプログラミングを行いました。 後半のプログラミングでは事前に提示されていた準備があったのですが、事前準備のメールが来ていないことに到着してから気づき、会場についてから必死で準備していたのは私です。 ええ、UbuntuもJavaも準備出来ていませんでしたよと。モウシワケナイ・・・ メール来なかったのは、メールアドレス間違えてたこちらのミスでした。大変お手数をおかけしました。快く主催さんのサーバー環境貸して頂き、なんとかハンズオン中に動くものができました。感謝してもしきれません。 主催のAcroquest Techonology株式会社様。貴重な体験をさせて頂き大変勉強にな
第4回社内Hadoop勉強会が開催されました。 - ミッションたぶんPossible
先週土曜は社内で不定期開催のHadoop勉強会が開催されました。講師はいつもの@choconeco。今回はHadoopからちょっと離れて「アルゴリズム」がテーマに扱われました。Hadoopは分散処理のアーキテクチャで、1CPUで全て処理するものと同じように実行しようとすると、処理できない、というケースが多発するとのこと。分散処理に向いたアルゴリズムを適切に選択し、Hadoopを様々なシーンで有効活用できるようにするのが狙いです。 最初は「Make10」。1〜9までの数字を1つずつ4つ使って四則計算で「10」になる計算式を探し出すプログラムを作る、というもの。例は以下。これをプログラムで自動でピックアップしていくわけです。 (1 + 3 - 2) * 5 = 10 これが相当難しい。FizzBuzzくらいの難易度で出来るかなぁと思ってたら、全然歯が立ちませんでした。一応その場でJavaで即興
グラフ問題とバルク同期並列の常識をGiraphで体得
グラフ問題とバルク同期並列の常識をGiraphで体得：ビッグデータ処理の常識をJavaで身につける（5）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ソーシャル時代の「グラフ問題」の重要性 「グラフ問題」とは、どのようなものか、ご存じでしょうか？ ご存じでない方でも実は、「グラフ」を活用したシステムを日常的に使っているのです。 その1つは「Google」「Yahoo!」といった、Webの検索システムです。Webの検索システムでは、検索結果の表示順の判断基準の1つとして、Webページの重要度を示す「PageRank（ページランク）」と呼ばれる指標を用います。このPageRankは「注目に値する重要なWebページは、たくさんのページ
Wakame-VDCをエンタープライズの ビッグデータ処理基盤として 活用する
Wakame-VDCをエンタープラズの ビッグデータ処理基盤として 活用する 株式会社あくしゅ 山崎泰宏 今日お話させていただく事 • クラウドコンピューテゖングと Wakame-VDCの概要説明 • エンタープラズ分野で ビッグデータ処理基盤の事例紹介 • IaaS層(Wakame-VDC)が使われる理由 – リソースの共有化 – リトラ等の自動化 • Wakame-VDCの詳細 – 機能 – 将来像 コンピューティングパワーは どれほど重要か データセンター事業はこれまでも数多く試されてきました。 なぜ今、クラウドコンピューテゖングで この話が再燃しているのか？ コンピュータが一家に一台が夢の時代 2009年時点で 世界のサーバ出荷台数は年間800万台。 その内20%に当たる 150万台が毎年クラウド市場に投入 されています。 http://blogs.ft.com/techb
CassandraとHBaseの比較して入門するNoSQL
ブログでもいろいろ解説しています。 http://little-hands.hatenablog.com/entry/top ドメイン駆動設計屈指の難解な概念「境界付けられたコンテキスト」について解説します。 --- 公式DDD Referenceの定義は以下の通りです。(和訳はだいぶ意訳しています) bounded context A description of a boundary (typically a subsystem, or the work of a particular team) within which a particular model is defined and applicable. 境界付けられたコンテキスト 特定のモデルを定義・適用する境界を明示的に示したもの。 代表的な境界の例は、サブシステムやチームなど。 まぁなかなかよくわからないですよね。DDD
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
並列分散処理の常識をHadoopファミリから学ぶ
Hadoopプロジェクトは3つの「サブプロジェクト」で構成されています。 Common：Hadoopの基本機能FileSystem、RPC、Serializationのライブラリ HDFS：分散ストレージを仮想的に1つに扱うためのファイルシステム MapReduce：膨大なデータセットをクラスタ上で分散処理するためのソフトウェアフレームワーク これらが、「Hadoopファミリ」の核であり、並列分散処理機構を支えています。それ以外の「関連プロジェクト」は2011年12月時点では下記のようになっています。 Avro：Commonの持つ機能を拡張したデータシリアライズシステム Cassandra：単一障害点のないスケーラブルなマルチマスタデータベース Chukwa：大規模な分散システムでのデータ収集システム HBase：大規模な構造化データをサポートする、スケーラブルな分散データベース Hive
「いまさら聞けないHadoop勉強会」が開催されました - ミッションたぶんPossible
久々のブログ更新。すっかりサボってました。社内に戻ってきたらもっと自由に時間使えるかと思っていたら、色々とゴタゴタあり過ぎて逆に全然余裕が無い状態になっています。充実しているのはいいですが、アウトプットが少ないのは宜しくないですね。月も変わったことだし、ちゃんと気合入れ直して書いていきたいと思います。 先週末の2/4(土)は社内で「いまさら聞けないHadoop勉強会」が開催されました。主催はオレ、講師は無着衣系エンジニア：@choconeco(通称：裸王)*1。彼は以前開催した勉強会でも講師を務めてくれています。 そもそもは、オレが現在参画しているスマートフォン案件のお客さんから「Hadoopで検証実験をしたいんだけど。」とプロトタイプ開発と検証を依頼されたことが発端。紆余曲折があり、オレ自身は殆どその案件には関われなくなったんですが、Hadoopは会社でも初めてチャレンジする技術、しかも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopディストリビューションを手がける米Cloudera、日本法人を設立
第３回 Linux女子部 勉強会 #ljstudy
平成２１年度産学連携ソフトウェア工学実践事業（高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンターの高信頼化に向けた実証事業））事業成果報告書
http://tech-sketch.jp/2012/03/hadoop-mapreduce1-1.html
Next Hadoop confirms data as a platform
BigData Analysis with mongo-hadoop
CTC、Hadoopの検証施設「Big Data Processing Lab」を開設～PoCサービスなどを提供
Cassandra File System Design | Datastax
