「Hadoop Hacks」読んだ - たごもりすメモ
「Hadoop Hacks」を著者陣のご高配を得てオライリー・ジャパンから献本いただきました。ありがとうございます。 Hadoop Hacks ―プロフェッショナルが使う実践テクニックposted with amazlet at 12.04.26中野 猛 山下 真一 猿田 浩輔 上新 卓也 小林 隆 オライリージャパン 売り上げランキング: 2139 Amazon.co.jp で詳細を見る で、ざっと読んだ(自分でやってないところは眺めた程度)ので感想をざらっと。 なんというか、さすがにちょっと扱う内容が広過ぎる＆プログラミングを避けられない箇所が多過ぎる感はあって、苦労したんだろうなー、という気がする。読んで「ああこれは役に立つよね」というのがだいぶ少なくてちょっと残念。100行単位でコードを書かないといけない内容をこういう本で「hack」といって紹介するのはやっぱりちょっときびしいなー
データベースとHadoopの連携
Hadoopのしくみとデータベースシステムとの対比 HadoopはGoogleの分散処理基盤システムを紹介した論文をもとに、Apacheコミュニティにて開発されたオープンソースの分散処理システムです。分散処理環境の構築に汎用ハードウェアを活用し、MapReduceと呼ばれる比較的シンプルな分散処理フレームワークを導入することにより、これまでは困難であった分散処理アプリケーション構築のハードルを大きく下げ、大規模データ処理の基盤として活用する事例も増えてきています。 Hadoopのコアの部分は、Hadoop Distributed File System (HDFS) という分散ファイルシステムと、MapReduce分散処理フレームワークが密接に組み合わされて構成されています。Hadoopでデータを処理する場合には、まずデータはファイルとしてHDFS上に格納されますが、HDFSはデータを固定
Hadoopハンズオンセミナーに参加してきました - Dev3TechHack
4月14日に新横浜のAcroquest Technology社で開催された、第2回 初心者向け Hadoop ハンズオンセミナーに参加してきました。 第2回 初心者向け Hadoop ハンズオンセミナー : ATND 初心者向けと銘打っているだけあって、Hadoop環境の構築手順から当日のセミナー内容まで丁寧でわかりやすく、とても勉強になりました。 普段の業務ではRDBMSばかり相手にしているため、Hadoopについての知識はほとんどありませんでした。 そのため、多くの新しい概念を学びました。 1. 入出力データはファイルベース、置く場所はHDFS Hadoopでは、HDFSと呼ばれる、通常とは異なるファイルシステムを使います。 このファイルシステムの上に、処理したいデータ（ログファイルなどの巨大なファイル）を配置します。 HDFSを扱うには、下記のようにhadoopコマンドを使います。
Hadoopハンズオンセミナーに参加してきました。 - 無気力生活 (ノ ´ω｀)ノ ~゜
黄色いゾウさんすげー！な体験です(｀・ω・´) 昨日04/14に開催されました、Hadoop初心者向けハンズオンセミナーに参加してきました。 セミナーでは、前半にHadoopについての説明。後半から実際にHadoopを使ったプログラミングを行いました。 後半のプログラミングでは事前に提示されていた準備があったのですが、事前準備のメールが来ていないことに到着してから気づき、会場についてから必死で準備していたのは私です。 ええ、UbuntuもJavaも準備出来ていませんでしたよと。モウシワケナイ・・・ メール来なかったのは、メールアドレス間違えてたこちらのミスでした。大変お手数をおかけしました。快く主催さんのサーバー環境貸して頂き、なんとかハンズオン中に動くものができました。感謝してもしきれません。 主催のAcroquest Techonology株式会社様。貴重な体験をさせて頂き大変勉強にな
第4回社内Hadoop勉強会が開催されました。 - ミッションたぶんPossible
先週土曜は社内で不定期開催のHadoop勉強会が開催されました。講師はいつもの@choconeco。今回はHadoopからちょっと離れて「アルゴリズム」がテーマに扱われました。Hadoopは分散処理のアーキテクチャで、1CPUで全て処理するものと同じように実行しようとすると、処理できない、というケースが多発するとのこと。分散処理に向いたアルゴリズムを適切に選択し、Hadoopを様々なシーンで有効活用できるようにするのが狙いです。 最初は「Make10」。1〜9までの数字を1つずつ4つ使って四則計算で「10」になる計算式を探し出すプログラムを作る、というもの。例は以下。これをプログラムで自動でピックアップしていくわけです。 (1 + 3 - 2) * 5 = 10 これが相当難しい。FizzBuzzくらいの難易度で出来るかなぁと思ってたら、全然歯が立ちませんでした。一応その場でJavaで即興
グラフ問題とバルク同期並列の常識をGiraphで体得
グラフ問題とバルク同期並列の常識をGiraphで体得：ビッグデータ処理の常識をJavaで身につける（5）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ソーシャル時代の「グラフ問題」の重要性 「グラフ問題」とは、どのようなものか、ご存じでしょうか？ ご存じでない方でも実は、「グラフ」を活用したシステムを日常的に使っているのです。 その1つは「Google」「Yahoo!」といった、Webの検索システムです。Webの検索システムでは、検索結果の表示順の判断基準の1つとして、Webページの重要度を示す「PageRank（ページランク）」と呼ばれる指標を用います。このPageRankは「注目に値する重要なWebページは、たくさんのページ
Wakame-VDCをエンタープライズの ビッグデータ処理基盤として 活用する
Wakame-VDCをエンタープラズの ビッグデータ処理基盤として 活用する 株式会社あくしゅ 山崎泰宏 今日お話させていただく事 • クラウドコンピューテゖングと Wakame-VDCの概要説明 • エンタープラズ分野で ビッグデータ処理基盤の事例紹介 • IaaS層(Wakame-VDC)が使われる理由 – リソースの共有化 – リトラ等の自動化 • Wakame-VDCの詳細 – 機能 – 将来像 コンピューティングパワーは どれほど重要か データセンター事業はこれまでも数多く試されてきました。 なぜ今、クラウドコンピューテゖングで この話が再燃しているのか？ コンピュータが一家に一台が夢の時代 2009年時点で 世界のサーバ出荷台数は年間800万台。 その内20%に当たる 150万台が毎年クラウド市場に投入 されています。 http://blogs.ft.com/techb
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
Cassandra File System Design | Datastax
The Cassandra File System (CFS) is an HDFS compatible filesystem built to replace the traditional Hadoop NameNode, Secondary NameNode and DataNode daemons. It is the foundation of our Hadoop support in DataStax Enterprise. The main design goals for the Cassandra File System were to first, simplify the operational overhead of Hadoop by removing the single points of failure in the Hadoop NameNode. S
並列分散処理の常識をHadoopファミリから学ぶ
Hadoopプロジェクトは3つの「サブプロジェクト」で構成されています。 Common：Hadoopの基本機能FileSystem、RPC、Serializationのライブラリ HDFS：分散ストレージを仮想的に1つに扱うためのファイルシステム MapReduce：膨大なデータセットをクラスタ上で分散処理するためのソフトウェアフレームワーク これらが、「Hadoopファミリ」の核であり、並列分散処理機構を支えています。それ以外の「関連プロジェクト」は2011年12月時点では下記のようになっています。 Avro：Commonの持つ機能を拡張したデータシリアライズシステム Cassandra：単一障害点のないスケーラブルなマルチマスタデータベース Chukwa：大規模な分散システムでのデータ収集システム HBase：大規模な構造化データをサポートする、スケーラブルな分散データベース Hive
「いまさら聞けないHadoop勉強会」が開催されました - ミッションたぶんPossible
久々のブログ更新。すっかりサボってました。社内に戻ってきたらもっと自由に時間使えるかと思っていたら、色々とゴタゴタあり過ぎて逆に全然余裕が無い状態になっています。充実しているのはいいですが、アウトプットが少ないのは宜しくないですね。月も変わったことだし、ちゃんと気合入れ直して書いていきたいと思います。 先週末の2/4(土)は社内で「いまさら聞けないHadoop勉強会」が開催されました。主催はオレ、講師は無着衣系エンジニア：@choconeco(通称：裸王)*1。彼は以前開催した勉強会でも講師を務めてくれています。 そもそもは、オレが現在参画しているスマートフォン案件のお客さんから「Hadoopで検証実験をしたいんだけど。」とプロトタイプ開発と検証を依頼されたことが発端。紆余曲折があり、オレ自身は殆どその案件には関われなくなったんですが、Hadoopは会社でも初めてチャレンジする技術、しかも
Hadoopで始める並列データ解析／後編 | Inhale n' Exhale
1月13日（金）にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。 前編では、Hadoopを使って計算処理をするための準備として、EC2上にHadoopクラスタを構築する方法を紹介した。後編では実際にギークサロンで手を動かしてやったことを中心に紹介していこう。 WordCount.java – 最初のサンプルコード Hadoop Tutorial / Module4: MapReduceで紹介されているWordCount.javaを使って、EC2上のHadoopクラスタで処理をさせてみる。いわゆる"Hello, wolrd!"的なサンプル。 まずはEC2上のUbuntuにSSHでログインして、Hadoopのクラスタを立ち上
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopディストリビューションを手がける米Cloudera、日本法人を設立
第３回 Linux女子部 勉強会 #ljstudy
平成２１年度産学連携ソフトウェア工学実践事業（高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンターの高信頼化に向けた実証事業））事業成果報告書
http://tech-sketch.jp/2012/03/hadoop-mapreduce1-1.html
Next Hadoop confirms data as a platform
CassandraとHBaseの比較して入門するNoSQL
BigData Analysis with mongo-hadoop
CTC、Hadoopの検証施設「Big Data Processing Lab」を開設～PoCサービスなどを提供