Hadoopで始める並列データ解析／前編 | Inhale n' Exhale
1月13日（金）にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。もうそれだけで、いつものギークサロンよりハードルが高いのだが、当日は15人ほどのギークたち（中には3日前にベイエリアに来たばかりという学生もいた）が集まって、おのおのラップトップとにらめっこしながらHadoopと戯れていた。 今回のギークサロンをホストしてくださった山中仁氏が、EC2上にHadoopクラスタを構築する方法を、参加者向けの資料としてWeb上に準備してくださり、「Hadoop＝未知の領域」だった自分でもすんなりHadoopクラスタを組むことができた。だが残念なことに、この資料自体がEC2上に一時的に立てたサーバーに置かれており情報が恒久的には残ら
今さら聞けないHadoop勉強会 第1回に参加してきた - Diary of absj31
1月19日 今さら聞けないHadoop勉強会 第1回(東京都) ちょっと書くタイミングを逸したので今件に関してはスライド参照のみで割愛。 (25) 今さら聞けないHadoop View more presentations from Toru Takizawa 替わりと言っちゃあ何だが、主だった各種リンクをざっくりまとめてみた。今後の学習の参考にして行きたいと思います。 公式・概要 Welcome to Apache™ Hadoop™! Hadoopユーザー会 Hadoop - Wikipedia 基礎・入門 Welcome to Apache Hadoop! いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT Hadoop、hBaseで構築する大規模分散データ処理シス
ログ解析についてつらつらと考えていること - wyukawa's diary
ログ解析についてつらつらと考えていることを書いてみたいと思います。 Hadoopを用いたログ解析によってマーケティングを変革し売り上げを向上させようという話はよくあります。 この手の話はたいていBtoCで例としてはメールでレコメンドして商品を買ってもらうとかですね。 ログ解析がどういうフローかというと、ログを埋め込んでログを収集して蓄積して解析してそのレポートを見て何らかの施策を打つ、という感じになります。 図にするとこんな感じ 今話題沸騰中の「Fluentd」はログ収集を担当します。といいつつ僕自身はFluentd使ったことないです。記事を読んだくらいです。 ちなみにどれぐらい話題沸騰中かというとこれぐらい定員オーバーしてます。すごすぎ。 クレジットカード現金化詐欺【業界人が教える口コミ情報】 ログ埋め込みはJavaならLog4j使って埋め込んだりするでしょう。 Apacheのアクセスロ
MapR勉強会にて - 急がば回れ、選ぶなら近道
先日MapR勉強会に参加した、というか主催者だったので、一応まとめ。 細かい内容とかは以下にまとめてくださった方々がいらっしゃるので感謝でございます。 @znj6さん MapR(GreenPlumHD)の中身説明会参加 http://zenjiro.wordpress.com/2012/01/19/inside-mapr-briefing/ @johtaniさん 2012.01.20 Friday MapR中身説明会に参加しました。 http://johtani.jugem.jp/?eid=57 t_otodaさん [Hadoop][MapR]MapR(GreenPlumHD)の中身説明会に参加してきました。 http://tech.hatenablog.com/entry/2012/01/19/234644 moguzoさん 「MapR(GreenPlumHD)の中身説明会」に参加してき
MapR(GreenPlumHD)の中身説明会参加
MapR(GreenPlumHD)の中身説明会に参加しました。「HadoopのC++実装らしい。」程度の予備知識しかない状態で参加したので、知らないことが多くて面白かったです。 思ったことなど MapRはEMCと提携していたのか。知らなかった。 MapR-FSは普通のファイルシステムは経由せずに、ブロックデバイスをそのまま使っている。 へー。 ビルトイン圧縮は拡張子で判断して圧縮の有効／無効を切り替えているのが面白い。jarやpptxをはじめ、最近はほとんど実態はzipな気がするので、ちゃんとフォーマットを見ないとダメでしょう。全然詳しくないけど、普通最初の4バイトくらいで判別できるんじゃないの？ 実機デモのサクサク感がすごかった！WebUI※1とNFSマウントしたときの操作※2。 「すげー速いよ。品質いいよ。」とは言っているけど、デモがサクサクなの以外は言っているだけだった。NTTデータ
第1回EMR勉強会に参加しました | DevelopersIO
こんにちは。くろの（福田）です。 先日、第1回EMR勉強会に参加してきました。 ■開催概要 日時：2011年12月15日（金） 場所：タイムズビル24 主催：ヴェルク株式会社、クリエーションライン株式会社 Webサイト：http://atnd.org/events/23056 ハッシュタグ：#emrstudy_jp ■クラウド型Hadoop Service - Amazon Elastic MapReduce クリエーションライン株式会社 李さん クラウド型Hadoopサービス オンデマンド －ジョブフロータイプ、データ処理タイプ、クラスタ規模を指定してHadoop作成 プロビジョン Hadoopクラスタ構成/ソフトウェアインストールが自動的に行われる Amazon S3、RDS、SimpleDB エフェメラル －結果がS3に保存され、ジョブフローは削除される ephemeral：はかない
オラクル、Hadoop採用のビッグデ|データ・マネジメント|トピックス|Computerworld
オラクル、Hadoop採用のビッグデータ・アプライアンスを出荷 Hadoopシステムのノウハウに乏しい企業がターゲット 米国Oracleは1月10日、米国Clouderaとの提携により、オープンソースの分散並列処理フレームワーク「Apache Hadoop」をベースとするCloudera製品を採用したアプライアンス製品「Oracle Big Data Appliance」の出荷開始を発表した。 Oracleは、ソフトウェアとハードウェアを統合したアプライアンス製品ラインを「エンジニアード・システム」と銘打って展開しているが、Oracle Big Data Applianceはそれに属する新製品。Oracle Big Data Applianceには、Cloudera製品としてHadoopディストリビューション「Cloudera's Distribution Including Apache
Apache Hadoop on Windows Azureの片鱗 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 蒼の王座というサイトにApache Hadoop on Windows Azureの操作例その１という記事が載っているのを発見。 マイクロソフトがDryadを諦めてAzure上でHadoopを使えるようにすると聞いて どんな風になるのか興味があったんだけど、この記事のおかげで片鱗が分かった気がする。 円周率算出やWordCountのサンプルを実行するコマンドが call hadoop.cmd jar hadoop-examples-0.20.203.1-SNAPSHOT.jar pi 16 10000000 call hadoop.cmd jar hadoop-examples-0.20.203.1-SNAPSHOT.jar wordcount /example/data
Hadoopがバージョン1.0へ。2.0、3.0の議論も進む
大規模分散処理フレームワークのHadoopの最新安定版「Hadoop 1.0.0」が、昨年12月27日に公開されました。これは、これまで安定版として開発されていた「Hadoop 0.20」ブランチの最新バージョンを1.0.0としたものです。 Hadoopは、前身となるNutchが2002年にDoug Cutting氏によって開発され、（このビデオの10分頃のCutting氏の発言によると）2008年にNutchからHadoopプロジェクトが分離。約4年を経てバージョン1.0へと到達したことになります。 今回バージョン1.0.0となった旧0.20ブランチのほかに、Hadoopには0.22、0.23など複数のブランチで開発が進んでおり、Hadoopに対する新しい機能、例えば従来のMapReduceを完全に書き換えたMapReduce 2などはこれら新しいブランチに対して実装が行われています。
HTML5、サーバサイドJavaScript、Hadoop、NoSQL--2011年のテクノロジトレンドを振り返る - builder by ZDNet Japan
非構造化データのデジタル活用へ 社内の文書コンテンツを一元管理 デジタル変革と内部統制の二兎を得るECM 単純なインフラ製品の販売ではない DX、コンテナプラットフォームの実証など 自社の取り組みで得られた知見を顧客に提案 体験から学んだ成功への知見 マネーフォワード×エム・フィールド対談 Fintechプラットフォーム開発の「鍵」 今を知り、未来を見据える 培ってきたノウハウを最新技術へ対応させる レガシーシステムのモダン化実現への道 激変するビジネス環境の中でのDX モダンアプリケーション戦略への取り組みが 市場の競争力の源泉となる RPAによる自動化を年30万で実現 小さな投資が目に見える大きな効果に！ デジタル化によるわかりやすい業務効率向上 ライバル同士がタッグを組む理由 マイクロソフトとヴイエムウェアが連携し パブリッククラウドへの移行を支援 ビジネスのためのデータ基盤構築 D
Hoop(httpfs)とwebhdfsの違い - たごもりすメモ
Hadoop 1.0.0がリリースされた。まあ中身のほとんどはただの 0.20.x 安定板リリースなので特別に言うことはないんだけど。詳しくは以下のblogを読むのがよろしい。 hadoopのバージョン表記について - 科学と非科学の迷宮 ただしひとつだけびっくりしたのは、webhdfsなる機能が入ってきたこと。(このblogでよく話題にしている)Hoopと並んでそんなようなものがあること自体は知ってたけどあんまり興味なかったのだが、Apache Hadoopのパッケージに(Hoopより先に)入ったとなるとちょっと注目せざるをえない。 が、httpfs(Hoop)とwebhdfsじゃ名前も似てて超まぎらわしい。いったい何がなんなの。 なお自分はWebHDFSはAPIリファレンスを読んだだけで、実際にはカケラも触っていない。その状況での理解による内容なので、注意して読んでください。 先に結論
Hadoop Streamingメモ(Hishidama's Hadoop Streaming Memo)
Streamingの概要 Hadoopストリーミングは、Java以外の言語のMapper・Reducerプログラムを実行する方法。 データは標準入出力を介して受け渡す。 つまり、標準入力からデータ（テキスト）を受け取り、標準出力にデータを出力することでHadoop側とやりとりする。 したがって、標準入出力が扱える言語なら何でも使用できる。 Streamingの実行方法 Hadooopストリーミングでは、Streaming用のJavaプログラムにMapper・Reducerプログラムを指定する形で実行する。 CDH3の場合、以下のように指定する。 hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-0.20.2-cdh3u2.jar \ -mapper Mapperプログラムのファイル名 \ -combiner Combine
第3回 レコメンドシステム－協調フィルタリングのHadoopへの実装［前編］ | gihyo.jp
今回はいよいよHadoopを用いたレコメンドシステムについて説明します。 今回のポイントは以下の通りです。 処理をMapReduceフレームワークへ変換することで、分散処理のメリットを享受 アウトプットからkeyについて着目し、処理ロジックを考える 簡単な処理でも数段階のMapReduce処理を踏む場合がある 前回までのおさらい 分散処理の基本的な考え方は、大規模データあるいは処理する問題を小さく、かつ、互いに独立した単位に分割して並列に処理することで、各処理単位の出力を結合することで最終的な結果を得るというものです。Hadoopは数ある分散処理のフレームワークの実装のひとつで、システムレベルの詳細の多くを意識せず、処理ロジックに集中して設計できる特徴があります。 Hadoopで処理するため、前回紹介したユーザの映画評価の履歴をHDFSのディレクトリにコピーすると、HDFSは履歴を各ノード
SQL ServerユーザーのためのHadoop連係入門
米Microsoftが「ビッグデータ」の領域に進出する動きを見せている。同社が狙っているのは、米Googleや米Yahoo!などの企業が創業当初から取り組んでいる膨大な非構造化データの分野だ。例えばGoogleでは、毎日20P（ペタ）バイト（2万Tバイト）のデータを処理しており、その大部分はテキストベースのインデックスファイルの形式だ。しかしビッグデータの種類はインデックスだけではない。企業では大量の電子メール、文書、Webサーバのログ、ソーシャルネットワーキングフィード、その他の各種の非構造化情報を日常的に管理している。 GoogleやYahoo!に加え、米Autodesk、米IBM、米Facebookなどの企業では、大量のデータを管理するためにApache Hadoopを採用している。Hadoopは、従来型のツールでは処理できない膨大な非構造化データを管理するためのオープンソースクラウ
Linux.comが選ぶ2011年の最も重要なオープンソースプロジェクト10選
Linux Foundationが運営するサイト「Linux.com」が、多くの重要なオープンソースプロジェクトから厳選した2011に最も重要だと考える10のプロジェクトの紹介です。どれもとても重要な役割を果てしているプロジェクトですが、選ばれたオープンソースプロジェクトは、Hadoop、Git、Cassandra、LibreOffice、OpenStack、Nginx、jQuery、Node.js、PuppetとLinuxとなっています。 Hadoop GoogleのMapReduce、Google File System(GFS)に触発されて開発された、大規模データの分散処理を支えるJavaソフトウェアフレームワーク。Yahooを始め、Amazon、IBM、Twitter、Facebookでも使用されています。 また、Hadoop自体は特別新しいものではありませんが、今年、Oracel
HDFSのファイルオペレーション各種 #hadoopAC11jp - たごもりすメモ
この記事は hadoopアドベントカレンダー の14日目の記事です。 みなさんHDFS使ってますか。使ってますよね。最近はgluster fsなどの選択肢も出てきていますが、まだ第一の選択肢はHDFSという人がほとんどだと思います。 で、HDFSのファイル操作をどうしようか悩みますよね。めんどくさいです。いくつかあるので比較してみましょう。 hadoop fsコマンド みんな大好きhadoop fs。日に100回くらいは叩きますね。基本的にはみんなこれを使うでしょうか。ただし以下いくつかの「たるいなー」という点があります。 Hadoopがインストール・設定されていないと動かない あたりまえなんですけど意外にめんどくさいですね。 Hadoopの処理対象となるファイルはもちろんHadoopクラスタ「以外」のサーバから出てくるわけで、そこからも直接ファイルをHDFSに突っ込みたいなーというのは割
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
1. 【VLDB2011勉強会】 Session 18: MapReduce and Hadoop 担当： 塩川浩昭（NTT） 1 2. 紹介する4本の論文 1. Column-Oriented Storage Techniques for MapReduce Avrilia Floratou, Jignesh M. Patel(University of Wisconsin Madison), Eugene J. Shekita, Sandeep Tata (IBM) 2. Automatic Optimization for MapReduce Program Eaman Jahani, Michael J. Cafarella (University of Michigan), Christopher Re (University of Wisconsin Madison) 3. C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今さら聞けないHadoop セントラルソフト株式会社(20120119)
asahi.com（朝日新聞社）：EMCジャパンとノーチラス・テクノロジーズ、 「Enterprise Hadoop」開発運用ソリューションで協業を発表 - 企業リリース - ビジネス・経済
http://atnd.org/events/23817
