日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任：NTT HOME
NTT HOME>TOPICS>日本初、世界的に使われている並列分散処理ソフトウェア（Apache Hadoop）のプロジェクトマネジメント委員に就任 日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本敏男、以下NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop（以下Hadoop）およびその関連のプロジェクトのプロジェクトマネジメント委員（以下PMC）に、2016年01月27日、鯵坂明（NTTデータ 基盤システム事業本部）、小沢健史（NTTソフトウェアイノベーションセンタ）の2人が就任いたしました。 今後、NTTおよびNTTデータは、PMCを中心としてHadoopコミュニティを先導し、Hadoopの高度化および品質向上を進め
米Google、C/C++コードをHadoop上でネイティブに動かすフレームワーク「MapReduce for C（MR4C）」を公開 | OSDN Magazine
米GoogleがC/C++コードを「Apache Hadoop」上で動かすためのフレームワーク「MapReduce for C（MR4C）」をオープンソースで公開した。HadoopはJavaベースで実装されているが、このフレームワークを利用することで、C/C++で書かれたアプリケーションを直接Hadoop上で動かすことができる。 Apache HadoopはJavaで作成されたビックデータ分散処理技術。今回公開されたMapReduce for C（MR4C）はHadoop実行フレームワーク内でC/C++コードをネイティブに動かすことができるフレームワーク技術で、ネイティブコードで実装されたアルゴリズムが持つ性能と柔軟性を利用できるとしている。 作成されたアプリケーションは、ローカルのファイルシステムや任意のURI（Uniform Resource Identifier）にアクセスするネイテ
日本企業から初のApache Hadoopのコミッタ（主要開発者）就任
日本電信電話株式会社（東京都千代田区、代表取締役社長：鵜浦 博夫、以下：NTT）および株式会社NTTデータ（本社：東京都江東区、代表取締役社長：岩本 敏男、以下：NTTデータ）から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop（以下：Hadoop）およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史（NTTソフトウェアイノベーションセンタ）、鯵坂 明、岩崎 正剛（NTTデータ 基盤システム事業本部）の3名が就任することになりました。 コミッタとは、Hadoopの開発やメンテナンスにおいて、プログラムを書き換える権限（コミット権）を持つ主要開発者のことで、現在、Hadoopの開発に関与している全世界で約3,000名のうち、コミッタはごく一部［約100名（2014年12月）］に限られています。Hadoopにおいては、
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Cloudera製Hadoopによる完全分散モードの構築
Clone via HTTPS Clone with Git or checkout with SVN using the repository’s web address. Cloudera製Hadoopによる完全分散環境の構築 構成 VirtualBox上に構築 namenode 1台 datanode 3台 ホストオンリーネットワーク 192.168.10.x 内部ネットワーク 192.168.20.x IP: Domain 10: master 11: slave1 12: slave2 13: slave3 公開鍵 パスフレーズ無し ssh-keygen -t rsa で作成したものKeyPairを各スレーブにコピーして相互にパス無し接続出来るようにする 構築手順 参考: http://www.kde.cs.tut.ac.jp/~atsushi/?p=64 共通 $ vim /e
Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回）に参加しました。 | @johtani の日記
一定期間更新がないため広告を表示しています
Hadoopのテスト環境はどうやるのがいいのか？
御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 Hadoopで真に大事なのは、テスト環境だったりする。基本的に分散環境が前提になるので、どのレベルまでが単体テストなのか？どの程度までローカルでテストできなくてはいけないのか？というのは常に問題になるわけで。その意味ではCI含めた開発環境の重要性は以前よりも高いな、と今日思った。 2011-06-21 00:50:47 御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 HadoopのOS化ってのは一つの流れだとは思うけど、その場合、その上位のDSLが開発環境になるわけで。では、そのDSLにどこまで、どのようなテスト実行環境があるの？ってのは、やっぱり重要で。そもそも「プラットフォーム」って何って考えるところまで行く
MapReduceのもう一つの使い方 - 急がば回れ、選ぶなら近道
MapReduceというと集計に使うモノという人が多いと思う。 なんとなれば、MapReduce＝Hadoop＝ワードカウントの図式になっているからだ。 実際、Hadoopを触ってみようという人のほとんどはexampleとしてワードカウントを使うはず。その辺に落ちてるシェークスピアのログでHadoopのexampleを動かした人もおおいはず。 ところが実際に業務バッチ的な処理を行うときに、MapReduceの効果的な使い方は別にもある。個人的は、「本当のMapReduceの使いかた」はこっちだと思う。なんということはなくて「組み合わせ計算を高速に行う」だ。ある種の計算では、順序処理でギブアップしてしまうケースの一つに組み合わせの計算がある Node{ List<Node> nodeList value(){ hasNodeList() ? nodeList.traverse(value()
Hadoopは仮想化の流れに逆行するのか？
御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 Hadoopのような分散環境が普通に出てくると、実は逆に仮想化の取り扱いが困ってくるという問題が発生する（というかしてる）。分散ではハードの代替性が高いので、対障害性という意味での仮想化は利用箇所が局所的になる。全面仮想化マンセーはちょっと困ったことになる。 御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 特に運用側面から見ると、仮想化の位置づけはきわめて有効な部分と、そうでない部分があるのは意識したほうがいいと思う。仮想化の前提がLAMPSであるなら、なおさら分散クラウドでの位置づけは再考した方が良いと思う。前提が違う時は、手当が必要になることが多い。なんとなくそう思う。 御徒町＠MultiVersionCon
Perl で MapReduce - Mahout Frequent Pattern Mining Data - - hamadakoichi blog
最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料： 第５回R勉強会＠東京 で話してきた - 「R言語によるアソシエーション
Hadoop Conference Japan 2011 参加メモ - 科学と非科学の迷宮
私の記事は個人的なメモで、間違った部分も多いため関連リンクを併読することをおすすめします。 特に今回は twitter と並行して読み書きしてたので、結構書き漏れてる箇所多いです。 網羅性とか正確性は期待しないように。 概要 イベント名 Hadoop Conference Japan 2011 URL http://hadoop-conference-japan-2011.eventbrite.com/ 日時 2011/02/22 11:15 - 18:00 場所 NTTデータ本社ビル内 カンファレンスルーム 関連リンク twitterハッシュタグ #hcj2011 Ust http://www.ustream.tv/channel/hugjp http://www.ustream.tv/channel/sonwupao-live Togetter http://togetter.com/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
クラウド時代の並列分散処理技術
Hadoopを用いた大規模ログ解析