『Prestoとは何か，Prestoで何ができるか』 - トレジャーデータ（Treasure Data）ブログ
トレジャーデータはクラウドでデータマネージメントサービスを提供しています。 Hadoop Conference Japan 2014 以前に告知したHadoop Conference Japan 2014で，弊社Software Architectの古橋が発表しました。 テーマは，Facebookが公開した新しい分散処理基盤，Presto。実はFacebookが彼らの超大規模なデータセットに対してインタラクティブに結果を返せるようにと開発されたものです。開発が始まってまだ2年も経っておりませんが，今ではトレジャーデータを初めとして多くのハッカー達がコミッターとして参加する活発的なプロジェクトに成長しています。 PrestoはHiveやImpalaと同じ「SQL Query Engine」であり，特に数百GBを超える大規模データに対してもインタラクティブなレスポンスを（コンマ0秒以下，遅くて
さらなる貢献でNTTデータはHadoop開発コミュニティの第三極を目指す
日本のエンジニア3名がHadoop開発コミュニティのコミッタに就任 これは、コミュニケーション言語が多くの場合英語ということも敷居の高さとなっているかもしれない。とはいえエンジニアの多くは、英語力よりはプログラミング力でコミュニケーションがとれる。なので、米国産ソフトウェアの開発部門、たとえばOracleなどでも多くの日本人が開発に参画している。彼らの多くは英語も流ちょうに話すだろう。とはいえ、中には英語は不得意だけどC言語やJavaならしゃべることができ、それを使ってコミュニケーションをとり活躍している人もいる。 ところで2014年12月18日に、NTTデータが興味深い発表を行った。Apache Hadoopとその関連プロジェクトでの開発コミュニティ活動が評価され、 NTTデータ、NTT ソフトウェアイノベーションセンタの社員3名がコミッタに就任したのだ。Apache Hadoopの開発
Facebookの新しいリアルタイム解析システムとは？ - nokunoの日記
Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht
「Hadoop徹底入門」が出ます - Preferred Networks Research & Development
MacBook Air 11インチ欲しい！、太田です。 1/27に、執筆に関わらせて頂いた「Hadoop徹底入門」という本が、翔泳社さんから出版されます。 OSS分散フレームワーク「Hadoop」の、日本語では初めてとなる書き下ろし本になります。執筆はNTTデータでHadoopのお仕事をされている、下垣さん、猿田さん、藤井さん、濱野さん、そして私になります。また、翔泳社の石川さんには非常にお世話になりました。 目次はこのブログの最後に掲載させて頂きました(詳細はこちら)。Hadoopとは何か？といった説明に始まり、Hadoopの周辺プロダクト(Hive, Pig, HBase, Thrift)も詳しくカバーされています。 Hadoopに関して現在日本語で読める大きな情報源として有名なのは、オライリーさんから出版されている「Hadoop」本になります。 本書はこの本と補完関係に有ると思ってい
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
クラウド・モデリング
5月14日に行われる『Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会』という座談会に参加させていただくことになった。 http://atnd.org/events/4136 よい機会なので、クラウドをターゲットにして取り組んできたモデリング手法、ツール、フレームワークなどをつらつらと整理しているところ。 オブジェクト指向モデリングは、本来、振舞いモデルを記述する能力が高い所が特徴であり強みでもあるはずだけれど、今のところ有効活用されているとは言い難い。 伝統的な基幹システムも、新興のWebシステムも基本的には画面とデータベース間の転記が基本アプリケーション・アーキテクチャとなっていることが多く、この場合には従来型のデータモデリングで十分だったということかもしれない。 三段(3 tier)構成のシステムアーキテクチャといった設計レベルでのモデリングもあ
NoSQLの情報が充実！ 日経BP「みてわかるクラウドマガジン」。意表を突く表紙で発刊
とてもクラウド専門誌とは思えないような表紙の「みてわかるクラウドマガジン」が発刊されました。表紙だけを見ればどこかの出版社が面白おかしいムックでも作ったのかと思いきや、発行元は日経BP。日経Linux編集部が作成しています。 NoSQLが網羅的かつ詳細に紹介されている さっそく買って読んでみました。さすがに日経BPだけあって中味は充実。表紙はあえてこういう方向を狙ったのでしょう。 Amazon、Google、Salesfoce.comでの基本的なクラウドの使い方が画面写真入りで丁寧に紹介されている第一特集。そして、Hadoop、memcached、MongoDB、Cassandra、Kumofsなど、NoSQLの有名どころがひととおり詳しく紹介されている第二特集。 特にHadoopは20ページも使って仕組み、使い方、事例まで詳しく伝えていますし、NoSQL概要やMongoDBの紹介記事を書
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スケーラブルで関数型でオブジェクト指向なScala入門