Hadoop Hack Night … 技術評論社
現在，米国Yahoo! Hadoopチームにてアーキテクトを務めるOwen O’Malleyが3月に来日いたします。それに合わせてHadoopの紹介，米国Yahoo!での活用事例などご紹介するセミナーを開催いたします。当日は参加者の方々とのトークセッションを設け，Hadoopコミュニティに所属しているOwen氏との交流の場も提供いたします。 本イベントのTwitterハッシュタグは『#hadoophn』です。 なお，当日の模様は以下のURLでUstream中継を予定しております。 http://www.ustream.tv/channel/hadoophn ネットワーク回線の都合により，3G回線での中継となることが予想されます。安定した配信ができない可能性がありますので，会場までお越しいただくことをおすすめいたします。 「Hadoop Hack Night」に申し込む お申し込み期間：2月
IIJ、ビッグデータ蓄積・利用のワンストップサービスを正式提供開始
IIJ、ビッグデータ蓄積・利用のワンストップサービスを正式提供開始：トレジャーデータとテーマは同じ IIJは2015年3月2日、ビッグデータの収集・蓄積・解析のための環境をワンストップサービスとして提供する「IIJ GIOストレージ＆アナリシスサービス」を、正式提供開始した。 インターネットイニシアティブ（IIJ）は2015年3月2日、ビッグデータの収集・蓄積・解析のための環境をワンストップサービスとして提供する「IIJ GIOストレージ＆アナリシスサービス」を、同日に正式提供開始したと発表した。トレジャーデータのサービスと同じ方向を目指していると考えられる。 IIJは、「IIJ GIOストレージ＆アナリシスサービス」を、2014年11月以降、試験サービスとして提供してきた。これまではクラウドストレージサービスのみだったが、保存したデータをBIツールなどで活用できる「解析オプション」を追加
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
Amazon Redshiftではじめるビッグデータ処理入門 記事一覧 | gihyo.jp
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
日本よ、これが2014年のHadoopだ！─「Hadoop Conference Japan 2014」基調講演レポート | gihyo.jp
日本よ、これが2014年のHadoopだ！─「Hadoop Conference Japan 2014」基調講演レポート 7月8日、東京・ベルサール汐留において「Hadoop Conference Japan 2014（主催: 日本Hadoopユーザ会）」が開催されました。2009年の初開催以来、今回で5回目となる同カンファレンスですが、今回の参加登録者数約1,300名のうち、65％（約840名）が初参加とのこと。「Hadoopの裾野の拡がりを確実に感じる」（NTTデータ 濱野賢一朗氏）との言葉通り、HadoopもHadoopユーザもこの5年で大きく変化を遂げていることを示したカンファレンスとなりました。 基調講演会場の模様。今回のテーマは「和風」、来場者には扇子が配られ、登壇者は障子をバックにはっぴ姿で講演を行いました 本稿では基調講演の内容をもとに、最初に公開されてから10
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
第1回 Amazon Elastic MapReduceを使う準備をする | gihyo.jp
Amazon Elastic MapReduceとは 昨今、バッチ処理にHadoopを活用する事例が話題になっています。その中でも特筆すべきなのは、分散処理技術であるMapReduceです。しかし、MapReduceを実際に使うには、数台から数100台のサーバを用意し、Hadoopのセットアップもしなければなりません。そのようなサーバ構築・管理、セットアップの手間を無くし、すぐ使えるのがAmazon Web Service（AWS）のElastic MapReduce（EMR）です。 図1 Amazon Elastic MapReduce AWS、MapReduceの説明は多くの書籍、ブログなどを参照してください。また、EMRを使用するには、まずAWSのアカウントを作っておく必要がありますが、その手順も割愛させていただきます。本連載ではEMRの使い方、気をつけなければいけない点などを重点的
Hadoop Hacks Night詳細レポート［前編］ | gihyo.jp
多くの有名企業が利用し始めたことから注目を浴びているオープンソースの大規模分散データ処理システム「Hadoop」。 2010年3月8日（月）、六本木ミッドタウンのYahoo Japanにて、Yahoo! ,Inc. Hadoopチーム アーキテクトのOwen O’Malley氏を迎えて「gihyo.jp×Yahoo! JAPAN presents "Open TechTalk" Hadoop Hacks Night」（（株）技術評論社・ヤフー（株）主催）が開催されました。 会場の模様 第1部 Owen O'Malley氏のプレゼンテーション 5,000億人ものユーザのデータの解析に威力を発揮 最初のセッションは、Owen氏によるプレゼンテーション。冒頭で、氏がまず述べたのが、「Hadoopはオープンソースであり、開発者が協力して力をあわせてプロジェクトを進めていける」とい
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
日本から初めて3人がHadoopコミッタに就任。NTTとNTTデータから。業務としてのコミッタは人事評価も有利になる？
NTTとNTTデータは、オープンソースで開発されているHadoopのプログラムを書き換える権限を持つコミッタに、同社の社員3名が就任したと発表しました。 Hadoopのコミッタに就任した3人。左から、NTTデータ 基盤システム事業本部 鯵坂明氏、NTT ソフトウェアイノベーショ ンセンタ 小沢健史氏、NTTデータ 基盤システム事業本部 岩崎正剛氏 Hadoopのコミッタに日本企業の従業員が就任するのは初めて。NTTデータは2008年からHadoopに取り組みを開始しておりオープンソースへの貢献にも積極的で、Hadoopへの貢献度をコードの行数で集計すると、2014年の上半期はHortonworks、Cloudera、Yahoo!に次いで4位とのこと。 こうした貢献が評価され、Hadoopのオープンソースコミュニティを運営するThe Hadoop Project Management Com
第5回 大規模データを扱うためのHBaseとCassandra | gihyo.jp
どんなところに使える？ HBaseやCassandraはどちらもRDBMSで扱いきれないような大規模なデータの扱いに力を発揮します。強力なスケーラビリティも備えているため、データが増えても処理速度はそれほど低下しません。また、列指向データベースの強みを活かして、大量のデータを更新するようなバッチ処理のストレージとして利用しても有用でしょう。 具体的な利用シーン 大規模なデータをスケーラブルに処理する必要がある場合 大量データをバッチ処理する際のストレージとしての利用 HBaseのインストール 本稿では、実際にHBaseを使ってみましょう[1]。 まずは1台のサーバ上で環境を整えます。わかりにくかもしれないので、以下の手順を参考にしてください。JDK6およびHadoopのインストールが必要です。 プロンプト1 HBaseのインストール＆起動の手順 # http://java.sun.com
イベントレポート（食べログ＆クックパッド共催勉強会） - クックパッド開発者ブログ
こんにちは。クックパッドでイベント運営を担当しているスミです。 去る12/17、食べログさんと共催で勉強会を行いました。食べログさん、クックパッドのエンジニアがそれぞれ3名ずつ、お集まり頂いた約30名のエンジニアの皆さまの前でプレゼンを行いました。 インフラのお話をテーマにした今回。会場の皆さまからたくさんのご質問を頂き、とても熱い時間を過ごさせて頂きました。ご来場頂いた皆さま、どうもありがとうございました。 クックパッドのエンジニアが使用した資料を公開いたしますので、是非ご覧くださいませ！ ・クックパッドのスケーリング（高田悟史） [slideshare id=2756725&doc=20091214tabelog-key-091221024948-phpapp01] ・800万人の"食べたい"をHadoopで分散処理（佐々木達也） [slideshare id=2735999&doc=
Hive on AWS @ COOKPAD - クックパッド開発者ブログ
こんにちわ。サービス開発担当の勝間です。クックパッドの１年の最大のピークであるバレンタインが終わり、少し落ち着きをとりもどした技術部からお届けします。 さて、先日秋葉原で「第0回 AWS User Group - Japan勉強会」が開催されました。100人を超す参加者の中、AWSのエバンジェリストJeff Barrさんの講演があったり、内容の濃いLTが続いたりと、非常に大盛況でした。そんなLTに僕も参加して、クックパッドのバッチシステムとAWSとの連携について話してきました。 クックパッドではAWSとしてEC2, S3をつかって分散解析環境を構築して、Hiveを使ったデイリーのログ解析を行っています。LTではそれらの話をしたのですが、５分と限られた時間では駆け足の発表になってしまったので、当日じっくり話せなかった箇所などを確認いただければと思います。 [slideshare id=328
Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る | gihyo.jp
Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る シリコンバレーで起業し、順調にビッグデータビジネスを展開している日本人ベンチャー企業といえば、Hadoop Conference Japan 2013 Winterでも話題となったTreasure Dataがその筆頭に挙げられます。 ですが、Treasure Dataとほぼ同じ時期に西海岸でビジネスをローンチし、現在、国内外の投資家たちから高い注目をあつめるビッグデータベンチャー、それも日本人技術者が創業者である企業が実はもう1社存在します。それが藤川幸一氏率いるHapyrusです。今回、来日中の藤川氏に直接、Hapyrusが現在最も注力するAmazon Redshiftに関するビジネスを中心にお話を伺いました。 藤川幸一氏 Redshiftへのデータアップロードを事業の中核に ──H
O'Reilly Village／オラの村 - 『HBase』著者Lars George氏 来日特別セミナーを開催します！
今やビッグデータのランダムアクセス系処理に欠かせない技術となったHBase。導入する企業や組織が続々と増える中、現場では運用や設定を行う上でのまとまった知識が求められています。 オライリー・ジャパンでは今年7月、日本語のものとしては初のHBase総合解説書となる『HBase』(Lars George 著、Sky株式会社 玉川 竜司 訳 全584ページ)を刊行いたしました。同書では、クライアントAPI（高度な機能・管理機能）、Hadoopとの結合、アーキテクチャといった開発に関わる事項や、クラスタのモニタリング、パフォーマンスチューニング、管理といった運用の方法を、豊富なサンプルとともに解説。この日本語版ではさらに、AWS Elastic MapReduceについての付録を独自に追加するなど、より実践的な内容となっており、読者から高い評価を得ています。 著者のLars George 氏は、2
資料を公開いたしました！（クックパッドの裏側見せます in 京都） - クックパッド開発者ブログ
こんにちは、クックパッドのすみです。去る4/16,17に京都で「クックパッドの裏側見せますvol.2＆vol.3」を開催いたしました。 当日お越しくださった皆さま、Ustreamをご覧くださった皆さま、誠にありがとうございました！ お話させて頂いたエンジニアのうち2名の資料を公開いたしますので、是非ご覧くださいませ。 ・勝間亮/アグレッシブなクラウドの使い方 [slideshare id=3827098&doc=engineer-event-100417-kyoto-100423034302-phpapp02] ・濱崎健吾/クックパッドに入って十数日働いた雑感 [slideshare id=3849703&doc=100413urapad-100425122155-phpapp01]
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
米PivotalがHadoopでHortonworksと提携、Greenplum、GemFire、HAWQはオープンソース化
Amazon.co.jp: Hadoop徹底入門: 太田一樹 (著), 下垣徹 (著), 山下真一 (著), 猿田浩輔 (著), 藤井達朗 (著), 濱野賢一朗 (監修): 本
Amazon Elastic MapReduceの使い方─Hadoopより手軽にはじめる大規模計算 記事一覧 | gihyo.jp
資料を公開いたしました（クックパッド×PFI共同勉強会） - クックパッド開発者ブログ
