Clouderaカンファレンス Doug Cutting 講演会 "The Future of Hadoop" #dougjp - nokunoの日記
Clouderaカンファレンスということで，Hadoopの生みの親Doug Cutting氏の講演会に参加しました．Cloudera カンファレンス Doug Cutting 講演会(仮) on ZusaarHadoopの名づけ元となった象のぬいぐるみもいました！ 意外と細いんですね〜 The Future of Hadoop Context Data: 1.8ZB in 2011 Hadoop: Solution for Big Data HDFS and MapReduce: Hadoop Core Hive, Pig, Hbase, Mahout, and many components.. Dependency between components is big problem! Bigtop: package manager of Hadoop Apache Bigtop Big
DougCuttingの講演から思うことのメモ - 急がば回れ、選ぶなら近道
一応感想というかメモ書き ・DougはApacheのChairmanであり、ポジション的には Clouderaのビジネスを語る立場ではないので、 普通にテクノロジーとして意見を聞くべき ・ビジネス的には仮にC社が買収されたとして 本家がApacheで保護されているので大ジョブというスタンス （この辺は割り引いた方がよいとは思うが） ・ということはスペックリーダーはClouderaではなく Apache本家とみた方が妥当。新規の開発はほぼApache中心で Clouderaはパッケージ担当に近い。万が一に備えて エンジニアも心情的にはそっちに振っているとみた。 ・ApacheHadoopは「インフラ的な役回り」に行こうとしてる。 YARNやMapReduce2.0を見ればわかる通り、 ResourceManagerのワードが山ほど出てくる。 これは「ノード処理はすべて引き受ける」という風に見
Eventbrite
Your version of Internet Explorer is not longer supported. Please upgrade your browser.
第一回社内Hadoop勉強会が開催されました - ミッションたぶんPossible
昨日は@choconeco 主催で社内Hadoop勉強会が開催されました。3時間程度を3部に分けてHadoopのさわりについてみっちり・・・というと日本語として変ですが、しっかり準備してきてくれたので社内勉強会としてはかなり本気の内容だったと思います。あれなら金取れるんじゃないかなぁ。 Hadoopとは〜Hadoopのアーキテクチャ解説 Hadoopを利用したビジネス展開 ハンズオン Hadoopのアーキテクチャは前提知識無しだととても難しいので、かなり丁寧に資料を作ってきてくれたのですが、それでもスンナリ頭には入らず・・・。オレらでそんなんだから会社の他の連中だともっとシンドイでしょうねぇ。Hadoopを他者に説明するやり方として「Hadoop = インフラ = あることさえ意識しなくて済むように使う」と説明するというのは非常に解り易かったです。 ハンズオンはHadoopを簡単に使える「
Microsoft、SQL ServerのHadoopサポートを発表 | エンタープライズ | マイコミジャーナル
Microsoft Corporation MicrosoftのSQL Serverチームは8月8日(米国時間)、コミュニティテクノロジープレビューとしての提供となるが、SQL ServerおよびSQL Server 2008 R2 Parallel Data Warehouse向けに「Hadoopコネクタ」の提供を近いうちに開始すると発表した。「Hadoopコネクタ」を利用することで従来よりもSQL ServerとHadoopとの連携が簡単になると説明がある。 ビジネスで処理すべきデータは肥大化の一途を辿っているという。この傾向は今後も加速すると見られており、膨大な量のデータのストア、管理、分析機能の提供が求められていると説明がある。しかもそうしたデータの80%は構造化されていないデータということだ。 「Parallel Data Warehouse News and Hadoop In
Twitter、買収したBackTypeのリアルタイムデータ処理技術「Storm」を公開へ
米Twitterは米国時間2011年8月4日、同社が先月買収した米BackTypeのリアルタイムデータ処理技術「Storm」をオープンソースとして公開すると発表した。ミズーリ州セントルイスで開催される技術カンファレンス「Strange Loop 2011」に合わせ、9月19日にリリースする。 BackTypeはソーシャルメディアのデータ解析を手がける新興企業で、Twitterの投稿（ツイート）を解析するサービス「BackTweets」などを展開していた。買収後、既存ユーザーへのBackTweetsの提供のみ継続し、他の製品やAPIサービスは中止した。同社のサービスは米Microsoftや米AOL、米Timeなどが採用していた（関連記事：Twitter、ソーシャルメディア解析のBackTypeを買収）。 TwitterのNathan Marz氏によると、Stormは分散処理ソフトウエア「Ha
Hbase勉強会＋Hadoop座談会のアンケートのまとめ - 急がば回れ、選ぶなら近道
まぁちょっと遅くなったのですが、やっと時間が空いたので アンケート結果のレビューをしてみます。 Hbase@FacebookFacebookのJonathan Grayさんのお話の勉強会でした。 1：Hbaseを導入していますか？有効回答：114 本で読んだ 63(55.3%) 触っている 39(34.2%) 体制を構築した 7(6.1%) POC中 2(1.8%) Hbaseなら任せろ 3(2.6%) 過半数が本・雑誌読んだという状態でした。 もっともHbaseの勉強会でのプロダクション提供を おこなっている人という質問に対して 挙手がほとんどいなかったことを考えると そのような状況なのは仕方がないところかな、と思います。 まぁ一方で実際に触った人が1/3を超えているの興味深いところです。 体制の構築とPoC中でも計9件の方（8%）が挑戦中という状態です。 典型的なアーリーステージと言っ
O'Reilly Japan - 『Hadoop』Tシャツをプレゼント - 2011年7月の直販キャンペーン - Sales Information
皆さまこんにちは、今月も直販キャンペーンのお知らせです。 今月は、いよいよ発売となる『Hadoop 第2版』を記念して、HadoopTシャツをプレゼントいたします。 おなじみ象の表紙を用いた定番デザインのTシャツです。オライリー・ジャパンのWeb直販サイトから、書籍を5,000円以上ご購入いただいたお客さまにプレゼントいたします。『Hadoop 第2版』をご購入いただき、Tシャツをゲットしてください。 ご応募方法は例の通り、お支払いフォームの備考欄にかならず「Hadoop Tシャツ希望」とお書き添えください。明日、2011年7月12日の受付分より対象とさせていただきます。なお、Tシャツの数には限りがありますので、品切れの場合はご容赦ください。皆さまのご応募をお待ちしております。
第5回 これからHadoopを活用するエンジニアが理解しておくべきこと | gihyo.jp
第4回まではHadoopの活用事例や、どのような用途に向いているのかということを中心に解説してきました。さて、最終回となる第5回は、Hadoopをこれから活用し始めようとしているエンジニアが理解しておくべきことや、情報収集のポイントなどについて解説します。 Hadoopの構成要素を理解する Hadoopの導入を検討する際には、まずは構成要素を理解しておきましょう。Hadoopは大きく2つの要素から成り立っています。1つは分散ファイルシステムの「Hadoop Distributed File System（HDFS）」、もう1つは分散処理フレームワーク「Hadoop MapReduce（MapReduceフレームワーク）」です。どちらも大量のサーバから構成されるクラスタシステムとして動作します。現在はWebから得られる情報や書籍が充実しているのでここでは詳しい説明はしませんが、こう
Hadoop 第2版
TOPICS Programming , Database 発行年月日 2011年07月 PRINT LENGTH 672 ISBN 978-4-87311-503-0 原書 Hadoop: The Definitive Guide 2nd Edition FORMAT PDF 「象本」の名前で親しまれる『Hadoop』の改訂版です。 Hadoopの基礎から応用までを包括的に解説する初版の充実をそのままに、Pig、HBase、Hive、Sqoop、Avroなどサブプロジェクトやセキュリティについても大幅に加筆、より実務に対応できる内容になりました。Hadoop 0.1系に加え、0.2系に関する情報も併記。日本語版では「NTTデータの実証事業におけるHadoop活用のポイント」を付録として掲載しています。Hadoopの全体像を網羅し、かつ実践的なトピックを盛り込んだ本書は、Hadoopに関心
Hapyrusで気軽にHadoop MapReduceを試す - 愛と勇気と缶ビール
本日の社内勉強会で、id:a_bicky先生にHadoop + MapReduceの話をしてもらった。面白かった。その時に、気軽にMapReduce処理を試せるHapyrus (https://www.hapyrus.com/) というサービスを教えてもらったので、試しにHapyrusに登録して(現在Beta版らしい)アプリケーション作ってみた。 登録とかについては特に難しいこともなんもないので、割愛。 アプリを作成した後、こちらから (1) データソースとなるtextファイル(4000文字まで) or Amazon S3のデータ, (2) map用スクリプト/reduce用スクリプト の計3つを登録してやれば、雲のむこうのHadoopでMapReduce処理をしてもらえるらしい。 現在利用出来る言語はPerl/Ruby/Python（裏はHadoop Streamingなのかしら？）。今
2011-06-30
http://www.apple.com/jp/startpage/ これは、すごいイベント！！！ 一日でもいい、行ってみたいものだぁ〜！ UKだからか、あまり知ってるアーティストいないが。 セッショントークもあるみたいだし、これはいいイベントじゃないかなぁ〜！ 昨日参加した内容を整理します。 ☆Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回） トークした人：JR(システム部門) 九州電力(システム部門) JRどこだかは不明だったですが。 かなり突っ込んだ話をされてました。 中身濃かったです。 ■鉄道基幹システムの開発 現状のシステムの構成など 耐用年数:10年〜25年(長いものでは25年変わらない・・・汗) ⇒ 鉄道ポイント切替の耐用年数が25年らしい 開発基幹:1〜5年 新しいMW/HWの仕組みを導入するに当たって 2年 調査 2年 検証
Hadoopモデリング座談会（第5回）へ行ってきました - 虎塚
第5回とのことですが、自分は初めて参加しました。 そもそもHadoopとタイトルにつくイベントへ行ったのは、初めてでした。これまで遠巻きに見ていましたが、何か、色々あって参加することに。 zusaar.com - zusaar リソースおよび情報 2011/06/29_Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回） #hadoopmodeling - Togetter せっかくなのでノートを上げておきます。 1. 「鉄道システムへの誘い」 [twitter:@ayasehiro]さん 発表の目的は、「学生の方に鉄道システムに興味を持ってもらうこと！」とのこと。 鉄道システムの開発のお話 システムは一度作ったら長く使う 耐用年数10年以上 開発のスパンも長い 長いときで5年くらい 製造に時間をかけられない 半分が開発、半分が試験 開発
Hadoopのテスト環境はどうやるのがいいのか？
御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 Hadoopで真に大事なのは、テスト環境だったりする。基本的に分散環境が前提になるので、どのレベルまでが単体テストなのか？どの程度までローカルでテストできなくてはいけないのか？というのは常に問題になるわけで。その意味ではCI含めた開発環境の重要性は以前よりも高いな、と今日思った。 2011-06-21 00:50:47 御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 HadoopのOS化ってのは一つの流れだとは思うけど、その場合、その上位のDSLが開発環境になるわけで。では、そのDSLにどこまで、どのようなテスト実行環境があるの？ってのは、やっぱり重要で。そもそも「プラットフォーム」って何って考えるところまで行く
第2回 国内におけるHadoop活用事例（国立国会図書館サーチ） | gihyo.jp
今回と次回は、Hadoopがどのようなシーンで活用されているのか、具体的な事例を基に見ていきます。今回は、国内での活用事例として、国立国会図書館でHadoopを検索インデックスの生成に活用している事例を紹介します。 国立国会図書館サーチ（NDLサーチ）におけるHadoopの活用事例 NDLサーチ[1]とは国立国会図書館が公開している検索サービスです。国立国会図書館をはじめ全国の公立図書館、公文書館、美術館や学術研究機関など、複数の機関が所蔵する著作物の検索が可能で、検索した著作を所蔵している機関の表示や、関連する著作物を検索結果に表示させることができます。 図 NDLサーチ公式サイト NDLサーチでは、Hadoopを検索インデックスの生成に利用しています。検索インデックスを生成するために、日本全国の機関からデータ収集します。このため処理すべきデータ量は膨大です。NDLサーチにおける検索イン
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.zusaar.com/event/agZ6dXNhYXJyDQsSBUV2ZW50GLmIBQw
Lxc で始めるケチケチ仮想化生活？！
衛星データ処理勉強会 分散処理システムHadoop