Hadoopは終わらない ―3年ぶり開催「Hadoop / Spark Conference Japan 2019」で日本人開発者が語ったこと | gihyo.jp
Hadoopは終わらない ―3年ぶり開催「Hadoop / Spark Conference Japan 2019」で日本人開発者が語ったこと 「大きな変化を迎えているHadoopのいまを皆さんに正しくお伝えしたいと思い、3年ぶりに本カンファレンスの開催に踏み切った」 ― 3月14日、東京・大井町きゅりあんにおいて日本Hadoopユーザ会主催の「Hadoop / Spark Conference Japan 2019」が開催されました。 基調講演の模様、前回と同じ会場で開催された 基調講演に先立ち、開催の挨拶を行った日本Hadoopユーザ会の濱野賢一朗氏（NTTデータ）は、「本カンファレンスの開催を発表したとき、"もう開催されないかと思っていた"とずいぶん言われました」と発言していますが、たしかにこの3年間でHadoopを取り巻く状況は大きく変わり、「Hadoopは終わった」という
ClouderaとHortonworksが合併を完了。現在の製品は少なくとも3年のサポートを提供
Hadoopのディストリビューションベンダなどで知られるClouderaとHortonworksが、合併完了を発表しました。両社は2018年10月に合併を発表していました。 合併後の新生ClouderaのCEOとなったTom Reilly氏は次のようにコメントしています。 「業界をリードするエンタープライズ向けデータクラウドのプロバイダーとなることで、Clouderaは本日、新たな1ページを刻みます。両社の組織と技術ポートフォリオが1つになることで、継続的なイノベーションと成長を推し進めるための規模とリソースを備えた、揺るぎない市場リーダーとしての新生Clouderaが誕生します」 現時点で両社はそれぞれのブランドで製品を提供していますが、今後は製品ラインをひとつに統合するとともに、エッジからAIまでをカバーするエンタープライズ向けのデータクラウドを提供するとしています。 また10月の合併
ClouderaとHortonworksが合併を発表。エッジからAIまでをカバーするデータクラウドの提供へ － Publickey
ClouderaとHortonworksが合併を発表。エッジからAIまでをカバーするデータクラウドの提供へ 統合後の新会社のCEOにはクラウデラのCEOであるTom Reilly氏が、COOにはHortonworksのCOOであるScott Davidson氏がそれぞれ就任予定。 HortonworksのCEO Rob Bearden氏は新会社の取締役に就任予定。また、HortonworksのChief Product OfficerであるArun C. Murthy氏が新会社でもChief Product Officerを務めるとのことです。 両社は現在それぞれのブランドで製品を提供していますが、合併後に製品ラインをひとつに統合するとともに、エッジからAIまでをカバーするエンタープライズ向けのデータクラウドを提供するとしています。 新会社のCEOに就任予定であるクラウデラのTom Rei
もうオンプレには戻らない、リクルートとドコモがデータ分析基盤をAWSへ移す理由 (1/2)
“日本の大企業は米国に比べてITの最先端トレンドにキャッチアップするスピードが遅い”と言われることが多いが、ことAWSクラウドの導入に限っていえば、グローバルでも引けを取らず、むしろ先進的な導入事例も少なくない。特にここ最近は、データアナリティクスのコアとしてRedshiftやAthenaといったAWSのマネージドサービスを積極的に活用するエンタープライズが増えている。 本稿では、そうした国内企業の中でも最先端のデータアナリティクス基盤をAWS上に構築する「JAWS-UGビッグデータ支部」の2社、リクルートテクノロジーズとNTTドコモの事例について、7月5日に東京・大崎で開催された「AWS Solution Days 2017 ～ AWS DB Day ～」に登壇した両社の発表内容をもとに紹介したい。 EMRで“キャパシティプランニングの呪縛”から解放された：リクルートテクノロジーズ “リ
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
HadoopをBQにマイグレしようとしてる話
2017/03/29 Google Cloud はやわかりセミナー in 名古屋での、松田の講演資料になります
「そのデータ分析基盤、作るか? 使うか?」という話をしてきた - たごもりすメモ
ファンコミュニケーションズさんが自社オフィスで勉強会をはじめるということで、第1回でしゃべりませんかというお誘いを受けたので参加してきた。お誘いありがとうございました! eventdots.jp 内容はどうしようかなと思ったんだけど、相談してみたら過去のこのエントリのスタートアップ限定じゃない話とかどうかというものがあり、自分でも面白そうだったので、そんな感じで内容をまとめてみた。 To Have Own Data Analytics Platform, Or NOT To from SATOSHI TAGOMORI まあトピックと自分の現在の勤務先からしてどうしても内容にバイアスがかかると思われるのはしょうがない……ので割り切った宣伝スライドはまあ1枚入れるとして、それ以外はいちおう公平な議論を目指したつもり。 で、中にも書いてあるけど、明確な結論なんてものはなくて、各社個別の事情にあわ
2017年のHadoopとその仲間たち―開発コミュニティから見た動向 | gihyo.jp
あけましておめでとうございます。 例年、Apache Hadoopを中心に並列分散処理ミドルウェアの動向や展望についてご紹介していますが、今年は特に、Apache Hadoopの開発コミュニティ寄りの視点からお伝えしたいと思います。 2016年のHadoop 2016年9月にHadoop 3.0.0-alpha1がリリースされました。 このリリースは、後方互換性のない変更の影響を、HiveやHBaseのようなHadoopに依存するプロダクトの側で、早期に確認できるようにするためのものです。エンドユーザが利用することはあまり想定されていませんが、新しい機能やインタフェースを確認するために、ちょっと使ってみることはできます。 大きな機能追加としては、HDFSのErasure CodingとYARNのTimeline Service v.2があります。 Erasure Codingは、コールドデ
テクノロジとプレーヤーが出揃った！北瀬公彦の「Hadoop Summit 2016」レポート
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます こんにちは、北瀬公彦です。6月28～30日の3日間、「Hadoop Summit 2016 San Jose」が米San Joseのサンノゼマッケンナリー会議センターで開催されました。Hadoop Summitは歴史のあるイベントで、San Joseでの開催はこれで9回目です。今回は私も含めて、初参加の人が多かったようですが、皆勤賞というツワモノも何人かいました。年々参加者が増えており、今年はおよそ4000人が参加したようです。 Hadoop Summitというブランドが付いていますが、セッション内容は、クラウド、機械学習、ストリーミング処理、NoSQLなど多岐にわたっていました。初日の基調講演は、最初にHortonworksのプレジデ
Apache Hiveの今とこれから - 2016
今回のウェビナーでは、Hadoop1.xからみなさまに深く親しまれてきたApache Hiveが昨今、どのような形で高速化されてきたかについて話します。MapReduceからTezに変わった実行エンジン、インデックスを持ったカラムナーファイルフォーマットであるORC、モダンなCPUを最大限に活用するVectorization、Apache Calciteを利用したCost Based Optimizerによる実行計画の最適化、そして1秒以下のクエリレスポンスを実現するLLAPについて説明します。いずれの機能も数行の設定やコマンドで活用可能なものばかりですが、今回はそれらの背景でどんな仕組みが動いているのか、どんな仕組みで実現されているのかということについて話します。
二極化するHadoop業界--ホートンワークスとClouderaの複占を危惧する
Andrew Brust （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2016-04-15 06:00 HadoopベンダーのHortonworksは、アイルランドのダブリンで現地時間4月13日～14日に開催した「Hadoop Summit」で多くのことを発表した。発表そのものにも重要な内容が含まれており、この記事ではその内容を紹介する。 ただしこれらの発表は、「一般向け」のHadoop界が2つに分割されつつある現状を示していることを念頭に置いておいてほしい。HortonworksとClouderaが各ディストリビューションに導入している独自のコンポーネントは多くの場合、同じようなニーズや要件を満たすものになっている。 Hortonworksの発表 まず、重要な内容から紹介しよう。「Pivotal HD」を引っ提げて、3年前にHadoopのディストリビューション競
HDFSのスナップショット - 一歩一歩
この投稿は、Hadoop Advent Calendar 2013 - Qiita [キータ] 21日目です。 今日は、HDFSのスナップショットについて書きます。 HDFSスナップショット HDFSスナップショットは、特定の時点でのHDFSの状態を記録しておくことで、問題があった場合に容易に復旧させることができる、バックアップを容易にするという目的で、Hadoopの機能としてHadoop2.2系より提供されています。 これまでも利用者が複数のコマンド(Hadoop、OS)を組み合わせれば同じような仕組みを実現できたと思いますが、これにより統一できることがポイントです。 HDFSスナップショットの特徴 HDFSスナップショットには以下の特徴があります。 ユーザ単位で実行可能 スナップショットは、特定のユーザのみが取得できるわけでなく、HDFSにアクセスできるユーザであれば誰でも取得できます
Hadoop / Spark Conference Japan 2016に行ってきました | DevelopersIO
Hadoop / Spark Conference Japan 2016に行ってきましたので、その内容についてレポートします。最近は機械学習とSparkに興味があるためランチはB会場のライトニングトークを聞き、午後はD会場のセッションに参加しました。なお、スライドは順次Hadoop / Spark Conference Japan 2016（2月8日、東京）の講演・LTのプログラム | 日本Hadoopユーザー会に公開されるそうなので、そちらも合わせてご覧下さい。 Keynote まずは午前中のKeynoteです。他にもKeynoteに関する記事を見つけたのこちらも合わせてご覧下さい。 #hcj2016 Hadoop/Spark Conference Japan 2016 午前キーノートのメモ - #garagekidztweetz Hadoop / Spark Conference Ja
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop: Decade Two, Day Zero*
【海外ITトピックス】 「Hadoop」をクラウドネイティブに ビッグデータ基盤モダン化の取り組み
Hortonworks, IBM, Red Hat Collaborate to Help Accelerate Containerized Big Data Workloads for Hybrid Architectures
decode17
Cloudera | ハイブリッドデータカンパニー
IDE4Laszlo
[HDFS-9670] DistCp throws NPE when source is root - ASF JIRA