IBMとHortonworksが提携を拡大--Hadoopとデータサイエンス製品で
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます IBMとHortonworksは、「Open Data Platform Initiative（ODPi）」を通じて数年前から協業関係にあったが、今回さらに提携を拡大した。サンノゼで米国時間6月13日から開催されている「2017 DataWorks Summit」の基調講演で、IBMとHortonworksは双方の特定のHadoop製品とデータサイエンス製品を販売することで複数年の合意を締結したことを発表した。 IBMは公式Hadoop製品として「Hortonworks Data Platform（HDP）」を提供し、HortonworksはHDPとともにIBMの「Data Science Experience（DSX）」を提供する。ま
FPGA、CPUの処理速度10倍--Hadoopでの文字列解析に有効性：ミラクルが研究
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ミラクル・リナックスは12月1日、FPGAを使った文字列分割処理の高速化についての研究開発成果を公開した。 FPGA（Field Programmable Gate Array）は、ユーザーが目的に応じてプログラム可能な集積回路（LSI）。大量のデータ処理が必要になるIoTの機器やゲートウェイでの活用、Hadoopでの文字列解析などに大きな効果を生み出すとされている。 しかし、FPGAを用いた設計には広範な知見が必要な上、アプリケーションなどの既存資産を動作させるためのアーキテクチャ変更が必要になる。そのため、一般的なユーザーにとってはFPGA活用には障壁があるとされている。 ミラクル・リナックスは今回、IoTゲートウェイやデータセンタ
“保存されたデータ”と“流れるデータ”の共通分析基盤はHadoopでどうつくる？
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Apache Hadoopに関連するMicrosoft AzureのサービスとHortonworks製品についての勉強会が7月19日に開催された。この会は、世界39都市で行われているビッグデータ関連のミートアップコミュニティー「Future Of Data」の活動の一環として、日本マイクロソフトとホートンワークスジャパンの主催で実施されたもの。会場の日本マイクロソフト品川本社のセミナールームには約130人の聴講者が集まった。 「Data at Rest」と「Data in Motion」 まず始めに、ホートンワークスジャパンの北瀬公彦氏が、6月28～30日に米国San Joseで開催された「Hadoop Summit 2016 San
Hadoop生みの親が語るビッグデータの未来、インメモリやクラウド技術の進展
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Hadoopの生みの親であり、現在はClouderaのチーフアーキテクトを務めているDoug Cutting氏がインメモリ技術や、クラウド関連の技術について語ってくれた。これらの技術によって、Hadoopはもうすぐ、ビッグデータからより多くの価値を引き出せるようになるという。 Cutting氏がHadoopというフレームワークを生み出した10年前には、大規模コンピューティングがこれほどまでに企業分野に浸透するとは同氏自身、予想だにしていなかった。 同氏は「Strata and Hadoop World」カンファレンスにおいて、「私が予想していたのは、これまで目にしてきているものよりも、ずっと控えめなものだった」と語った。 今日、Hado
Hadoop商用ディストロ「MapR」にストリーム処理--製品の体系と名称を変更
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます オープンソースソフトウェア（OSS）の分散並列処理フレームワーク「Apache Hadoop」の商用ディストリビューションを開発、提供するマップアール・テクノロジーズは4月21日、米本社が開発した企業向け製品の現況を説明した。3月末からストリーミングデータをリアルタイムに処理する「MapR Streams」機能のライセンスを販売開始した。同時に、製品名を従来の「MapR M7」「同M5」「同M3」から「MapR Converged Data Platform」に変更した。 新たな製品名のConverged Data Platform（コンバージドデータプラットフォーム）とは、データの収集と分析に必要な複数の機能群を複数の製品やサーバを組
Google、Spark/Hadoopのマネージドサービス「Google Data Proc」を正式公開。CPUあたり1時間0.01ドルから
クラウド側でHadoopやSparkの環境を用意してくれるため、利用者はインストールや設定などの手間がなく、すぐに利用できるのが特長。現時点で提供されるHadoopとSparkのバージョンは、「Hadoop 2.7.2」「Spark 1.6.0」。また、「Hive 1.2.1」「Pig 0.15.0」も用意されます。 利用料金は、仮想1CPUあたり1時間0.01ドル（約1円）から。Googleによると起動時間は非常に短く、平均で90秒かそれ以下だとしています。 Googleは大規模データ処理に向けたマネージドサービスとして独自サービスながら非常に高速でスケーラビリティの高い「Google Cloud Dataflow」や「BigQuery」を以前から提供しています。 これらに加えて今回の「Google Data Proc」を提供するのは、オンプレミスや他のクラウドでも使われている標準的なミ
グーグル、HadoopとSpark向け管理サービス「Cloud Dataproc」の一般提供を開始
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間2月22日、「Google Cloud Dataproc」の一般提供を開始したと発表した。 Cloud Dataprocは、「Google Cloud Platform」上における、「Apache Hadoop」および「Apache Spark」のマネージドサービスだ。このサービスは、自らのデータクラスタの管理を自動化したいと考えているオープンソースユーザーに向けたものとなっている。 Googleによると、Cloud Dataprocのベータ版提供を開始した2015年9月以降、HadoopおよびSpark上でのデータ分析を簡単に実施できるようにするための複数の機能を同サービスに追加してきたという。 Googleのプ
Hadoop誕生から10年--変わり続けるビッグデータ業界
Andrew Brust （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2016-02-04 06:30 信じられないようだが、これは本当のことだ。「Google File System」と「MapReduce」のオープンソースによる実装から始まった「Apache Hadoop」プロジェクトが1月最終週、誕生から10年を迎えた。 この技術は元々、さらに古いウェブクローリングのためのオープンソースプロジェクトである「Apatch Nutch」の一部であり、開発を加速するために、2006年に米Yahooの開発チームの1つが割り当てられた際に独立したプロジェクトとなった。 変化を巻き起こしたHadoop この2つのプロジェクト（および「Apache Lucene」）の設立者であるDoug Cutting氏（元米Yahoo所属、現在はClouderaのチーフアーキテクトを務
「Hadoop」から「Spark」へ、移り変わるビッグデータ分析の注目技術 (1/2)
関連キーワード BI（ビジネスインテリジェンス） | ビッグデータ | データ分析 「Apach Spark」最新バージョン「Spark 1.6.0」は公式サイトからダウンロードできる《クリックで拡大》 CIOの優先課題に関する最近の調査のほとんどは、彼らにとってビッグデータやアナリティクス、ビジネスインテリジェンス（BI）が現在の最大の関心事であることを示している。だが、米TechTargetで、データ活用に関する2015年に最も人気を集めた記事からは、CIOやIT幹部のこうしたトピックについての理解や議論がこれまで以上に広がり、深まっていることがうかがえる。 併せて読みたいお薦め記事 ビッグデータ活用最新動向 ビッグデータ活用、“しくじり案件”から学ぶ7つの教訓 “やるかやらないか”で二極化するビッグデータ活用 一般企業への浸透が進む 人工知能で膨大な「カスタマーの声」を解析、リクルー
SAP、Hadoopデータ分析向けインメモリクエリエンジン提供--Sparkを拡張
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます SAPジャパンは11月5日、オープンソースソフトウェア（OSS）の分散並列処理プログラミングフレームワーク「Apache Hadoop」にあるデータの分析を効率化できるというインメモリクエリエンジン「SAP HANA Vora」の提供を開始した。モノのインターネット（Internet of Things：IoT）の活用や分析も効率化できるとメリットを説明している。 HANA Voraは、OSSのデータ処理フレームワーク「Apache Spark」を拡張して活用。Hadoop内にあるデータなどさまざまソースからの情報と、インメモリデータベース「SAP HANA」で管理されたトランザクションデータを透過的に活用できるという。 SAPのインメ
Cloudera、「Hadoop」の新セキュリティレイヤとストレージエンジンを発表
米ニューヨークのジェイコブ・ジャヴィッツ・センターで「Strata + Hodoop World 2015」が開催された。開幕前の米国時間9月28日、Clouderaは「RecordService」と「Kudu」を発表した。 RecordServiceは「Hadoop」の新しいセキュリティレイヤで、「MapReduce」「Apache Spark」「Cloudera Impala」など、Hadoop上で動くデータと分析エンジンに安全なアクセスを提供するものだ。Clouderaはすでに、アクセス制御の定義をサポートするセキュリティコンポーネント「Sentry」を提供しているが、RecordServiceはこれを補完するものとなり、列と行レベルまでアクセス制御が可能となる。RecordServiceはまた、ダイナミックデータマスキングもサポートするという。これは、RecordService A
グーグル、HadoopとSpark向け管理サービス「Cloud Dataproc」のベータ版を公開
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます GoogleがGoogle Cloud Platformを利用した新しいクラウドサービス「Cloud Dataproc」のベータ版を発表した。「Apache Hadoop」および「Apache Spark」を利用したデータ分析を簡素化するという。 Cloud Dataprocはデータクラスタ管理を自動化したいというオープンソース開発者向けのサービスとなる。 Google Cloud PlatformのプロダクトマネージャーJames Malone氏は、このサービスを発表したブログ記事で、「Cloud Dataproc自動化によりクラスタを迅速に作成し、容易に管理することができる。不要なときにクラスタをオフにできるため、コストを削減できる
日本IBM、Hadoop活用を促進へ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日本IBM7月8日、大容量のデータを管理し、分析できるようにするオープンソースの「Apache Hadoop」と「Apache Spark」を、エンタープライズ領域で利用できるようにするためのソフトウェア「IBM BigInsights for Apache Hadoop V4.1」を発表した。データサイエンティストなどが使うHadoopデータを活用できる機能を強化する。 BigInsights for Apache Hadoop V4.1では、Hadoop環境でオープンソースの統計解析用言語を実行するBig R、Big R上での機械学習機能の提供など、データサイエンティストの業務の生産性向上を支援する機能を強化する。 日本IBMはこれ
「Hadoop」の本格普及はまだ先--導入促す鍵は？
「Hadoop」への関心が高いことは事実だが、それが実際に導入に結びつくわけではない。導入を促すには鍵となる2つのことが必要だ。 Hadoopはいつも最高情報責任者（CIO）よりブロガーの間で大きな話題になっているが、導入が拡大していることを示す兆候もある。とはいえ、Gartnerが先頃発表したデータを見る限り、Hadoopの未来が訪れるまでには、間違いなく非常に長い時間がかかりそうだ。 具体的には、どのくらいの時間がかかるのだろうか。 それは、Hadoopがどれだけ早く330億ドル規模の市場を作り出せるかによって決まる。 革新は容易ではない Gartnerのアナリスト（でビッグデータの熱烈な支持者でもある）Merv Adrian氏は、Hadoopの支持者にどのように対抗するつもりなのかと問う人々に、率直な反論を用意している。「答えは単純だ。われわれはデータを確認した」 そのデータは、Ha
TechCrunch | Startup and Technology News
The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…
「Hadoop」導入、当面伸び悩みか--ガートナー調査
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ビッグデータとアナリティクスが大きな関心を集めていることは明白だが、「Hadoop」の今後2年間の見通しは、明るい部分ばかりではないようだ。 一部のアーリーアダプターはHadoopの成功事例を報告しているかもしれないが、Gartnerの調査に対する回答者の半数強は、さし当たりHadoopへの投資を計画していない。2年以内の投資を予定しているのはわずか18％だ。 Gartnerによると、単にHadoopを優先事項とみなしていない企業もあれば、自社の問題に対してHadoopは過剰であると考えている企業もあり、このことは、予想される利益に比べてHadoop導入の機会費用が高すぎることを示しているという。 既にHadoopの展開、試験運用、また
ロックオン、Hadoopで「アドエビス」のシステム強化、計測上限数の大幅な引き上げが可能に
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SparkとHadoopは友だちである、敵ではない | TechCrunch Japan
TechCrunch | Startup and Technology News