TechCrunch | Startup and Technology NewsIt’s that time of week again, folks. Welcome to Week in Review (WiR), TechCrunch’s regular digest of the past week in tech. New here? Not to worry — sign up here to get WiR in your i
Apache Sparkによるスケーラブル機械学習入門
IBM Bluemixは、PaaS（Platform as a Service）として皆さんに最強の開発環境を提供します。Bluemixの特徴として、開発基盤だけではなく、100を超えるサービス「IBM Watson、ランタイム、IoT、Storage（DB）、アナリティクス、モバイル」など、豊富な開発環境やAPIがシンプルな形で提供されており、より素早くアプリケーションを構築＆運用することが可能です。「IBM Bluemix User Group（BMXUG）リレー寄稿」では、コミュニティの皆さんが最近もっとも注目しているBluemixのサービスを、順番に紹介していきます。今回は「Apache Spark」と「機械学習」を取り上げます。 近年IoTへの関心が大きく高まっていますが、インターネットに接続された各種デバイスから集約される大量の情報を有効活用するには、集められた情報をいかに処理
TechCrunch | Startup and Technology News
Dogs are the most popular pet in the U.S.: 65.1 million households have one, according to the American Pet Products Association. But while cats are not far off, with 46.5…
新しいビッグデータ分析基盤「Apache Spark」登場の背景と、押さえておきたい活用ポイント
ビッグデータ分析を行うための新しい基盤としてApache Sparkが注目を集めている。Hadoopがデータ分析基盤のデファクトスタンダードとして定着した今、なぜSparkが登場したのだろうか。その経緯やHadoopとの違い、IBMのSparkへの取り組み、そしてプラットフォーム選択における最適解について、日本アイ・ビー・エム 田中裕一氏、中島康裕氏に伺った。 日本アイ・ビー・エム IBMシステムズ・ハードウェア事業本部 ITスペシャリスト 中島康裕氏（左）、 同 アナリティクス事業本部 田中裕一氏（右） Hadoopの登場により本格的なビッグデータ時代が到来 ビッグデータ分析や機械学習など、大規模データ処理のベースとなるのが分散コンピューティング技術である。しかし、以前の分散コンピューティングアーキテクチャは多くの課題を抱えていた。一つはプログラムが高度化・複雑化してしまうという問題だ。
Apache Sparkをベースにした、無償で使えるクラウドプラットフォーム「Databricks Community Edition」のベータ版が発表
米Databricksは、「Apache Spark」をベースにしたクラウドプラットフォーム「Databricks」の無償版「Databricks Community Edition」のベータ版を、2月17日（現地時間）にサンフランシスコで開催されたイベント「Spark Summit East」で発表した。 「Databricks Community Edition」は、開発者やデータサイエンティスト、データエンジニア、およびSparkを学びたいと考えているユーザーを対象にしており、マイクロクラスタやクラスタマネージャー、シンプルなアプリケーションの開発が可能なプロトタイプ作成環境を利用できる。また、IPython notebooksとの互換性を備えており、既存のIPython notebooksのインポートにも対応する。 このほか、76000人以上が参加したオンライン学習コース「Intr
Apache Sparkと機械学習、データ基盤にフォーカスした未来志向のテクノロジーカンファレンス
翔泳社は2015年11月17日、東京・六本木にあるベルサール六本木にて「Data Engineering Conference 2015 Powered by Developers Summit」を開催した（協賛：日本IBM）。翔泳社の開発者向けイベント「Developers Summit」のスペシャル版として、会場では、Apache Sparkや機械学習に着目したデータ基盤をテーマに、海外からもスピーカーを招聘して開発者向けセッションが行われた。本稿では、その模様をお伝えする。 Data Engineering Conference 2015 Powered by Developers Summit会場の模様。 立錐の余地もないほどの大入り満員だった AI（人工知能）の全体像――その歴史と現状、今後の展望 スピーカ－：株式会社KDDI総研 リサーチフェロー 小林 雅一氏 「AI（人工知能
IBM、「Apache Spark」のクラウドサービスを提供開始
IBMは6月に米サンフランシスコで開催された「Spark Summit」で、「Apache Spark」に対する3億ドルの資金投入、Spark Technology Centerの設立、および3500名の専任研究者の配属を発表することで、Apache Sparkへの全面的な支援を表明した。そして米国時間10月26日、IBMはラスベガスで開催中の自社イベント「IBM Insight 2015」で、「IBM Analytics on Apache Spark」を発表した。「Bluemix」クラウドの一部として提供する「Spark-as-a-Service」だという。 Apache SparkをBluemix環境で提供するIBMの目的は、「Cloudant NoSQL」や「dashDB」などを含む他のクラウドデータやアナリティクスサービスと、Apache Sparkを統合することだ。同社では、コ
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（後編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（後編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 （本記事は「Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）」の続きです。 Spark内部の動作が可視化 最新のSpark 1.4では、大きな機能追加が3つあります。 1つは、R言語でSparkを用いた処理が書
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
TechCrunch | Startup and Technology News
The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…
Databricks、「Apache Spark」ベースのクラウドプラットフォームを一般向けにリリース
Databricksは米国時間6月15日、オープンソースのクラスタコンピューティングフレームワークである「Apache Spark」をベースにしたクラウドプラットフォーム「Databricks」の一般提供を開始した。同社によると、このプラットフォームは限定されたユーザーによって1年間にわたって使用されてきたという。 同社によると、DatabricksはSparkの利用を簡素化するとともに、複雑なワークロードの開発やスケジューリング、管理にかかる時間を短縮することを目的としており、150社以上の企業によって導入されているという。 Databricksのエンジニアリング責任者であるAli Ghodsi氏によると、以前は「Databricks Cloud」と呼ばれていたこのクラウドサービスは、対話的な調査や、コラボレーション、生産を自動化できるように設計されているという。 Sparkは、「Apa
IBM、「Apache Spark」を重視--関連プロジェクトへの大規模リソース投入など発表
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます IBMは米国時間6月15日、同社が展開するクラウドサービスの中核となるデータ処理プラットフォームに「Apache Spark」を採用すると発表した。同社は、Sparkをアナリティクスやコマース製品に組み込み、「Bluemix」上でクラウドサービスとして提供する計画だ。IoT（モノのインターネット）アプライアンスのバックエンド、ビッグデータのリアルタイム解析や予測分析など、多種多様な製品とサービスにSparkを活用していく。 IBMはApache Sparkの採用に伴い、全世界で進められる関連プロジェクトに大規模なリソースを投入する。まず、同社は世界十数カ所の研究施設で、3500名に及ぶ研究者と開発者をSpark関連プロジェクトに従事させ
大きな注目を集める「Apache Spark」--その実力は？
Andrew Brust （Special to ZDNET.com） 翻訳校正： 川村インターナショナル 2015-04-14 06:45 約1年間の不在、そして、今は無きGigaom Researchでリサーチディレクターを務めた期間を経て、筆者はビッグデータ関連の記事を執筆するために米ZDNetに戻ってきた。この1年はあっと言う間に過ぎ去ったが、かなりの変化も起こった。 「SQL-on-Hadoop」が普及し、「Hadoop」とリレーショナルデータベースを扱うほぼすべてのベンダーが独自のソリューションを提供するまでになった。 業界の整理統合が始まった。JaspersoftやPentaho、Hadapt、RainStor、Revolution Analyticsといった企業が既に買収されたか、近いうちに買収される予定だ。 現在、「YARN」と「Hadoop 2.x」が多くのマインドシェ
「Apache Spark」にかけるHortonworksの取り組み--インメモリエンジンをどう強化するか
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Hadoop」関連のソフトウェアとサービスを提供するHortonworksは米国時間9月24日、「Apache Spark」に関する計画を明らかにした。このインメモリエンジンを、エンタープライズでの利用に向けてさらに優れた選択肢にすることが目的だという。 同社は、Sparkと、Hadoopのリソース管理レイヤである「YARN」の連携を向上させ、ガバナンスとセキュリティ、オペレーションに優れたインメモリエンジンを提供するための取り組みに力を入れている。 SparkをYARNとより深く連携させる目的は、Sparkが、単一データプラットフォーム上で「Hive」「Storm」「HBase」といったほかのエンジンと連携してより効率的に稼働するよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News