メキメキ開発の進む Apache Sparkのいまとこれから （Spark Casual Talk #1 発表資料）
1. Copyright © 2015 NTT DATA CorporationCopyright © 2015 NTT DATA Corporation 2015年6月23日 株式会社NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔／土橋 昌 メキメキ開発の進む Apache Sparkのいまとこれから OSS Professional Service Team Spark Casual Talk #1 （2015/06/23） 発表資料 2. 2Copyright © 2015 NTT DATA Corporation 自己紹介 猿 田 浩 輔 ソフトウェア開発。システムインフラ技 術者。 6年ほどHadoopに関する業務に従事。 近年はSpark関連の取り組みが多い。 2015年6月Sparkコミッタに就任 出版物に「Haodop徹底入門（初版、 第二
日立がCOBOLデータ向けHadoopアプライアンス
日立製作所は2013年10月15日、COBOLデータをOSSの分散処理ソフト「Apache Hadoop」で活用する「かんたんHadoopソリューション for COBOL基幹データ活用」を、10月17日に販売開始すると発表した（写真）。取引履歴や販売実績など、基幹系のビッグデータ分析が主なターゲットである。 同社のブレードサーバー「HA8000-bd/BD10」に、Hadoopや「COBOL2002」「uCosminexus Grid Processing Server」など各種ソフトをインストール／設定して提供する。同社が開発した分散共有ファイル「Hitachi Striping File System（HSFS）」は、「POSIXに準拠したデータ入出力が可能な上に、Hadoopの分散ファイルシステム「HDFS」と互換性がある」（日立製作所 プラットフォームサービス開発本部 OSSテク
オープンソースのクローラツール「Apache Nutch 2.0」登場
The Apache Nutch PMCは7日(米国時間)、Apache Nutchの最新版「Apache Nutch 2.0」を公開した。Apache Nutchは、Javaで開発されているハイスケラーブルなWeb検索フレームワーク。Apache Solr、Apache Tika、Apache Hadoop、Apache GoraといったApacheプロジェクトで構築されており、Webクローリング機能やリンクグラフデータベース、HTML解析といった機能を備えている。 Apache Nutch 2.0は小規模なクローラから、Hadoopクラスターでデプロイされた大規模なWebクローラまで、様々なユースケースをカバーできるよう設計されているWeb検索ソフトウェア。Apache Nutch 2.0で構築されたWebクローラは、Apache Accumulo、 Apache Avro、Apach
［第6回］クラスターのアーキテクチャー HDFS編
第3回でディストリビューションとディトリビューターや製品ベンダーを詳しく説明しましたが、その後2012年6月に様々なベンダーからApache Hadoop関連製品が新たにリリースされています。 米クラウデラは2012年6月5日（現地時間）、Apache Hadoopバージョン2をサポートしたCDH 4.0.0をリリースしました。 同じくHadoopのディストリビューターである米ホートンワークスも2012年6月12日（現地時間）、Apache HadoopのディストリビューションHortonworks Data Platform （HDP） 1.0を、Apache Hadoop 1.0.3ベースでリリースしました。このディストリビューションには管理とモニタリングサービスを提供するコンポーネント、Apache AmbariベースのHortonworks Management Center （H
うるう秒によるjava障害と連動して生じたHDFSメタデータ破損からの復帰手順 - 生物物理計算化学者の雛
※本記事ではうるう秒によるjavaの異常と、それに伴って生じたHadoop 0.21.0 HDFSのメタデータ破損からの復旧手順を説明します。なお、本復旧手順は私の環境で上手くいっただけであり、他の環境で同様の手順を行ったとしても復旧できる保証はありませんので、ご注意ください。 昨日（2012/7/1）Hadoopクラスタの一部マシンでCPU負荷が突然MAXに張り付いていることに気付きました。 今日になってこの現象はうるう秒のあとにjavaに生じた不具合であることが分かりました（参考：http://d.hatena.ne.jp/sh2/20120702、このブログの記述と同様にjavaとksoftirqdプログラムが大きなCPU負荷を占め続けていました）。 この障害が起きていたのはOSがfedora10, 13のマシン群で、他のマシンはCentOSであり不具合無く動作していました。 試行錯
日本IBM、表計算のように分析できるHadoopソフト新版「BigInsights」
日本IBMは2011年8月31日、大量データを分析するシステムをHadoopを用いて構築・運用するミドルウエアの新版「InfoSphere BigInsights Enterprise Edition V1.2」を発表した。新版では、表計算ソフトのようにHadoopデータを分析できる「BigSheets」機能を追加した（写真）。2011年9月2日に出荷する。 InfoSphere BigInsightsは、大量データ分析用の分散処理ソフト「Apache Hadoop」の、IBM版のディストリビューションである。Hadoopシステムを構築・運用するためのツール群を、企業向けにパッケージ化している。Hadoop独自の情報処理プロセス（MapReduce処理）を扱いやすくする上位言語（Jaql、Pig、Hive、その他）、インストーラ、統合開発環境、ジョブスケジューラ、ワークフローエンジンなどを
EMCに訊く、「企業がHadoopを使うためにすべきこと」
「いままでの定型的なデータだけでは、企業のサービスや製品の戦略は限られたものだけになってしまいます」 ―EMCジャパン データ・コンピューティング事業本部 テクノロジー & プロフェッショナルサービス部 テクニカルコンサルタントの草薙昭彦氏は、ビジネス環境の不確定性が高まる中、これまでの定型的なデータだけでは、新しいサービスや製品を生み出すための画期的な戦略を打ち出すのが難しいと指摘する。 一方で、企業の扱うデータは急速に増えている。 データベースに正規化して格納した情報を、これまで通りに定型処理し活用することはもちろん必要だ。それに加え、たとえばインターネットから得られるさまざまなログデータ、画像、音声、映像、さらには各種センサーから得られる多様なデータが続々と増えており、これらをどうビジネスに生かしていくかが新たな課題となっている。 「他の企業がまだ利用していないデータを活用できれば、
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
Hadoop入門とクラウド利用
This document discusses Hadoop and related technologies. It introduces Hadoop, its components MapReduce and HDFS, and how they work together. It also briefly mentions related Apache projects like Mahout and how companies like Amazon, Yahoo and Facebook use Hadoop in their systems. Finally, it covers Amazon's Elastic MapReduce service, which allows running Hadoop jobs in the cloud.Read less
MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
Apache Hadoop - Wikipedia
Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。 HadoopはApacheのトップレベルプロジェクトの1つであり、世界規模の開発貢献者コミュニティによって開発され、使用されている。[2] Hadoopは、以下の4つのモジュールによって構成されている。 Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。 Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。 Hadoop YARN: Hado
はてなブログ | 無料ブログを作成しよう
トルコ水紀行 －前編 イスタンブール－ みなさんこんばんは、地図子です！8月は久しぶりに毎月更新にしようと思います。今までずっと名古屋について書いてきましたが、ワープして・・・ トルコについて書きたいと思います。 2024年6月に念願のトルコに行ってきました。いつからトルコに行きたかったかわから…
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Impalaの挙動及びそのトラブルシューティングについて - Google グループ
Charming Python: Functional programming in Python, Part 3
Hadoop、hBaseで構築する大規模分散データ処理システム