［ITpro EXPO 2011］Hadoopの導入支援ソリューションを富士通が参考展示
富士通は東京ビッグサイトで開催中の「ITpro EXPO 2011」展示会で、オープンソースの分散処理基盤「Apache Hadoop」の導入・運用を支援する、新たな法人向けソリューションを参考展示している。データの抽出・分析のための分散処理フレームワーク「Hadoop MapReduce」、およびMapReduceを使いやすくする「Pig」「Hive」といったユーティリティを使えるようにする。 また爆発的に増加する情報、いわゆる“ビッグデータ”を高速処理するための独自機能も用意する。例えば独自のファイルシステムを設置し、業務システム側に配置しているデータをこのファイルシステムにもあらかじめ蓄積しておき、Hadoop側と共有させる（写真1）。これにより処理時間を大幅に短縮できる、としている（写真2）。 富士通は、2012年3月末をめどにこのソリューションを商用化する予定である。
DougCuttingの講演から思うことのメモ - 急がば回れ、選ぶなら近道
一応感想というかメモ書き ・DougはApacheのChairmanであり、ポジション的には Clouderaのビジネスを語る立場ではないので、 普通にテクノロジーとして意見を聞くべき ・ビジネス的には仮にC社が買収されたとして 本家がApacheで保護されているので大ジョブというスタンス （この辺は割り引いた方がよいとは思うが） ・ということはスペックリーダーはClouderaではなく Apache本家とみた方が妥当。新規の開発はほぼApache中心で Clouderaはパッケージ担当に近い。万が一に備えて エンジニアも心情的にはそっちに振っているとみた。 ・ApacheHadoopは「インフラ的な役回り」に行こうとしてる。 YARNやMapReduce2.0を見ればわかる通り、 ResourceManagerのワードが山ほど出てくる。 これは「ノード処理はすべて引き受ける」という風に見
58blog: Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第4回）に参加した際の備忘録
2011/05/05 Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第4回）に参加した際の備忘録 Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第4回） : ATNDに参加した際の備忘録です。 Togetterはこちら。 Togetter - 「Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会（第4回）」 鬼塚さんのお話はHadoop、分散処理、大規模データに限らず、普段我々が触れるデータやシステムにとっても参考となる、データの扱い方についての本質的な部分を抽出することが出来たような気がしました。 セミジョインの考え方とか、RDBのSQLでも似たようなことをやった記憶があります。 浅海さんのフレームワークの話では、「イベント」の定義について議論が盛り上がりまし
Hadoop：So-net Developer Blog：So-netブログ
Hadoopはlog4jを使って、大量のログを生成しています。連日ジョブを走らせている ような環境では、NameNodeのログ領域はGバイト単位で肥大化してディスクを圧迫します。 ログの出力ディレクトリをシステム領域と共有している場合などは、ディスク残容量 不足でシステムトラブルの原因にもなりえます。 見落としがちですが、ログの管理もやっておきましょう。 ローテーションについては、Hadoopがやってくれているので、不要なログを抑制して 不要になった古いログは削除するようにします。 ログの抑制についてですが、CDHを使う限りHDFSへのアクセスにパーミッションを設定して はいないので、HDFSへの監査ログは不要と思われます。 しかも、この監査ログがHDFSへのアクセスの度に記録されるので、肥大化の原因になって ます。 log4j.properties中に定義されている「SNamesyste
Asakusa Enterprise Batch Processing Framework for Hadoop
3. 目的 Asakusa の目的 基幹バッチ処理を Hadoop 上で、開発・実行・運用すること Hadoop 上で基幹を動かすことの狙い バッチ処理時間の短縮 バッチ処理の短縮で何が可能になるのか？ ① 今まで時間的な制約できなかった処理を何度も行うことができる 月次・週次での処理を日次で行える。可能であれば「即時処理」 シミュレーション・確定処理・クレンジング・引当・受発注・在庫管理・予測処理 ② 時間的に処理が不能であったデータも処理をする 13 か月実績推定から 100 カ月超のデータも取り込む データ種が異なるデータもまとめて処理にかける ③ 無駄な時間がなくなり、運用のコストが劇的に下がる 夜間バッチをなくして、運用監視の人的なコストを下げる 4. 実際どんなものか？ 基幹バッチ処理の例～一部抜粋 仕入データ 取り込み 残高 更新 照合 処理 仕入明細 データ 仕入返品 デー
#ashigel Ashigelコンパイラの勉強会
豊月 @yutuki_r Asakusaの次期VerのコードネームはやはりTawarachoなのだろうか。Ueno、Nihonbashi、Toranomonなどを経て最後はShibuyaになるんだろうか・・・ 2011-02-25 01:00:42
TechCrunch | Startup and Technology News
TechCrunch Disrupt 2024 will be in San Francisco on October 28–30, and we’re already excited! This is the startup world’s main event, and it’s where you’ll find the knowledge, tools… As a part of a multi-part series, TechCrunch is highlighting women innovators — from academics to policymakers —in the field of AI.
Mahout Canopy Clustering - #TokyoWebmining 9
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
第９回 データマイニング+WEB 勉強会＠東京に参加してきた - nokunoの日記
というわけで行ってきました。第９回 データマイニング+WEB 勉強会＠東京 ( TokyoWebmining 9)?1st Week? 大規模解析・機械学習・クオンツ 祭り? : ATNDFirst Weekって。■大規模解析：1. Mahout Canopy Clustering (講師：@hamadakoichi)(発表30分＋議論60分) Canopy Clusteringは通常の多くの手法と異なり、クラスタ数指定を必要とせず、指定距離 離れたクラスタ算出を実現する。 Hadoop上で動作する大規模データマイニング・機械学習ライブラリ Mahoutでの実行法も含めお話しします2. 機械学習＝機械の代わりに人間が学習 (講師：@shuyo))(発表20分＋議論40分) Gihyo.jp でも機械学習の連載し裾野を広げる活動をされている @shuyo さん。 今回、機械学習の歴史や専門外
Robust log process
2. はじめに 1. スケーラブルなログ集計を安全に構築するために我々が考慮していることを説明します。 2. 広告集計という特性上、「超高速にかつ高効率に！」というよりはどちらかというと「多少の非効率は目をつぶって安全側に寄せる」という設計方針になっています。 3. 上司から突然「来月から 1 日 10 億越えのアクセスを食うことになるから集計システムはよろしくね♪」という日が来るかもしれないので、来たる日に備えてもらえればと思います。 4. 自己紹介 山崎大輔 Twitter: @yamaz Blog : 最速配信研究会 http://d.hatena.ne.jp/yamaz/ 現在：株式会社スケールアウト 代表 1 日数億～を超えるような配信をカジュアルに行うための 広告配信システム「 ScaleAds 」の開発と販売およびコンサル かれこれオンライン広告業界で 14 年やってます
BI/BA/DWH：焦点は“ビッグデータ”と「Hadoop」--そしてリアルタイム化 - レポート - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2009年に引き続き2010年もビジネスインテリジェンス（BI）と、その基盤となるデータウェアハウス（DWH）市場では、さまざまな動きが起きている。企業買収もあれば、新技術の台頭もある。この1年間にBIとDWHの市場でどんな動きがあったのかを振り返ってみる（2009年については「激化するBI戦争はDWH分野へと戦線拡大」を参照していただきたい。またBIがどんなものなのかは「BIによるデータ活用ことはじめ」でとても分かりやすくまとめられているので、是非参照してもらいたい）。 IBMとEMCの買収 2010年を振り返ってまず注目できるのが、IBMによるDWHアプライアンス専業ベンダーNetezzaの買収だ。IBMは2007年11月にBIソフ
「Jaql」を使ってMapReduceをより簡単に
Jaql（a query language desired for JSON：JSON用に位置づけられたクエリ言語）は、JSON型式のデータを処理するためのクエリ言語で、Apache HadoopのMapReduceを処理するための実装が存在します。日本語では「じゃっくる」と発音します。ジャッカルに似ているため、一部のサイトにはジャッカルの写真が掲載されていました。 もともとはIBMのアルマデン研究所で研究・開発され、オープンソースへ提案されました。本原稿執筆時点では、Apache Incubatorプロジェクトになっており、Google Codeのサイトで開発が進められています。 IBMアルマデン研究所のサイト Apache Hadoop用実装のダウンロードサイト 本記事執筆時点では、つい先頃リリースされた、Jaql 0.5.1をベースに解説しています。 1. JSONの基礎 JSON（
マイクロソフトのHadoop対抗「Dryad」がベータテスト開始
マイクロソフトは、Windows HPC Serverのクラスタ上で動作する「Dryad」のベータ公開を開始したことを発表しました。 Dryad Beta Program Starting - The Windows HPC Team Blog - Site Home - TechNet Blogs Dryadは、オープンソースとして公開されている大規模並列バッチ処理ソフトウェアのHadoopに対抗するものといわれています。Hadoopは、いままで高価格なハードウェアとソフトウェアが必要とされていたビジネスインテリジェンスなどの大量データ分析を、安価なハードウェアのクラスタとオープンソースという破壊的な低価格と高い処理能力をもたらしたことで注目されています。 DryadとHadoopの違いは？ 発表によると、今回ベータ公開されたのは、Windows HPC Server 2008 R2 S
国立国会図書館サーチ（NDLサーチ）
詳細検索 「絞り込み条件」をあらかじめ表示した検索画面です。多数の条件を組み合わせた高度な検索が可能です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
English (US)
http://agilecatcloud.com/2011/04/01/asakusa-%E5%A0%B1%E9%81%93%E7%89%B9%E9%9B%86-hadoop-%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%90%E3%83%83%E3%83%81%EF%BD%A5%E3%83%95%E3%83%AC%E3%83%BC%E3%83%A0%E3%83%AF%E3%83%BC%E3%82%AF-cloud-c/
United States
hugjp on USTREAM: 日本Hadoopユーザ会.
http://agilecatcloud.com/2010/12/28/nosql-2010-%E7%B7%8F%E9%9B%86%E7%B7%A8-agile_cat-%E7%89%88-cloud-cloudcomputing-nosql-cbajp-cloudjp/
http://agilecatcloud.com/2010/12/04/%E3%81%A4%E3%81%84%E3%81%AB-apple-%E3%82%82%E3%80%81hadoop-%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%BC%E3%81%AB%E3%81%AA%E3%82%8B%E3%82%88%E3%81%86%E3%81%A0%EF%BC%81-cloud-cloudcomputing-hadoop-jp-appl/