Apache Hadoop エコシステム を中心とした分散処理の今と未来
Copyright©2015 NTT corp. All Rights Reserved. Apache Hadoop エコシステム を中心とした分散処理の今と未来 小沢 健史 ozawa.tsuyoshi@lab.ntt.co.jp ozawa@apache.org 2 Copyright©2015 NTT corp. All Rights Reserved. • 処理基盤の意義 • MapReduce の動向と進化 • MapReduce の概要 • MapReduce の課題と解法 • 分散処理基盤の動向 • Google の処理基盤スタック • Microsoft の処理基盤スタック • オープンソースの処理基盤スタック • オープンソース開発 • なぜ会社として貢献するか • 活動内容 • 面白かったこと，大変なこと • これからの目標 アジェンダ 3 Copyright©201
最弱のHadoopクラスタをRaspberry Piで構築する - もょもとの技術ノート
はじめに HadoopのHA勉強したいなーと思い、Hadoopクラスタ組んでみました。 で、環境をどうするかが問題です。 次のパターンでHadoopクラスタ組めないか、考えました。 AWS サーバー自作で仮想化 インテルのNUC Raspberry Pi AWSって最高じゃないですか。でも、手元に物理的な筐体がないと物足りないんですよね。なんだろ、これ。 サーバー自作は最後まで考えました。CPU何にするかまで考えました。でも、物理的に大きなものが、我が家に存在すると、いろいろ問題があるのですよ。奥様的に。で、却下。 インテルのNUC欲しかったです。でもSSDとか電源とか別途購入する必要があり、結果的にコストオーバー。 んで、消去法で、Raspberry PiでHadoopクラスタ組んでみることになりました。 ゴールはNameNode、DataNode、ResourceManager、Nod
[Hadoop] Hadoop Streaming / mapperとreducerにPythonを使ってみる。 | Nobwak's Lair
192.168.100.106 - - [24/Jul/2013:22:35:26 +0900] "GET /MT/js/common/Editor/Iframe.js?v=5.14-ja HTTP/1.1" 304 - "http://192.168.100.5/MTcgi/mt.cgi?__mode=view&_type=entry&blog_id=2&id=330" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0" 192.168.100.106 - - [24/Jul/2013:22:35:26 +0900] "GET /MT/js/common/Editor/Textarea.js?v=5.14-ja HTTP/1.1" 304 - "http://192.168.100.5/MT
![[Hadoop] Hadoop Streaming / mapperとreducerにPythonを使ってみる。 | Nobwak's Lair](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a06df8a1f59981ed52137111219c36325941b75/height=288;version=1;width=512/http%3A%2F%2Fapril.fool.jp%2Fblogs%2Fwp-content%2Fplugins%2Fall-in-one-seo-pack%2Fimages%2Fdefault-user-image.png)
HueでHadoopをWeb UIから使う - Tech Blog
Hue とは Hadoopは基本的にコマンドラインやJavaから操作する。そのため、初心者にはハードルが少々高い。 実は、オープンソースのWeb UIがApacheで開発されている。Web UIを用いることで、操作が単純になり、学習コストも低減される。 今回は、そのHueをインストールして使ってみる。 Hueの公式ホームページ： http://cloudera.github.io/hue/ HueのGitHubページ： https://github.com/cloudera/hue Hueのインストール 0. Hadoop環境を構築する。 カンタンにHadoop環境を試用するには、Cloudera社が提供しているVMイメージを用いるよい。ClouderaのダウンロードページからVMをダウンロードし、VMWare Playerで立ち上げれば、すでにHadoop環境が整っている。詳細は下記のエ
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
mahout インストールメモ - skozawa's blog
Apache Mahoutという機械学習ライブラリを触ってみたかったので、少し前にMahoutイン・アクションという本を買った。とりあえず、java, maven, mahout, hadoopをインストールしてみた Java インストール yum install java-1.6.0-openjdk* JAVA_HOMEを設定 ~/.bashrcに JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk.x86_64 を追加 maven インストール wget http://ftp.kddilabs.jp/infosystems/apache/maven/maven-3/3.0.4/binaries/apache-maven-3.0.4-bin.tar.gz tar -xzf apache-maven-3.0.4-bin.tar.gz su mv apache
Mahoutで体感する機械学習の実践 記事一覧 | gihyo.jp
第2回「ある商品といっしょによく売れる商品は何か？」を見つけるには ～マーケット・バスケット分析の考え方 やまかつ 2013-03-06
hadoopの話とpythonでデータマイニングをする話 - gumi Engineer’s Blog
gumiの粟飯原です。 データマイニングやってます。しかしながら最近はあまりデータをいじる時間がなく社内でプレゼンばかりする日々で、社内でも私がなにやってるのかわからないというもっぱらの評判。そこで今回は一応データ解析もやってはいるんだよということを内外に主張するためにもデータマイニングの話をしようと思います。 アプリの基本的な日々の統計データ取得などは別の方々はやられているので、私からはhadoopを使った大規模解析の話や、そこで得られたデータを分析する環境の話をしたいと思います。コードを併記した具体例などは今回載せられないのですが、今後また紹介していければと思います。 大規模データの解析 日々のログ解析やDB解析はcronによる処理で毎朝レポーティングを行っているのですが、新しい情報を過去のアクセスログからまとめてどかんと取得したいと言う時はHadoopによる大規模解析を実行しています
Large-Scale Graph Processing〜Introduction〜(完全版)
The document discusses the Hadoop MapReduce design patterns, focusing on how to process large-scale text data efficiently. It highlights the Hama framework, which provides high-level matrix computation primitives and demonstrates the use of MapReduce in scientific computations. Overall, it emphasizes the scalability and fault tolerance of MapReduce in handling complex data-intensive tasks.
Self-Service, Prorated Supercomputing Fun!
By Derek Gottfrid November 1, 2007 5:30 pm November 1, 2007 5:30 pm As part of eliminating TimesSelect, The New York Times has decided to make all the public domain articles from 1851–1922 available free of charge. These articles are all in the form of images scanned from the original paper. In fact from 1851–1980, all 11 million articles are available as images in PDF format. To generate a PDF ve
Perl で MapReduce - Mahout Frequent Pattern Mining Data - - hamadakoichi blog
最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料： 第５回R勉強会＠東京 で話してきた - 「R言語によるアソシエーション
Mahout JP - #MahoutJP
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模分散フレームワーク Hadoop を用いた接尾辞配列構築 (計算機科学とアルゴリズムの数理的基礎とその応用)
Blog | Cloudera