Cloudera Blog
Enterprises see embracing AI as a strategic imperative that will enable them to stay relevant in increasingly competitive markets. However, it remains difficult to quickly build these capabilities given the challenges with finding readily available talent and resources to get started rapidly on the AI journey. Cloudera recently signed a strategic collaboration agreement with Amazon […] Read blog p
Cloudera Blog
Enterprises see embracing AI as a strategic imperative that will enable them to stay relevant in increasingly competitive markets. However, it remains difficult to quickly build these capabilities given the challenges with finding readily available talent and resources to get started rapidly on the AI journey. Cloudera recently signed a strategic collaboration agreement with Amazon […] Read blog p
Hadoop Troubleshooting 101 - Japanese Version | Apache Hadoop for the Enterprise | Cloudera
View Date Thursday, December 1st, 2011 Description This is a presentation given by Cloudera's Sho Shimauchi in Japan.
Toad World Blog
The next release of Toad for Oracle is right around the corner and, as ever, we have ... Keep reading >
MRUnitってマイナー？
marble @marblejenka @yanaoki あれもびみょうなんですけどね。。最近のMRUnitとくらべてだとどうかわからないですが、Jobに対してテストが書けるのと、多段MRのテストがちょっと書きやすいとか、そのくらいです。 2011-07-28 22:06:26 marble @marblejenka Asakusaのtest-driverだけ切り離したらどうか説もあるけど、ツンデレ門とくっついてることに価値があるという側面もあり、なんとも。 2011-07-28 22:08:02 marble @marblejenka あと、0.21.x以降だと思うけど、MiniDfsCluster的なものでもうちょっと疑似分散っぽいテストが、簡単かどうかはさておき、できるはずで、そういう意味だとMRUnitの存在意義はどうなのかという話も。 2011-07-28 22:09:23
文系 Hadooper でも分かる Dijkstra アルゴリズム - cocoatomo衝動日記〈移行後版〉
今日の Hadoop ソースコードリーディングで Dijkstra アルゴリズムの知名度が低かったので, 解説を書いてみたぜ. このアルゴリズムを一言で説明すると? グラフ上のある始点からあるノードへの最短経路とその距離を求めるアルゴリズム. 用語が分かんないんだけど... グラフというと y = 2x とかを思い浮かべるかもしれないが, この場合の「グラフ」というのは「いくつかの丸 (= ノード, 節) を線 (= エッジ, 辺) でつないだもの」で, 状態遷移図もグラフの一種. 状態遷移図は「有向グラフ」と呼ばる. 丸と丸とをただの線ではなく矢印でつなぐので「有向」=「向きが付いている」と言う. "DAG" は "Directed Acyclic Graph" の略で「非循環有向グラフ」と訳される. "Directed" と "Acyclic" の順序が逆になってるのは気にせんでくれい
Apache Hadoop Goes Realtime at Facebook
Apache Hadoop Goes Realtime at Facebook Dhruba Borthakur Kannan Muthukkaruppan Karthik Ranganathan Samuel Rash Joydeep Sen Sarma Nicolas Spiegelberg Dmytro Molkov Rodrigo Schmidt Facebook {dhruba,jssarma,jgray,kannan, nicolas,hairong,kranganathan,dms, aravind.menon,rash,rodrigo, amitanand.s}@fb.com Jonathan Gray Hairong Kuang Aravind Menon Amitanand Aiyer ABSTRACT Facebook recently deployed Facebo
Hiveのソースを見てみた。 - wyukawa's diary
対象はCloudera版の0.7 どこがエントリポイントかっていう話がまずあるわけだが、hiveコマンドをたたくとこうなりますよね。 $ hive Hive history file=/tmp/wyukawa/hive_job_log_wyukawa_201107032314_538554893.txt >hiveコマンドの実態である$HIVE_HOME/bin/hiveをみると、hiveコマンドをたたくとcliって最後に実行してますね。 cliっていうのはシェルの関数で実態は$HIVE_HOME/bin/ext/cli.shに書かれてます。 で、最終的にはorg.apache.hadoop.hive.cli.CliDriverを実行します。ここにmainメソッドがあります。 >!pwd;みたいな!ではじまるものが指定された場合はそのコマンドがそのまま実行されます。 HiveQLが指定され
HbaseとHadoopMR - 急がば回れ、選ぶなら近道
Hbase勉強会のまとめの延長として 今後の考え方をまとめておきます。 まずは前提として <一般論> Hbaseにかぎらず、NoSQL系一般に言えることではあるが Usecaseを意識して利用する事が必要だ、ということだと思う。 最近の傾向としては、Googleでも顕著だけど、 一定の用途をターゲットにして 特定のミドルを開発するという方法が結構多い。 Hbaseもその流れはあるので、 そのあたりは意識する必要はあるかもしれない。 Hbaseついては、注目するとすればFacebookになるかな。 http://www.cloudera.com/resource/hw10_hbase_in_production_at_facebook いずれにしても、割とうまくいっているUsecaseの情報の有用性は 他の技術よりも高いと思う。 基本的に単純に分散KVSを使いたいならHbaseにこだわる必要
Cloudera Blog
Enterprises see embracing AI as a strategic imperative that will enable them to stay relevant in increasingly competitive markets. However, it remains difficult to quickly build these capabilities given the challenges with finding readily available talent and resources to get started rapidly on the AI journey. Cloudera recently signed a strategic collaboration agreement with Amazon […] Read blog p
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hishidama/Hadoop-example2-CSV: Hadoop example2 csvfile sum
Prof. David J. DeWitt's Home Page
Robust log process
衛星データ処理勉強会 分散処理システムHadoop
はてなブログ | 無料ブログを作成しよう