チュートリアル - Azure HDInsight で Apache HBase を使用する
その他のパラメーターは省略可能です。 各クラスターには Azure ストレージ アカウントとの依存関係があります。 クラスターを削除すると、データはストレージ アカウントに保持されます。 クラスターの既定のストレージ アカウント名は、クラスター名に "store" が追加されたものです。 これは、テンプレートの variables セクションでハードコードされます。 [上記の使用条件に同意する] を選択し、 [購入] を選択します。 クラスターの作成には約 20 分かかります。 HBase クラスターを削除したら、同じ既定の BLOB コンテナーを使用して別の HBase クラスターを作成できます。 新しいクラスターでは、元のクラスターで作成した HBase テーブルを選択します。 不整合を回避するために、クラスターを削除する前に HBase テーブルを無効にしておくことをお勧めします。
Apache Nutch™
Nutch is a highly extensible, highly scalable, matured, production-ready Web crawler which enables fine grained configuration and accomodates a wide variety of data acquisition tasks. Scalable Relying on Apache Hadoop™ data structures, Nutch is great for batch processing large data volumes but can also be tailored to smaller jobs. Pluggable Out of the box Nutch offer powerful plugins i.e., parsing
Facebook open sources Corona — a better way to do webscale Hadoop – Old GigaOm
Facebook (s fb) is at it again, building more software to make Hadoop a better way to do big data at web scale. Its latest creation, which the company has also open sourced, is called Corona and aims to make Hadoop more efficient, more scalable and more available by re-inventing how jobs are scheduled. As with most of its changes to Hadoop over the years — including the recently unveiled AvatarNod
データ解析用ワークフローフレームワーク Honey の紹介 - mixi engineer blog
最近，もっぱら上原ひろみさんの曲をエンドレスに聴いて癒しを得ています．もちろんピクルス作りも最高です．みなさんは何で癒しを得ていますでしょうか．こんにちは，技術部の石川有です． 以前，「mixi の解析基盤とApache Hive での JSON パーサの活用の紹介」で mixi における Hadoop/ Hive の活用の仕方について記事を書かせていただきました．今回の記事では，ちらっと触れていた Hive などで定期実行する必要のある処理をワークフローとして定義するフレームワークについて書きます． 本文章の構成 まず最初に，今回ご紹介するデータ解析用ワークフローフレームワーク Honey とは何か，なぜ作ったのかを説明します．つぎに，どのような構成や機能があるのかを簡単に説明します．それから具体的なデータ解析処理を記述する方法について説明します．その中で，定型的な処理を YAML とし
scribedのセットアップ手順ひと通り(hdfs書き込み有効版) - たごもりすメモ
ログの収集をscribeでやりたいぜ！ と思ったがREADMEに書いてある通りにやろうとしてもうまくいかず七転八倒し、しかもその上hdfsに書き込もうとしたらHadoopまわりで更に苦悶の日々を送るという苦難の道のりをようやく完走したので、それについて書いてみる。 正直に言ってかなりテキトーにやっつけたが、動くバイナリができているから多分大丈夫だろう。細かい問題については、知らん。 (1/24追記 CentOS 5.5 でもビルドできたので何箇所かに追記しました) なお今回は Fedora 13 で実行しました。(01/24追記)CentOS 5 だとboostが古いので、そこを自分でどうにかする必要がある(素のCentOS 5.5だとscribeのビルド時にboostのバージョン 1.36 以降を要求されて失敗する)。Ubuntu や Debian だと割といけそうな話は多いが、試してな
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
Hadoopを使いこなす(3)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R&D統括本部の吉田です。 前回と前々回の記事では、Hadoopのカスタマイズポイントを解説しました。 単純な問題に対しては、map関数とreduce関数の組み合わせだけでも、処理を行うことができますが、ある程度複雑な問題に対しては、今までに解説したカスタマイズポイントの活用が重要になるという話でした。 今回は実際のサービスの事例を紹介し、カスタマイズポイントがどう活用されているか紹介したいと思います。 ABYSS ABYSSの事例を紹介しましょう。 ABYSSとは、検索サービスを簡単に構築できる社内プラットフォームのことで、詳しくは以下のTechBlog記事で紹介しています。先日無事に社内リリースされました。 新検索
マーケティングのためのHadoop利用
This document discusses Hadoop and its use on Amazon Web Services. It describes how Hadoop can be used to process large amounts of data in parallel across clusters of computers. Specifically, it outlines how to run Hadoop jobs on an Elastic Compute Cloud (EC2) cluster configured with Hadoop and store data in Amazon Simple Storage Service (S3). The document also provides examples of using Hadoop St
Scala on Hadoop: Hadoop Conference - stanaka's blog
先日、Hadoop ConferenceでScala on Hadoopというタイトルで発表してきました。スライドを以下に置いておきます。 Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストとして、ScalaをHadoopで動かすための方法を書いておきます。 まず、Hadoop上でScalaを実行させるためには、JavaとScalaを接続するライブラリが必要となります。ここでは、SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用します。SHadoopは、型変換を行うシンプルなライブラリです。 よくあるWordCountのサンプル、WordCount.scala (http://blog.jo
Installation notes (Hadoop)
Hadoop WebDAV server is based the earlier work and is released under an Apache License, Version 2.0 Notice The WebDAV server is built on the top of Hadoop distribution, so make sure you have sources from hadoop-0.16.* or hadoop-0.17.* unpacked in some location. WebDAV server may be deployed on any node of Hadoop subnet, inside or outside of cluster. It uses some libraries from Hadoop's lib/ dir, s
The Hadoop Distributed File System: Architecture and Design
Hardware Failure Hardware failure is the norm rather than the exception. An HDFS instance may consist of hundreds or thousands of server machines, each storing part of the file system’s data. The fact that there are a huge number of components and that each component has a non-trivial probability of failure means that some component of HDFS is always non-functional. Therefore, detection of faults
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Riak at shareaholic
http://jonhnnyweslley.net/blog/shadoop/
Scala on Hadoop
GitHub - klbostee/dumbo: Python module that allows one to easily write and run Hadoop programs.