S4: Distributed Stream Computing Platform
We've got your back )Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our Buyer Protection Program. Our unique & carefully designed domain ownership transfer process is the best rated service in the market. Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our unique Buyer Protection Program. Read more about
HDFS Architecture
The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities with existing distributed file systems. However, the differences from other distributed file systems are significant. HDFS is highly fault-tolerant and is designed to be deployed on low-cost hardware. HDFS provides high throughput access to application data and is
Scalability of the Hadoop Distributed File System · Yahoo! Hadoop Blog
The bottom line is that we achieved the target in Petabytes and got close to the target in the number of files. But this is done with a smaller number of nodes and the need to support a workload close to 100,000 clients has not yet materialized. The question now is whether the goals are feasible with the current system architecture. Namespace Limitations HDFS is based on an architecture where the
COOKPADでのHadoop利用
This document discusses Hadoop and its usage at Cookpad. It covers topics like Hadoop architecture with MapReduce and HDFS, using Hadoop on Amazon EC2 with S3 storage, and common issues encountered with the S3 Native FileSystem in Hadoop. Code examples are provided for filtering log data using target IDs in Hadoop.Read less
第5回 これからHadoopを活用するエンジニアが理解しておくべきこと | gihyo.jp
第4回まではHadoopの活用事例や、どのような用途に向いているのかということを中心に解説してきました。さて、最終回となる第5回は、Hadoopをこれから活用し始めようとしているエンジニアが理解しておくべきことや、情報収集のポイントなどについて解説します。 Hadoopの構成要素を理解する Hadoopの導入を検討する際には、まずは構成要素を理解しておきましょう。Hadoopは大きく2つの要素から成り立っています。1つは分散ファイルシステムの「Hadoop Distributed File System（HDFS）」、もう1つは分散処理フレームワーク「Hadoop MapReduce（MapReduceフレームワーク）」です。どちらも大量のサーバから構成されるクラスタシステムとして動作します。現在はWebから得られる情報や書籍が充実しているのでここでは詳しい説明はしませんが、こう
第4回 ログ解析で利用できるHadoop | gihyo.jp
Hadoopの出現で「ログ」がどのように活用できるようになったのでしょうか。従来から「ログ」を分析すれば有益な情報が得られる可能性があることは知られていました。しかし、大量のログを格納可能なストレージシステムや、それらを現実的な時間内で処理することができるプロダクトが存在しなかったのです。しかし、Hadoopが利用できる今、我々はログを自由に分析し、活用する自由を手に入れました。 今回は次の3つの題材を用いて、ログから何が分析できるのか、分析した情報をどのように活用できるのかを見てまいりましょう。 ログから「行動パターン」を見つける ログから「おすすめ」を見つける ログから「広告効果」を見つける 1．ログから「行動パターン」を見つける～VISAによるカードの不正利用検知～ ログを見れば、誰かが勝手にあなたのカードを使っていないかがわかります。世界最大規模のクレジットカード決済ネットワークを
第3回 海外におけるHadoop活用事例 | gihyo.jp
2010年10月12日、ニューヨークにてHadoopの祭典「Hadoop World 2010 NYC」が開催されました。このイベントには日本からもNTTデータとリクルートが参加し、それぞれの技術開発・検証などの取り組みや今後の展望などを発表しました。今回は、Hadoop World 2010 NYCで発表された事例のうち以下の3つを取り上げ、海外におけるHadoopの活用事例を紹介します。 米国陸軍におけるHadoopの活用 General Electric社における感性分析事例 シカゴ・マーカンタイル取引所における事例 1．米国陸軍におけるHadoopの活用 最初の事例は米国陸軍でのHadoopの活用事例です。大量のデータの扱いに悩んでいるのは企業だけではありません。米国陸軍もまた、膨大なデータからいかにして有益な情報を抽出するかという課題を抱えていました。彼らは時代とともにより粒度の
第2回 国内におけるHadoop活用事例（国立国会図書館サーチ） | gihyo.jp
今回と次回は、Hadoopがどのようなシーンで活用されているのか、具体的な事例を基に見ていきます。今回は、国内での活用事例として、国立国会図書館でHadoopを検索インデックスの生成に活用している事例を紹介します。 国立国会図書館サーチ（NDLサーチ）におけるHadoopの活用事例 NDLサーチ[1]とは国立国会図書館が公開している検索サービスです。国立国会図書館をはじめ全国の公立図書館、公文書館、美術館や学術研究機関など、複数の機関が所蔵する著作物の検索が可能で、検索した著作を所蔵している機関の表示や、関連する著作物を検索結果に表示させることができます。 図 NDLサーチ公式サイト NDLサーチでは、Hadoopを検索インデックスの生成に利用しています。検索インデックスを生成するために、日本全国の機関からデータ収集します。このため処理すべきデータ量は膨大です。NDLサーチにおける検索イン
C＃でのキー入力関係の処理 - Visual C# - Visual Studio User Group
初めまして。 Expressで色々試している最中の素人です。 なんかいろんなところでみる有名な人が多くて おっかなびっくりですが、ちょっとわからないことがあって質問させていただきます。 現在C#で、キー入力関係のマクロみたいなのを組もうと考えているんですが C#にはそういう関連の関数は用意されてないんでしょうか？ ようはDirectInputみたいなのですが。 一通りSystem以下のメソッドは見てみたんですが それらしいのが見あたらず、検索してもそういうのを扱っているページも見つからず 途方に暮れています。 C#で作ったフォーム上のキー入力をとりたいのではなく Windows全体としてのキーの状態を取得したいと思っています。 例えば、作成したアプリを起動しておくと、違うアプリ上でボタンを押そうと 「A」を押しても、内部処理で「B」を押したことにする。 のような感じです。（あくまで処理イメ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ロワールの古城