第1回 Hadoopで広がるビジネス領域 | gihyo.jp
はじめに 近年、「Hadoop」というキーワードをよく目にします。もしかしたらこの記事を読んでいるあなたも、Hadoopというキーワードを目にしたり聞いたりしたことがあり、興味を持ってこの記事をご覧になっているのかもしれません。Hadoopとは何でしょうか？何ができるのでしょうか？今回から全5回にかけて、Hadoopの活用事例や活用のヒント、そしてこれからHadoopを活用しようと考えているエンジニアが知っておくべきことや、情報収集の仕方を解説します。 Hadoopって何？ Hadoopとは何でしょうか。簡単に言うと、テラバイト、ペタバイトといった巨大なデータを処理するためのオープンソースの分散処理基盤で、Googleが検索エンジンのバックエンドに利用している技術のクローンです。Googleは2003年に大規模分散ファイルシステム「Google File System（GFS）」につ
企業で使われるHadoop
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
テキストマイニングで始める実践Hadoop活用
Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用（1） それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します
Hadoopでスパム対策も 「クラウドで守る」「クラウドを守る」 − ＠IT
米国発セキュリティトレンドレポート Hadoopでスパム対策も 「クラウドで守る」「クラウドを守る」 高橋 睦美 ＠IT編集部 2010/5/11 クラウドというインフラを活用してどうセキュリティを高めるか。そして、クラウドコンピューティング環境のセキュリティをどのように確保するか。RSA Conference 2010の会場からその解を探る（編集部） 米国サンフランシスコで3月初めに行われた「RSA Conference 2010」における最大のキーワードは「クラウドのセキュリティ」だった。企業におけるクラウドコンピューティングの利用が本格化してきたことを受け、具体的な課題に踏み込んできたという印象だ。 切り口は大きく2つに分けられる。1つは、クラウドというインフラを活用してどのようにセキュリティを高めるかというもの。そしてもう1つは、クラウドコンピューティング環境においてセキュリティを
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
米ClouderaがHadoopディストリビューションを発表、OSSクラウドプラットフォームをエンタープライズへ | OSDN Magazine
ベンチャー企業の米Clouderaは3月15日（米国時間）、MapReduceのJava実装「Apache Hadoop」をベースとしたディストリビューション「Cloudera Distribution for Hadoop」を発表した。Hadoopの設定、実装、管理を容易に行うパッケージとなる。 Hadoopは、Apache Software Foundation（ASF）で開発が進められているオープンソースプロジェクト。米GoogleのMapReduceアルゴリズム実装を含む分散コンピューティングプラットフォーム。 Clouderaは、Hadoopをエンタープライズ向けに提供することを目指すオープンソース企業。創業メンバーには、米Oracleの幹部でSleepycat SoftwareのCEOを務めたMike Olson氏をはじめ、米Yahoo!、Googleなどの出身者が名を連ねてい
Hadoopを用いたクラスタコンピューティング環境の構築 - SourceForge.JP Magazine : オープンソースの話題満載
ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、そのフレームワークとして Hadoop の使用を検討すべきだろう。HadoopはJavaベースで作成されているため、Linux、Windows、Solaris、BSD、Mac OS Xにて使用できる。こうしたHadoopを実際に採用している組織に共通するのは、安価（特殊なハードウェアが不要）かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームによる、膨大な量のデータ処理を必要としているという点だ。 Hadoopでは、こうした膨大な量のデータを格納するために、Hadoop Distributed File System（HDFS）を採用している。実際、HDFSのマスタ/スレーブアーキテクチャは、Hadoopのクラスタ機能の中核を成している。ここでサポートされているのは、ファイルシステ
オープンソース分散システム『Hadoop』の解析資料を公開
平成20年8月25日 お知らせ 株式会社 Preferred Infrastructure NTTレゾナント株式会社 オープンソース分散システム『Hadoop』の解析資料を公開～ 株式会社 Preferred Infrastructure（*1、本社：東京都文京区、代表取締役： 西川徹、以下 Preferred Infrastructure）は、NTTレゾナント株式会社（*2、本 社：東京都千代田区、代表取締役社長：中嶋孝夫、以下NTTレゾナント）と共同 で行った、オープンソース分散システム『Hadoop』に関する調査、及び解析資料 を広く公開します。 『Hadoop』はGoogle Inc.(本社：米国カルフォルニア州、CEO：エリック Eシュ ミット）の大規模データ処理基盤技術として論文等で公開されている「Google File System」と「MapRedu
Distributed Systems - Google Code University - Google Code
Distributed Systems One of the most important recent developments in computing is the growth in distributed and parallel applications. Tutorials Contributed course content Hadoop tools and resources Video lectures Tutorials In these tutorials, we distinguish between local programming (on a single machine) and distributed programming using multiple components via a network. We cover what designe
CTOインタビュー | スペシャルコンテンツ | あすなろBLOG
第14回(4) 楽天技術研究所森氏「ネットで起こる次のインパクトは何をどう変えるか」自分とチームメンバーのひらめきを尊重することで、魔法のような成果を挙げることが出来るとお話くださった楽天技術研究所 代表 森氏。最終回では、未来ビジョン「サード・リアリティ」の構想をベースに、インターネット業界のこれからについてお聞きします。 Web2.0はドリフターズの「8時だョ！全員集合」と同じ ■森さんにとってインターネットのおもしろさって何ですか。 ちょっと話がずれますが、僕は小学生の頃、ゲームが大好きで、PC88でザナドゥとか夢中になってやっていました。あの頃のゲームって、ゲームの製作者と、ゲームのプレイヤーの距離が近かったんですよね。今のインターネット業界には同じような匂いを感じます。 ■ゲーム黎明期の頃に似ているんですね。 あの頃はゲームを作っているのは、大学生のアルバイトの人ってことも普
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術：CodeZine
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。これまでの連載Hadoop、hBaseで構築する大規模分散データ処理システムHadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思われるもの
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
Kansai.pm での発表資料 (Hadoop Streaming で MapReduce) - naoyaのはてなダイアリー
Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansaipm.ppt MapReduce は Google のバックエンドで動いている分散並列バッチ処理システムです。GFS は Google の分散ファイルシステムです。Google ウェアのクローンとしてオープンソースで開発されているのが Hadoop。Hadoop は Yahoo! Inc や Facebook, Amazon.com などでも利用されているとのこと。Hadoop は Java ですが、Hadoop Streaming を使うと Java 以外でも MapReduce できます。 以下のエントリも合
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Big Data Platform - Amazon EMR - AWS
MapReduceとHadoopの将来について、YahooのDoug Cuttingにインタビュー