「Jaql」を使ってMapReduceをより簡単に
Jaql（a query language desired for JSON：JSON用に位置づけられたクエリ言語）は、JSON型式のデータを処理するためのクエリ言語で、Apache HadoopのMapReduceを処理するための実装が存在します。日本語では「じゃっくる」と発音します。ジャッカルに似ているため、一部のサイトにはジャッカルの写真が掲載されていました。 もともとはIBMのアルマデン研究所で研究・開発され、オープンソースへ提案されました。本原稿執筆時点では、Apache Incubatorプロジェクトになっており、Google Codeのサイトで開発が進められています。 IBMアルマデン研究所のサイト Apache Hadoop用実装のダウンロードサイト 本記事執筆時点では、つい先頃リリースされた、Jaql 0.5.1をベースに解説しています。 1. JSONの基礎 JSON（
Apache Hadoop のインストール
参考 Web ページ: http://hadoop.apache.org/core/ インストール前に，あらかじめ決めておく事項 Apache Hadoop インストールディレクトリを決めておくこと． この Web ページでは，次のように書きます． Apache Hadoop インストールディレクトリ: /usr/local JDK のインストールディレクトリを調べておくこと． この Web ページでは，次のように書きます． JDK インストールディレクトリ: /usr/java/jdk1.6.0_11 Apache Hadoop のインストール手順 前準備 Linux イントールと設定 の Web ページに従って，Cent OS のインストールが済んでいること． SSH サーバ の Web ページの記述に従って，次の設定を終えていること．セキュリティ上，重要 ユ
Hadoop関連技術メモ | tonbyブログ
Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発：Liberty インデクサプロジェクトの例Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発：Liberty インデクサプロジェクトの例 http://www.slideshare.net/ykomiyam/liberty-on-hbase-20091113 Hadoop、hBaseで構築する大規模分散データ処理システム http://codezine.jp/article/detail/2448 Hadoopのインストールとサンプルプログラムの実行 http://codezine.jp/article/detail/2485 複数マシンへHa
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
平成２１年度 産学連携ソフトウェア工学実践事業報告書の公表について（METI/経済産業省）
高信頼組込みソフトウェア開発（委託先：一般社団法人JASPAR） 報告書（PDF形式：3,278KB） （ZIP形式：2,993KB） ソフトウェア工学の実践強化に関する調査研究（委託先：株式会社三菱総合研究所） 報告書（PDF形式：2,501KB） クラウドコンピューティング時代のDependabilityの考え方などに関する米国の動向調査（委託先：株式会社アイ・ビー・ティ） 報告書（PDF形式：4,583KB） （ZIP形式：4,300KB） クラウド・コンピューティングに関する国内外の制度・技術動向等の調査研究（委託先：株式会社野村総合研究所） 報告書（PDF形式：2,050KB） 高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）（委託先：株式会社エヌ・ティ・ティ・データ） （PDF形式：9,606KB） （ZIP形式：8,656
Ubuntu10.04でHadoop環境構築(疑似分散編) - osacaz4の日記
何度も構築しているとたまに忘れてしまうので、備忘録として記載します。 今行っている研究室での導入用教材にも転用。 OSのインストールからHadoopのインストールまで駆け足で解説します。 以下の環境が前提です。(ホストOSや仮想環境は他でも可) ホストOS：Mac OSX(10.6.3) 仮想環境：VMware Fusion3 インストールの流れ Ubuntu10.4LTSインストール VMware Toolsインストール JDK6インストール Hadoop 0.20.2インストール 大まかに上記のような流れ。 Ubuntuのインストール ほとんど悩む事はないでしょう。 VMware仮想マシンを作成し、isoからインストール Ubuntu Desktop 日本語 Remixのダウンロード | Ubuntu Japanese Team 「簡易インストールは選択しない」ことだけ注意 VMwar
Đăng nhập alo 789 Cờ bạc trực tuyến hàng đầu | 2024 Best Betting Sites
alo 789 đăng nhập Hãy tham gia những trang web hàng đầu để trải nghiệm cờ bạc trực tuyến và tăng cơ hội giành giải lớn cùng với phần thưởng hấp dẫn, giúp quyết định dễ dàng hơn. Truy cập trang web hàng đầu để tham gia slot game và tăng cơ hội chiến thắng bằng cách đặt cược sau khi nghiên cứu! Chọn trò cá cược trực tuyến phổ biến, đăng ký thành viên và bắt đầu trải nghiệm ngay hôm nay. Sàn cá cược
Hadoopに入門してみた - セットアップからHadoop Streaming まで - - download_takeshi’s diary
大規模データを処理する必要が出て来たので、Hadoopを導入してみることになりました。 以下、導入メモです。 セットアップ 以下のような構成で試してみます。環境はCentOSです。 マスター（host001) ━┳ スレーブ（host002） ┣ スレーブ（host003） ┣ スレーブ（host004） ┗ スレーブ（host005） まずは各マシンにJavaをインストール。JDK1.6を落として来てrpmでインストールするか、yum install java-1.6.0*などとたたけばOKです。（rpmでインストールする場合は http://java.sun.com/javase/ja/6/download.html から jdk-6u18-linux-i586-rpm.binをダウンロードして、実行権限を与えてルートで実行すればインストールできます。） 続いてマスターノードにHado
Hadoopを使うメリットを２つ挙げてみる - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年09月29日19:34 Hadoop Hadoopを使うメリットを２つ挙げてみる 最近では、Hadoop を使ってるよー、という声もちらほら聞こえてきました。しかし、名前ばかりが先行していて、「一体何が凄いのかよくわからない」、「Hadoop を使うと何が嬉しいの？」という人も多いのではないでしょうか。そこで Hadoop を使うメリットとは一体なんなのかを改めて書いてみようかと思います。 Hadoop を使うメリット、僕は２つあると思っています。 (１) たくさんのサーバを使って分散処理できる これは多分ほとんどの方がご存知なのではないでしょうか？というかこれぞまさに Hadoop を使うメリットでしょ？って感じですね。大規模なデータを扱う際に、１台ではなく10台とか20台とか使えばそりゃあ早くなるよねって話です :-D とは言っても Hadoop 登場以前は、特定のサーバが壊
Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
WordCountを読む - 日記
Hadoopに添付されているサンプルプログラムを読んでみよう！と言うか、本来ならチュートリアルとか読むべきなんでしょうけど、英語なんでパス！必要に応じて眺める程度で。まずは、クラスの宣言。 public class WordCount extends Configured implements Tool { ... ConfiguredはConfigurationを持つもの全般を表すための抽象クラス。当然、Configurationのインスタンスをプロパティとして持つ。Toolインターフェースはコマンドラインで叩かれることを想定したrun(String[] args)メソッドをもつインターフェース。argsはコマンドラインオプション。もちろん、WordCountもコマンドラインから実行されるわけで、そのためのmainが実装されている。 public static void main(Str
Listware - Kiến thức Marketing - Quảng cáo - Truyền thông
listware.net là website chuyên cập nhật các thông tin hữu ích; và chia sẻ các hướng dẫn về đời sống, làm đẹp, nấu ăn, làm bánh,… và nhiều thông tin khác. Hãy theo dõi chúng tôi để bổ sung thêm các kiến thức bổ ích cho mình nhé. Công ty dịch vụ seo giá rẻ LADIGI uy tín tại TPHCM Công ty dịch vụ viết bài seo LADIGI tốt nhất hiện nay Ana Beauty Academy đơn vị dạy học nghề spa uy tín tại TPHCM
e065702’s blog» Blog Archive » MacbookにHadoop環境を構築する
HadoopをMacbookのLocalに構築する方法(疑似分散モードで起動させる) 1.HadoopをApacheのページからDownloadする HadoopはOSSなので、誰でも自由にDownloadすることができます。持ってくる場合は最新版をDownloadしましょう。(2010/04/28時点で最新版は0.20.2です) Downloadはこちら 2.Downloadしてきたファイルを解凍する Hadoopは tar コマンドによって圧縮された状態で配布されていると思います。例えばhadoop-*.*.*.tar.gz というファイルです。(*にはバージョン情報が入ります) まずはこれを解凍します。 %tar xvzf hadoop-*.*.*.tar.gz このコマンドを使うことで解凍することができます。解凍されたファイルはhadoop-*.*.*となっていると思いますが、これ
Hadoop on MacOSX
MacOSXにHadoopを擬似分散モードで動作できるようにインストールした時の記録です。 利用した環境は次の通りです。 MacOSX Snow LeopardHadoop 0.20.2 また、参考にしたページは次のページです。 Hadoop, HDFS and Hbase on Ubuntu & Macintosh LeopardHBase/Hadoop on Mac OS XこのページにはHBaseのインストールまで記載されていますが、まだそこまでやっていないので、機会があればということで。 ダウンロードダウンロードページから、適当なミラーサイトを選んでダウンロード。 /usr/local に展開します。 $ pwd /usr/local $ sudo tar zxvf /path/to/hadoop-0.20.2.tar.gz $ sudo ln -s hadoop-0.20.2 h
次の10年、「統計分析」こそテクノロジー分野でいちばんホットな職業になる
The Top Three hottest new majors for a career in technology : Microsoft JobsBlog マイクロソフトの採用活動などを記しているブログ「Microsoft JobsBlog」に8月23日付けでポストされたエントリ「The Top Three hottest new majors for a career in technology」（テクノロジー分野でもっとも熱い、3つの専門性とは）では、長期的に見て次の3つがホットな分野だと挙げられています。 Data Mining/Machine Learning/AI/Natural Language Processing （データマイニング／機械学習／人工知能／自然言語処理） Business Intelligence/Competitive Intelligence （ビジ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop in Action
Google Code Archive - Long-term storage for Google Code Project Hosting.
Search | Cloudera
資料を公開しました（頓智・×クックパッド合同勉強会 ～裏側の技術とそれぞれの開発スタイル～） - クックパッド開発者ブログ