Hadoopソースコードリーディング8/MapRを使ってみた
1. MapR & マルチテナント (include Mesos検証) Hadoopソースコードリーディング 第8回 2012/02/08 (水) 中野 猛 (RECRUIT) @tf0054 - 発表内容 - 高林 貴仁 (RECRUIT) 1. 性能検証 @tatakaba 大坪 正典 (NSSOL) 2. 機能検証（マルチテナント検証） @tsubo0423 3. リクルートにおけるMapRの評価 Copyright(C)2012 Recruit Co.,Ltd All rights reserved 3. DOC.ID 2012/02/08 １. 性能検証 検証内容 サマリ処理のバッチは中古車サイトで実際に行われてい た3つ処理をHiveに置き換え、非パーティション＋非圧縮 とパーティション＋圧縮の2パターンを測定し検証の実施 VCA01 – 20Tableから、5つのTem
テラバイトのデータ | 構造化知識研究センター
テラバイトデータや構造化知識研究に関する過去の記事です。 1990年6月 コンピューターの中央処理装置4台を並列的につなぎ、人間のように推理したり連想したりするコンピューターの模擬実験に、九州大学の研究グループが成功した。1991年度にも20台に増結する計画で、最終的には1万台をつなぎ、人間の思考そっくりの柔軟性に富んだコンピューターシステムを目指す。キャリアウーマン並みの有能秘書や、建物の形状を判断できる掃除ロボットの開発にもつながると期待されており「人工知能」開発競争に一石を投じそうだ。 九州大学で実験に成功 模擬実験を行ったのは、九大総合理工学研究科の雨宮真人教授（情報システム専攻）のグループ。雨宮教授らは、記憶した知識で推論や連想を行う人間の思考回路網に着目。「食物－果物－黄色－酸っぱい－レモン」など属性や因果関係でつながる情報を与えて連想ネットワークを構成。このネットワーク網をコ
Hadoopソースコードリーディング第8回に参加しました - Taste of Tech Topics
Hadoopソースコードリーディング第8回に参加しました。 会場提供、準備等、@hamakenさんを始め、 NTTデータの方々ありがとうございました。 以下、報告です。 (1)『オレオレMultipleInputを作る方法（仮）』 - @muddydixon さん (2)『MapRってどうよ？ - 実際に使ってみた感触を紹介します』 - リクルート 中野さん、高林さん、大坪さん (1)『オレオレMultipleInputを作る方法（仮）』 発表資料が公開されています →http://www.slideshare.net/muddydixon/multipleinput HadoopのMultipuleInputs を自作して、 Hadoopからmongodbを使えるようにした、という発表です。 HadoopのMultipulInputsは、 MapReduceジョブのinputを柔軟に指定
Hadoopソースコードリーディング第8回の感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2012/2/8のHadoopソースコードリーディング第8回に行ってきました！ （→Togetter、他の人のメモ：johtaniさん、taro_xさん） 今回の最初は、@muddydixonさんの『オレオレMultipleInputを作る方法』（→資料）。 MongoDBからデータを読み込むMongoMultipleInputsを作ったという話。 「Mongoパス（URL）と読み込む条件とそれを処理するMapperクラス」を複数指定し、別々のMapTaskとして同時に処理できるということのようだ。 ただ、現状ではMongoDBのチャンク（分散場所の情報かな？）を見ているわけではないので、ネットワークの負荷はかかりそうな感じ。 キーと値にはBSONWritableが指定で
Hadoopソースコードリーディング第8回に参加しました。#hadoopreading | @johtani の日記
一定期間更新がないため広告を表示しています
誰でもデータを直販できるGumroad入門。クリエイターの生活は変わる？ | fladdict
Gumroadというサービスがすごい熱い！ Gumroadは誰でも簡単にデータを販売できるようにするサービス。 FacebookやTwitterのタイムラインに、GumroadにアップしたデータのURLを貼るだけで、世界中にコンテンツを販売できるみたい。（2/14日現在、日本からの過剰すぎるアクセスでGumroadが不安定です） 何ができるの？ Gumroadを使えば、たとえばイラストレーターやミュージシャンが、そのまま作品をダイレクトにタイムラインで発表して販売できます。手数料はたったの5%（正確には5%+30セント）。Appleの30%や出版社の90%に比べると驚異的なお値段です。個人のクリエイターがクレジットカード決済でデータを販売できる…というのは、なにやら仕事のスタイルそのものが変わりそうです。 さっそく実験で、写真を１枚アップロードして$2で売ってみたら10$32ほど枚売れまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Domain Details Page