[Hadoop]複数ディスクを使って効率の良い処理
Hadoop では一つのノードあたり複数ディスクを使うことができますが，ディスクを増やすことによってどれくらい性能が向上するか調べました． HDFSで使用するディスクをdfs.data.dirにコンマ区切りで記入することで複数使えます． <property> <name>dfs.data.dir</name> <value>/data/local/${user.name}/hadoop/dfs/data, /data/local2/${user.name}/hadoop/dfs/data</value> </property> しかし，これだけではまだダメで，mapタスク，reduceタスクが中間データを書き込むディスクも複数指定しなしとHadoopのジョブで複数ディスクを効率良く使えません．mapred.local.dir で設定可能です． <property> <name>mapre
GeoIME 〜位置連携日本語入力システム〜
GeoIME（ジオアイエムイー）って？ GeoIMEは，利用者の位置に応じて，読みに対して提示される変換候補が変化する，"少しだけ気が利く"日本語変換システムを目指しています．例えば， 位置に応じて変換候補が絶妙にソートされている！ 「し」で始まる「渋谷」「新宿」「新橋」などの順序が今いる位置によって変わる 近くの地名がサクッと出る！ 福岡にいると「は」→「博多」，「て」→「天神」． 難しい地名もOK．「す」→「周船寺」，「と」→「等々力」 同じ場所では同じような単語が出る！ 自身の過去の履歴と，周辺にいる他人の履歴を参照 いつもの場所では「だ」→「大名」．家では，「だ」→「大好き」 みんなが集まる場所で「ま」→「マッシュアップキャラバン」 といった利点があります． DEMO デモ版ではリアルタイムに辞書を生成していますので，動作が遅いです．辞書生成用のサーバ with MeCabを導入し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
