kzkのブックマーク - はてなブックマーク

MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 - Preferred Networks Research & Development

どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます．最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．しかし当たり前ですが，MapReduceは銀の弾丸ではありません．ということで，最近気になっているMapReduceとは違ったアプローチを取っている分散処理基盤について，社内のTechTalkで話した内容を簡単にまとめて紹介したいと思います． Bulk Sychronous Parallel このアルゴリズム自体は1990年に誕生したものです．長いのでBSPと書きます．さて，グラフから最短経路を求める時，MapReduceは使えるでしょうか？このような論文が出るくらいですから出来ないことはあ

kzk 2011/06/17

リンク

分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development

1年経ってiPhone4の電池がヘタってきた、太田です。指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。ま

kzk 2011/05/09

hbase

リンク

NLP2011で2人ほど発表します - Preferred Networks Research & Development

新年あけましておめでとうございます。研究開発チームの徳永です。2011年もよろしくお願いします。 3月に言語処理学会年次大会という大きな学会が豊橋技科大で開催されます。PFIからは今年は2人が投稿しました。 C1-2 全部分文字列のクラスタリングとその応用　○岡野原大輔 (PFI) C4-6 日本語かな漢字変換における識別モデルの適用とその考察　○徳永拓之, 岡野原大輔 (PFI) 1月24日の予稿集締切りに向けて、現在鋭意執筆中です。という訳で、内容についてはまだ執筆中なわけですが、概要をちょっと語りますと、全部分文字列（ある文書に含まれるすべての部分文字列）を素性としてクラスタリングする、という話と、識別的な手法を使ってかな漢字変換を実験してみました、という話です。詳しく聞きたい方はぜひ言語処理学会年次大会でC1:テキスト・データマイニング　3月8日(火) 09:30-12:10　

kzk 2011/01/20

PFI

リンク

Androidで走るProcessingアプリケーション - Preferred Networks Research & Development

今日は24 Season8 を徹夜で見ます。祢次金です。前回、CinderでiPadアプリケーションを書きましたが、今回はJavaベースのProcessingを使ってAndroidアプリケーションを書いてみます。環境構築まだベータ版という位置づけですが、Android向けアプリケーションをつくることができるPDE(Processing Development Environment)が既に公開されており、こちらからダウンロードできます。勿論Android SDKもインストールしておく必要があります。上記リンク先のInstructionに従い、必要なAPI Levelのコンポーネントを入れておきましょう。 PDEを起動するとおなじみのスケッチ画面が現れます。メニューの「Android」から「Android Mode」を選択し、スケッチのモードを切り替えておきます。あとはスケッチに

kzk 2010/12/24

"今日は24 Season8 を徹夜で見ます。祢次金です。"

processing

リンク

CinderでiPadアプリを実装してみた - Preferred Networks Research & Development

X’masが刻一刻と迫っています。祢次金です。前回、「クリエイティブなC++ライブラリ “Cinder” の紹介」と題して、Cinderをご紹介しました。今回はそのCinderを使って、iPad上で動作するパーティクル生成アプリケーションを実装してみたいと思います。前回同様、環境はMacOSXを想定し、iOS SDKのバージョンは4.2、iPadのiOSは4.2.1とします。なお、旧バージョンのiOS SDKの場合、iPad simulatorではFrameworkのリンクに一部失敗しているようで、うまくアプリケーションが起動しませんでした。旧バージョンでビルドしたものでも実機では問題なく動作しますが、実装される場合は最新SDKの利用をおすすめします。雛形の作成と修正 TinderBoxを使ってプロジェクトの雛形をつくります。名前を “TouchTest” とし、Targetは “

kzk 2010/11/29

"X’masが刻一刻と迫っています。祢次金です。" [cinder]

リンク

クリエイティブなC++ライブラリ "Cinder" の紹介 - Preferred Networks Research & Development

こんにちは、人恋しい季節になってきましたね。研究開発チームの祢次金(@nejigane)と申します。本エントリではCinderというクリエイティブなコーディング向けのライブラリについてご紹介したいと思います。 Cinderとは Cinderとは、画像、音声、動画等を簡単に処理＆可視化できる、主にビジュアルデザイン向けの強力なC++ライブラリであり、The Barbarian GroupのAndrew Bell氏が中心となってオープンソースとして開発が進められています。同様の思想を持つProcessingやopenFrameworksによく似ており、C++で簡単に記述できるうえ、Windows、MacOSX、iOS(iPhone/iPad)といった複数のプラットフォームをカバーしています。細かい機能/特徴の紹介は本家サイトに譲るとして、Cinderを極めるとどのぐらいクリエイティブな