熊崎です。 10月3日(金)〜10月4日(土)に掛けてJubatusハッカソンを開催しました。 Jubatusに興味はあるけれどなんだか怖いと思っていらっしゃる方に次回からの参加を検討頂けるよう、ハッカソンの様子を共有します。 開催概要 ドワンゴ様の会場を借りて J...
2. ⾃自⼰己紹介 l 得居 誠也 (Seiya Tokui) l Preferred Networks リサーチャー l Jubatus のアルゴリズム開発 – Jubatus: NTTとPFIで共同開発しているオープンソースの分散 リアルタイム機械学習基盤 http://jubat.us/ l 現在は映像解析とディープラーニングの研究開発に従事 2 3. ニューラルネットの基礎、実装、実験について話し ます l ニューラルネットの道具 – 全体の構成、⾏行行列列による表現、損失関数、誤差逆伝播、SGD l 主要な実装 – Pylearn2, Torch7, Caffe, Cuda-‐‑‒convnet2 l フレームワークの基本的な設計 – テンソルデータ、レイヤー、ネット、最適化ルーチン – アーキテクチャの記述⽅方法(宣⾔言的、スクリプティング) l 実験の進め⽅方
Jubatus(ユバタス)は、大規模データをリアルタイムに解析するための、”大規模分散リアルタイム機械学習基盤”です。 人類が取り扱うデータ量は、年々指数関数的に増大しています。「ビッグデータ」と呼ばれるこうした巨大なデータがあらゆる分野で生まれ始めています。これらは単に生み出されるデータ量が増えているということを示すだけではありません。従来は処理対象ではなかったような詳細なログデータや多種多様なセンサーの生データも含まれ、またテキストや動画像のような非構造化データの割合が大きくなっています。一方で、こうした膨大なデータから有用な情報を見つけ出すことが、計算能力の面でもデータ解析技術の面でも可能になりつつあります。しかしながら、Hadoopを含む既存フレームワークの多くは集計やレポーティングなどの単純な分析バッチ処理にとどまっています。 大量のデータをリアルタイムで効率的に処理し、いち早く
16. データセット データセットを学習用に 整形しなければならない? 1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ 1 でも、ぶっちゃけめんどい 重みづけとかパラメータとかよくわからんし もう適当な文章(テキスト)投げ込んだら、 いろいろとうまいことやってくれて、 良い感じに学習してくれたりしないの? 16 こういうの? 18. { "method": "PA", "converter": { "string_filter_types": {}, "string_filter_rules": [], "num_filter_types": {}, "num_filter_rules": [], "string_types": {}, "string_rules": [ { "key": "*", "type": "space", "sample_weight": "log_tf", "global_w
13. Linux環境構築:1⼈人/チーム開発向けユースケース l 1台のマシン環境しか利利⽤用しない → キックスタート必要なさそう l 1台の物理理マシンしかないけれど、マシン環境は複数欲しい l l l → Amazon EC2等のサービスを使う(お⾦金金があれば) → 仮想マシンを使う(CPU, RAM等に余裕があれば) 2台以上の物理理マシンがある・⽤用途ごとに環境を分離離したい l 各種仮想マシンモニタを利利⽤用しましょう l l l VirtualBox, VMware, QEMU(KVM)など 他の⼈人への作業引き継ぎがあるなら、Vagrantも検討しては? AWSなどを使っている 13
はてなブックマークの関連エントリ機能でお馴染みの Preferred Infrastructure さんが、オープンソースで Jubatus というレコメンデーションエンジン(ひとりひとりの好みを学習して、その人にあったアイテムを提示するためのソフトウェア)を公開しています。(もっと詳しい話はこのへんを見るといいかもしれません。) このエンジンと Ruby On Rails を利用して、閲覧者の好みにあったおすすめアニメを推薦するサイトを作ってみました。 推薦に使うための評価データがまだ少ないため、推薦結果はもうひとつかもしれませんが、多くの人がおすすめ診断を試せば、データが蓄積されておすすめの精度が上がっていくので、興味のある方は是非試していただければと思います。 Jubatus とは もともとこのエンジンは、レコメンデーションを行うための計算を、多くのコンピュータで分散処理しつつ結果を
PFI、ビッグデータ分析製品「Sedue for BigData」を6月に発売:SedueとJubatusを統合 「Sedue for BigData」は、検索エンジン「Sedue」と機械学習フレームワーク「Jubatus」を統合したビッグデータ分析製品。レスポンス性でHadoopより優れるなどの特徴がある。 プリファードインフラストラクチャー(PFI)は5月20日、検索技術と機械学習技術を統合し、リアルタイム処理に対応したビッグデータ分析製品「Sedue for BigData」を6月20日から販売開始すると発表した。 Sedue for BigDataは、同社が開発する検索エンジン「Sedue」(関連記事)と機械学習フレームワーク「Jubatus」を統合したもの。秒間数千~数万件の規模で流入するデータをリアルタイムに分析し、検索インデックスを作成する。非構造化データと構造化データを合わ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く