海野です。 特徴抽出モジュールである、 fv_converter についてチュートリアルを書こうと思ったら、長くなってしまったので連載にします。 今日は、手始めに特徴抽出とは何かについてかいていきます。 一般的には、テキストや画像、時系列データといった生の入力データを、機械学...
海野です。 特徴抽出モジュールである、 fv_converter についてチュートリアルを書こうと思ったら、長くなってしまったので連載にします。 今日は、手始めに特徴抽出とは何かについてかいていきます。 一般的には、テキストや画像、時系列データといった生の入力データを、機械学...
はてなブックマークの関連エントリ機能でお馴染みの Preferred Infrastructure さんが、オープンソースで Jubatus というレコメンデーションエンジン(ひとりひとりの好みを学習して、その人にあったアイテムを提示するためのソフトウェア)を公開しています。(もっと詳しい話はこのへんを見るといいかもしれません。) このエンジンと Ruby On Rails を利用して、閲覧者の好みにあったおすすめアニメを推薦するサイトを作ってみました。 推薦に使うための評価データがまだ少ないため、推薦結果はもうひとつかもしれませんが、多くの人がおすすめ診断を試せば、データが蓄積されておすすめの精度が上がっていくので、興味のある方は是非試していただければと思います。 Jubatus とは もともとこのエンジンは、レコメンデーションを行うための計算を、多くのコンピュータで分散処理しつつ結果を
第一回Jubatusハンズオンに参加してきた。 スライド:第1回 Jubatusハンズオン Jubatusは、機械学習のオンライン学習手法を実装したOSSのことだ。 機械学習のアプリケーション作成では、Matlab、Python(っていうかNumpy)、Rなどが主流な中、 オンライン分散学習を行うJubatusはどんな感じで動くのか、その差異がわかったので少し説明する。 大枠 Jubatusには、分類、回帰、異常値検知などが現在まで実装されている。 基本的には、起動時の設定ファイルのオプションでどのアルゴリズムを使うかを設定し、 そのあとにデータをサーバに投げて計算結果を得るようなシステムになる。 (ワーカーとかについては今回説明が無かったので省略。) モデル設計 1) Jubatusサーバ起動 Jubatusの設定はjsonファイルで管理されている。 このファイルへのパ
比戸です。 先週Jubatusの最新0.4.0がリリースされましたが、外れ値検知機能の追加が目玉の一つとなっています(jubaanomaly)。昨年PFIへ入社して初めて手がけた仕事が公開されたということで感慨ひとしおですが、便乗してあまり語られることのない異常検知の世界について書きたいと思います。以下の資料は昨年のFIT2012で使ったものです。 異常検知とは簡単にいえば、「他に比べて変なデータを見つけ出す」タスクです。お正月にテレビで繰り返し流れた、おすぎとピーコのCM(*1)がわかりやすいイメージですね。機械学習の枠組みで言えば”教師無し学習”に属します。分類や回帰、クラスタリングなど応用も多く人気も研究熱も高いタスクに比べると、マイナーです。SVMとか、Random Forestとか、Boostingとか、最近だとDeep Neural Networkとか、有名な必殺技アルゴリズム
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
(報道発表資料) 2012年7月10日 データ分析アイデアコンテスト 「Jubatus Challenge Japan 2012」 の開催 ~ 日本発ビッグデータ分析オープンソースソフトウェア 「Jubatus(ユバタス)」 による分析コンテストの開催 ~ URL: http://www.facebook.com/JubatusChallenge2012 日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:鵜浦 博夫、以下NTT)は学生を対象としたデータ分析アイデアコンテスト「Jubatus Challenge Japan 2012」の参加者募集を本日より開始いたします。 本コンテストでは、NTTが2011年10月よりオープンソースソフトウェアとして公開しているビッグデータ*1のリアルタイム処理を可能とするJubatusを用い、データ分析のアイデアおよび分析内容を競って頂きます。本
海野です。今日はJubatusのプラグインの作り方を解説します。 一般的な機械学習ライブラリではベクトル化したデータしか受け付けないものが多いです。 しかし、実際にライブラリを利用してみるとわかるのですが、生データからベクトルへの変換は意外と面倒です。 その割には、典型的な変換...
5月11日に行われた 機械学習×プログラミング勉強会 でJubatusを使ったマルウェア分類について発表してきました。マルウェア分類をJubatusで実行するためにどんな特徴を入力させる必要があるのか、また、Jubatusを利用するおおまかな流れを紹介してきました。資料は以下...
内容は、技術的な内容をかなり省いて、機械学習自体のチュートリアル、Jubatusが既存の機械学習ライブラリと何が違うのか、どういう応用ができそうかという点に絞りました。最近、もっと世の中の人に機械学習の恩恵を受けて欲しいと、割りと真面目に考えるようになったので、いろんな所でキャンペーンしています。機械学習だとか自然言語処理だとかは、個人的には明らかに便利な面があるのですが、まだ研究者のツールを抜け出て無い印象があって、そこのブレークスルーを作れればもっと新しいアイデアが出てくるんじゃないかと思います。 今回発表することになった発端は、前職の先輩である那須川さんの著書を、この勉強会の教科書に指定されていたので、そもそも那須川さんに話してもらったらいいんじゃないかということでボクが声をかけました。この書籍も、テキストマイニングに対する世の中のニーズや、利用シーンなどがよくまとまっていておすすめ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く