機械学習と自然言語処理とビッグデータ - Preferred Networks Research & Development
岡野原です。 情報処理学会主催の連続セミナー「ビッグデータとスマートな社会」での機械学習の回、自然言語処理の回での講演資料を公開しました。 今年はビッグデータという言葉が広まったということで、このテーマで話す機会が多かったです。今はビッグデータというとそれを支えるインフラ、クラウド、DBなどがまず注目されていますが、我々としては実際それを使って何をするのか、何が実現できるのかというところを注目しています。 PFIは元々こうしたデータを分析して価値を提供する（検索エンジンとかもその範疇に入ると思います）ことをずっと続けてきたわけですが、ビッグデータという言葉が広まってくれたおかげでこの考えがより受け入れられ様々な業界の方と随分と話がしやすくなったと思います。 以下の講演資料では、今ビッグデータの中でも機械学習と自然言語処理の分野において我々がどこに注目しているのかを話をしました。
Jubatus 0.3.2 のリリースと Yum リポジトリの利用方法
こんにちは。8 月から Jubatus チームに参加している前橋です。 2012/09/21 に Jubatus 0.3.2 をリリースしました。今回のバージョンでは大きな機能追加はありませんが、多数のバグフィックスが行われています ( リリースノート )。 さて、Ju...
2011-04-21
VMWare Fusion 3 で簡単にサーバの設定をいぢることができるようになったので、早速前から気になってた mod_wsgi を試してついでに Python も 2.7.1 にしてみたのでメモ。 Django も 1.3 にしてみたけど、それはまた次回。 前に Python 2.6.6 を CentOS 5.5 にインストールしたけど、同じ手順でインストールできた。 まずはライブラリを入れておく [paraches@localhost myTest]$ sudo yum install zlib zlib-develPython 2.7.1 をダウンロードして展開 [paraches@localhost myTest]$ wget http://www.python.org/ftp/python/2.7.1/Python-2.7.1.tgz [paraches@localhost m
非公式Jubatusインストールガイド - kuenishi's blog
オススメの環境 わたしは普段の開発でいくつかのOSを使っています。メインはDebian testingです。サブが持ち歩きのノートに入っているMacOSXと、Debian stable。さらにRedhatとFreeBSDの環境を用意しています。FreeBSDは未だに慣れず、うまく使えていませんが。公式サポートになっているUbuntuは他の開発者が使っています。 libmsgpackとlibeventは大抵のLinuxディストリビューションにも公式パッケージがありますし、MacPortsにもあります。 pficommonはgithubから落としてきて、常に入った状態にしておきましょう。MacPortsにもpficommonがありますので、そちらでも大丈夫だと思います。他の依存ライブラリは以下のように、必要に応じて入れてます。 glogはMacPortsにはありますが、Debianにはありませ
YUMで一発、jubatusで文書分類 - お前の血は何色だ!! 4
jubatus 入れると、大規模なオンライン機械学習ができるらしいです。 だけど、入れるのめんどいですね。依存関係とかだるい。 だから、 yum っときました。 (テスト用VMなどに入れて遊んでください。) RHEL5互換・・・つまり、centos5系とかだと、以下3行をコピれば入ります。 rpm -Uvh http://ftp.iij.ad.jp/pub/linux/fedora/epel/5/x86_64/epel-release-5-4.noarch.rpm rpm -Uvh http://rtilabs.net/files/repos/yum/rh/5/x86_64/rtilabs-release-1-0.noarch.rpm yum install --enablerepo=rtilabs jubatus jubatus-python-client OR RHEL6互換・・・つま
Jubatusを使ってみようとしたけれど失敗 - 元40歳無職プログラマの日常
この日記は結局うまくいかなかった状況を書いているので、良い子は真似しないでください。悪い子は真似してもいいですが、うまくいかなくても怒らないでください。 Jubatusって とくに広告系やマーケティングなんかの仕事では、トレンドを掴むことが重要（だと思われているらしい）です。まあ、株式市場など、世の中っていうのはよくわからないので頼れそうなものはとにかく頼ってみて勝率が50%から51%にでもなれば儲けものということかもしれません。 近年、情報爆発だとかビッグデータというようなバズワードがあって、それを記憶しておくためにKVS(Key-Value Store)、そしてデータを活かすためにHadoopが流行ったりしています。Hadoop自体は分散処理をするためのフレームワークなわけですが、そのフレームワークの存在によってテキストマイニングや機械学習が実用的な状況になってきたと言えるかもしれませ
Mercurial SCM
Get started Mercurial is written in Python with platform independence in mind. As a result, Mercurial is available on Microsoft Windows, GNU/Linux, MacOS X, OpenSolaris and others. You can either download a binary package for the system of your choice or build it from sources. Windows users are likely to enjoy the TortoiseHg GUI the most. It integrates Mercurial directly into your explorer. Packag
JapaneseTutorial - Mercurial
Mercurial の使い方のチュートリアル このチュートリアルは Mercurial の使い方を紹介します。 SCM ソフトウェアを使うにあたっての特定の予備知識は必要ありません。 あらかじめ Mercurial を理解する を見ておくとよいでしょう はじめに このチュートリアルを読み終われば、次のことが分かるでしょう: Mercurial を使うのに必要な基本的な考えとコマンド ソフトウェアプロジェクトに貢献する際の Mercurial の簡単な使い方 Mercurial のマニュアルページ hg(1) と hgrc(5) に目を通すことを強くお勧めします。 マニュアルページは リリース tarball にも doc/hg.1.html と doc/hgrc.5.html として含まれています。 コマンドラインで hg help <command> とタイプしても良いでしょう。 チュー
masato-ka's diary
この記事について データドリブンなLチカという言葉をご存知だろうか？実はこの記事のために作った造語だ。今回はデータドリブンなLチカの意味ついて説明する。さらにRaspberry Pi picoを使ってTensorflow Lite for MicrocontrollerのLチカデモを実行する方法について説明する。データドリブンなLチカって言ってみたかっただけなのでネタ半分で読んで欲しい。そして、Raspberry Pi picoが積み基板化している方にぜひチャレンジしていただき、新時代へのパラダイムシフトを体験することを願っている。 Raspberry Pi pico Lチカとは（おさらい） Lチカとはマイコンに接続したLEDを点滅させるHelloWorld的なプログラムのことだ。sleep命令やタイマー割り込み、PWM出力といったマイコンの機能を使い倒してLEDの点滅間隔をプログラムする
UbuntuにJubatusをインストールする - Make組ブログ
噂のJubatusを入れてみました。JubatusについてはJubatusを公開しました | Preferred Researchを参考。 Jubatusは依存してるライブラリが多いです。なのでインストールはあまり楽ではありません。主にhttp://jubat.us/tutorial.htmlのPrequisites記されてる依存ライブラリを入れる作業になります。でも Ubuntu なら apt-get が使えますので、それなりには簡単と思います。 この記事では $ jubaclassifier コマンドが正常に動くまでを書きます。 依存ライブラリのインストール http://jubat.us/tutorial.htmlによると Linux 2.6 + gcc 4.0 + pkg-config python 2.6+ and msgpack-python libmsgpack pficom
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
Jubatusのインストールと若干の動作確認 - kuenishi's blog
(追記)もう0.2.0がリリースされてるので微妙に違ってたりします。本家をみてね。 Jubatusは依存ライブラリが多く割とインストールに手間取りそうな予感がしますね。そこでDebian stableでのインストール手順をば参考に。まずは前準備。 $ sudo aptitude install pkg-config libmsgpack-dev libgoogle-glog-dev aptで入るのはこれくらいですね。mecabはOptionalですが日本語いじるときは何かと便利です。 $ sudo aptitude install mecab-jumandic-utf8 libmecab-dev mecabはすばらしいプロダクトですね！（謎） 次にpficommonです。これはBetter & smaller boostだと考えるとよいです。 $ cd /tmp $ git clone g
クイックスタート — Jubatus
Jubatus のインストール¶ Red Hat Enterprise Linux (RHEL) 6.2 以降 (64-bit) と Ubuntu Server 14.04 LTS / 16.04 LTS / 18.04 LTS (64-bit) を公式にサポートしています。 これらのシステムでは、Jubatus のすべてのコンポーネントをバイナリパッケージでインストールすることができます。 また、その他の Linux 環境 (32-bit を含む) と Mac OS X が試験的にサポートされています。 Red Hat Enterprise Linux 6.2 以降 (64-bit)¶ 以下のコマンドを実行して、Jubatus の Yum リポジトリをシステムに登録します。 // RHEL 6 の場合 $ sudo rpm -Uvh http://download.jubat.us/yu
Jubatusのインストールめも（MinimalInstall） - nakamu_m’s log
Jubatusはリアルタイムに大規模分散上で各種機械学習手法を実行するフレームワークとのことです。詳しくはJubatusを公開しました | Preferred Researchを参照してください。 今更ですがインストールしてみます。Ubuntuの12.04で、jubatus-0.2.2です。 下記の公式ページを参考にまずは最小構成でインストールしたメモになります。 http://jubat.us/quickstart.html#minimal-install Jubatusの最小構成でのコンパイルには MessagePack：serialization library for cross-language pficommon：PFIさんが開発しているC++の汎用ライブラリ libevent-dev：非同期イベント通知ライブラリ google-glog：application-level l
Jubatusを公開しました - Preferred Networks Research & Development
先日、NTTと共同研究開発したJubatusを公開しました。 OSSで公開されてますので、興味がある方は使ってみるなり、ソースコードを眺めるなり、できればプロジェクトに参加していただけたらと思います。 Jubatus（ユバタス）は、大規模分散上でリアルタイムで機械学習を行うためのフレームワークです。 このプロジェクトは元々、機械学習やデータ解析が好きなPFIと、ネットワークやシステム運用実績が豊富で技術力があるNTT情報流通プラットフォーム研究所と組んで何かできないかということで始めました。 「大規模分散」＋「リアルタイム」＋「深い解析」という三つの特徴を持った上でデータを分析するためにどのようなアーキテクチャが考えられて、その上でどのような解析ができるのかというのを日々試行錯誤して作っています。 今回はリリース第１段ということで、手法としては分類（教師有学習の多クラス分類）に絞ってOSS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Downloads · jubatus/jubatus · GitHub
Jubatus
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17