機械学習でよくわからないまま文章を作らせてみる その2 - プログラムの事とか
前回環境を作れたので遊んでみます。 目標はでっかく 某料理レシピサイトのレシピを学習させて面白レシピを作る The Watson Dinner Party | Howcookingworks すでにもっとすごいのがありました。 上記リンクのような真面目なレシピではなく、既存のレシピを日本語の入力として文章を生成させるだけですので安心してください。 ということでめちゃくちゃな日本語でニヤニヤするのが目標です。 データを準備する 準備しました 試す 前回動かしたサンプル github.com のパラメーターを変えるだけで試せます すでにあるdataフォルダにcookフォルダを作ってその中にinput.txtを準備します。 input.txtの中には準備したレシピのタイトルだけを2000行入れておきました。 まずは学習させます。 python train.py --data_dir data/c
統計的自然言語処理エンジンStaKK - nokunoの日記
統計的自然言語処理エンジンStaKK を開発しました。nokuno’s stakk at master - GitHub 以下、READMEからの引用です。 現在の機能 かな漢字変換 予測変換 または サジェスト スペル訂正 形態素解析 HTTPによるAPIサーバ Trieの直接操作現在は、StaKK は辞書として Mozc （Google日本語入力のOSS版）のデータを使っています。 リバースモードについてStaKK はノーマルモードとリバースモードの2つのモードを持っています。 ノーマルモードでは、かなを入力し、単語（主に漢字）を出力します。 リバースモードでは、単語を入力し、読みや品詞を出力します。これらの2つのモードの応用例をまとめると、次の表のようになります。 機能 ノーマルモード リバースモード Convert かな漢字変換 形態素解析 Predict 予測変換 検索ワードのサ
やすみやすみ 技術編: Tritonn (MySQL with Senna, MeCab) を CentOS 5.2 にインストール
Tritonn (MySQL with Senna, MeCab) を CentOS 5.2 にインストール 久々に技術的な話。 自宅サーバ（CentOS 5.2 / i386）の MySQL を Tritonn (MySQL + Senna + Mecab) に差し替えた。 そのときのメモ。 （Tritonn を rpm でインストールした人の記録って検索してもあまり出てこないね。） http://qwik.jp/tritonn/installrpm.html 公式のTritonnインストール方法を参考にして次の6ファイルをダウンロード。 MySQL-client-5.0.45-tritonn.1.0.7.i386.rpm MySQL-server-5.0.45-tritonn.1.0.7.i386.rpm MySQL-shared-5.0.45-tritonn.1.0.7.i386.r
Pythonでのキーワード抽出実装
初出: 2007/6/27 更新: 2007/7/1 文章からキーワードを抽出するスクリプトをPythonモジュールとして実装しました。 分かち書きした上に、適切に複合語をつくり、さらに重要そうなものかどうかのスコアをつけます。 アルゴリズムは、以下のサイトを参考にしました。 http://gensen.dl.itc.u-tokyo.ac.jp/ ここで紹介されている論文 * 中川裕志、森辰則、湯本紘彰: "出現頻度と連接頻度に基づく専門用語抽出",自然言語処理、Vol.10 No.1, pp. 27 - 45, 2003年1月 http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/academic-res/jnlp10-1.pdf に掲載されているFLR法のみを実装しています。 実行結果サンプル たとえば、こんなページの本文をテキストフ
twist-bend coupling: MeCabのPythonバインディングをWindowsでビルド
MeCabのPythonバインディングをVisual Studio 2005でビルドしようと思ったら、リンクでこける。よくよくエラーメッセージとヘッダを見比べてみたら、mecab.hの誤りを発見。 以下の二点を修正の上、SWIGでMeCab_wrap.cxxを作り直せば、問題なくビルド可能。 #ifdef SIWG を #ifdef SWIGに修正。 Mecab::version()を#ifdef SWIGで囲む。 VS2005でsetup.pyを起動すると、VS2003でコンパイルしろと文句を言われるが、たかがC++のDLL一つをリンクするために、VS2005からVS2003にダウングレードなどするはずも無く、さっくり手動でコンパイル。 cl /EHsc /LD /I “c:\Program Files\MeCab\sdk” /I “C:\Python25\include” mecab
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
