scikit-learnでtf-idfを計算する - Qiita
この投稿は現実逃避アドベントカレンダー2013の4日目の記事です。 2日目の記事でBing APIを使ってフェッチしたhtmlを使うので、2日目を先に読んでおくと理解しやすいです。 本稿を3行でまとめる scikit-learnというPythonのライブラリを調べた 2日目で保存したhtml内の語のtf-idfを計算した 語とtfidfのマッピングを確認した 参考 scikit-learn公式、テキストの素性抽出ドキュメント scikit-learnを使ってTweet中の単語のtfidf計算 完成品 Fork me! 理論 tfidfの定義 tf-idfは tf * idf の値。あるドキュメント（文書）集合において、あるドキュメントの、ある単語につけられる。tf-idfが高い語は重要と考えることができる。情報検索において、語への重みづけに使える。 tf (Term Frequency)は
Python3.3で実装したナイーブベイズをBing APIで取得したWebページで学習。文章を分類させる - Qiita
Python3.3で実装したナイーブベイズをBing APIで取得したWebページで学習。文章を分類させるPython機械学習NaiveBayes この投稿は現実逃避アドベントカレンダー2013の2日目の記事です。 前回実装したナイーブベイズ。せっかく作ったので、これまで書いたコードと組み合わせて実用的なシステムにした。 GithubにAPIキー以外のコードをまるごと上げたので、よかったらそのまま使ってください。 https://github.com/katryo/bing_search_naive_bayes 作ったもの概要 与えられた検索クエリで、Bing APIを使ってWeb検索して、50件のWebページを取得する 取得したHTMLファイル内の文章をBag-of-wordsにして、検索クエリをカテゴリとしてナイーブベイズの学習をする。学習を行った分類器はpickle化して保存。 分類
Python3.3で実装したナイーブベイズ分類器を利用して、文章と文字列中の語の共起頻度から、類似度を計算する - Qiita
Python3.3で実装したナイーブベイズ分類器を利用して、文章と文字列中の語の共起頻度から、類似度を計算するPython機械学習MachineLearning この投稿は現実逃避アドベントカレンダー2013の3日目の記事です。 今回の内容を3行でまとめる 前回作った分類器を利用した類似度計算器を作った カテゴリと入力文字列の類似度を計算できるようにした コサイン類似度とシンプソン係数を使った類似度が計算できる Githubにコードをまとめて上げた。 https://github.com/katryo/bing_search_naive_bayes_sim 前回までのあらすじ Bing APIを利用してWeb検索を行い クエリをカテゴリ名として、分類器に学習させ 入力した文字列がどのカテゴリに入るか分類させる こういうシステムを作った。 今回追加した機能 入力した文字列と各カテゴリに入れた
GensimPy3を使って小説家になろうのトピックモデルを解析 - Qiita
gensimというトピックモデルを扱うPythonのライブラリがある。公式ではPythonのバージョン 2.5 <= Python < 3.0 にしか対応していない。 しかしSamantpさんがgensimPy3というライブラリを公開している。gensimをforkしてPython3.3に対応させたものだ。 今回はこのgensimPy3を使ってしょとうさんの小説家になろうのランキングをトピックモデルで解析(gensim) と同じ事ができるか実験した。 ※gensimの使い方参考 http://yuku-tech.hatenablog.com/entry/20110623/1308810518 GensimPy3のインストール からソースコードをcloneしてくる。
Poltergeist + Rspec + Capybara導入のメモ - Qiita
Capybara.javascript_driver = :poltergeist Capybara.register_driver :poltergeist do |app| Capybara::Poltergeist::Driver.new(app, :js_errors => false, :timeout => 60) end とすればよいとわかった。各オプションについて以下に説明する。 :js_errors :js_errors => falseにしたのはCapybara::Poltergeist::JavascriptError: というエラーを防ぐため。JSのエラーはよくあることなのだが、エラーが出るたびにCapybaraを止めるのは時間の無駄。ということで、JSのエラーは無視することにした。 :timeout Timeoutはデフォルトでは30秒。しかし、ログインのような時
Herokuのスラグサイズを減らすためにasset_syncを使うやりかた - Qiita
Denkinovelという、ノベルゲーム風の小説を書ける投稿サイトをRails + Herokuで開発しています。 サービスの特性上assetsに多くの画像、音楽ファイルを置いているので、HerokuのSlug size 200MB縛りがきつくなってきました。こんな状況のためにasset_syncというgemがあるので、使ってみることにしました。Heroku公式で推奨しているgemです。 herokuでのasset_syncの使い方は、英語公式がこちら。https://devcenter.heroku.com/articles/cdn-asset-host-rails31 ボランティアによる日本語訳もあります。ありがたい。こちらです。https://github.com/herokaijp/devcenter/wiki/cdn-asset-host-rails31 インストール herok
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WEB+DB Press 75号と76号のEmerging Web Technology研究室を手元で再現しようとしてハマった話 - Qiita