[B! python][機械学習] turuhashiのブックマーク

Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm

gensimは前に以下の記事でも使ったPython用のトピックモデルなどの機能があるライブラリです。小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm 以前紹介した以下の論文でもgensimが使われていました論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm deep learningで話題になったword2vecの機能も取り入れてたりして面白いライブラリです Radim Řehůřek : Deep learning with word2vec and gensim 入力の作り方がすこしわかりにくいかなぁと思ったので、メモっておきます。コーパスの作り方以下の公式の例で説明しますこの例ではリスト内のそれぞれの要素が1つの文書となります

turuhashi 2018/07/08

リンク

Pythonの機械学習ライブラリtslearnを使った時系列データのクラスタリング

tslearnとは時系列分析のための機械学習ツールを提供するPythonパッケージで、scikit-learnをベースとして作られているみたいです。主な機能として、クラスタリング、教師ありの分類、複数の時系列を重ねた際の重心の計算ができたりします。今回使用するに至った一番のモチベーションは、波形や振動などの時系列データに対してクラスタリングできるというところです。 tslearnインストール pipコマンドでインストールできます。 Kshapeというクラスタリング手法今回tslearnで使用するモジュールとして、Kshapeというクラスタリング手法を時系列データに適用していきたいと思います。 Kshapeは2015年に下記の論文で提唱された方法で、以下の流れで実行されるアルゴリズムになります。相互相関測定に基づいた距離尺度を使う（Shape-based distance: SBD

turuhashi 2018/06/23

リンク

テキストに含まれた情報を有向グラフに変換する話（一）：可視化の章 - Qiita

こんにちは。理系大学院で修業中のスーパーケロケロです。趣味で自然言語解析（NLP）の勉強をしています。最近、テキストに含まれた情報を有向グラフに変換するPythonライブラリーnaruhodoを作ったので、ライブラリーの紹介も兼ねて、テキストを有向グラフに変換する話を少ししてみたいと思います。 naruhodoのGithubリポジトリはこちら、最新バージョンはです。自然言語解析の流れ自然言語解析を料理に例えれば、入力されたテキストは収穫待ちのコムギのようで、そのままでは使えない。このコムギを形態素解析で脱殻し（形態素単位で分離）、さらに词类（Part-Of-Speech）や依存構造解析で小麦粉にしてから（文法情報の付与）、ようやくパンのような美味しい食べ物が作れる（実際の応用）。テキストが処理されるごとに、使える情報が増えて、応用の幅が広げるわけです。文＝＞木、文章＝＞有向グラフ

turuhashi 2018/06/20

リンク

Autogradという野郎が乗り込んできたのでガクブルな件 - Qiita

Autogradという野郎が乗り込んできました。はい、そりゃもういきなり。複雑な確率モデルや損失関数だとしても、パラメータに関する勾配をこれでもかというぐらい簡単に計算できちゃうので、機械学習の世界に大きな影響を与えそうです。現時点では、PythonとTorchでの実装が公開されているようですが、これからJuliaなど他の言語でも実装されていきそうですね。（補足：この記事を書いたすぐ後にGoogleがTensorFlowなるものを出してきまして、そちらでも自動微分がしっかり実装されてるみたいです〜。機械学習関連のフレームワークは移り変わりが激しいですねー ^^; ）ちなみに始まりはこんな感じでした。ゆるいですね。とりあえずチュートリアルやりながら、Python版チュートリアルの前半部分にテキトーな日本語訳をつけたので、ここでシェアしておきます。英語が読める方は、僕のヘンテコな日本語

turuhashi 2015/11/08

リンク

Python3.3で実装したナイーブベイズをBing APIで取得したWebページで学習。文章を分類させる - Qiita

Python3.3で実装したナイーブベイズをBing APIで取得したWebページで学習。文章を分類させるPython 機械学習NaiveBayes この投稿は現実逃避アドベントカレンダー2013の2日目の記事です。前回実装したナイーブベイズ。せっかく作ったので、これまで書いたコードと組み合わせて実用的なシステムにした。 GithubにAPIキー以外のコードをまるごと上げたので、よかったらそのまま使ってください。 https://github.com/katryo/bing_search_naive_bayes 作ったもの概要与えられた検索クエリで、Bing APIを使ってWeb検索して、50件のWebページを取得する取得したHTMLファイル内の文章をBag-of-wordsにして、検索クエリをカテゴリとしてナイーブベイズの学習をする。学習を行った分類器はpickle化して保存。分類