Windows 7 64bit に MeCab (和布蕪) と Python のバインディングを導入 (2016/08/18) - Qiita
はじめに Windows 7 64bit に MeCabを導入するのに思ったよりも大変だと思ったので備忘録として投稿します。 MeCabは形態素解析ツールです。基本的に下記のことをしてくれます。 日本語の文を形態素（意味の通る最小のブロック）に分けてくれる 形態素の持つ品詞を分析してくれる １行目：入力したテキスト、３行目以下：結果 参考にした情報は以下（ありがとうございました！）： 64bit Windows + python 2.7 + MeCab 0.996 な環境をつくる Windows 64bitで、mecab-python 導入に必要なもの python 2.7.11 Microsoft Visual Studio 2015 mecab-0.996.exe mecab-0.996.tar.gz mecab-python-0.996.tar.gz 手順 1. 「導入に必要なもの」
NVIDIA GPUが搭載されたWindows 10にTensorFlowとChainerをインストールしてDeep Learningの学習環境を構築してみる - Qiita
※以下が最新の記事です。「Windows 10にNVIDIA GPUを使用したDeep Learning環境をインストール。（CUDA10、VS2017、TensorFlow、Keras、Chainerのインストール）」 https://qiita.com/kekekekenta/items/a46a899956b1c756ddce こんにちは。今回はNVIDIAのGPUが搭載されたWindows 10にTensorFlow 1.0とChainerをインストールする手順を紹介します。 Deep Learning環境としてはUbuntuを利用したものが多くありますが、最近ではWindows 10でもこれらのフレームワークが動きます。NVIDIAのGPUが搭載されたゲーミングPCを持っていれば簡単に試すことができるようになっています。 Visual Studio 2015のインストール まずは
Deep Learningで楽曲認識 - Qiita
様々な曲を聴かせて、そのアーティストが誰なのかを認識させようという試みです。認識部分はDeep Learningに任せます。頼んだ！ イメージとしては学習したモデルを用いて、マイクに向けて直接音楽を流して、「これはミスチルや！」という感じにリアルタイムに推定してくれるシステムを作りました。 githubに公開しました。 なお、学習時はGPUを使っていますが、学習済みモデルを使って推論させるときはGPUではなくCPUを使うコードになっていますが、別にGPUでも動きます。 （単に、推論させるときには別のPCで実行させていて、そのPCにはGPUが載っていなかったからというだけです。） https://github.com/slowsingle/music_classification 「頼んだ！」とは言いつつも... 曲の波形をそのままネットワークに学習させても、訓練誤差は縮まれど、実際に出来上
初めてのTensorFlow（改訂版）- 線形回帰とロジスティック回帰 - Qiita
以前書いた記事 初めてのTensorFlow - イントロダクションとしての線形回帰 は，TensorFlow が公開された直後のタイミングに執筆したこともあり，私の記事の中でも"いいね"をつけてもらえる記事となっている．ただ約一年半前の記事なので，TensorFlowのバージョンupを考慮し，記事を改訂したいと考えた．内容は，前記事を踏襲し，線形回帰とロジスティック回帰とする． （プログラミング環境は，以下になります．2017/5/29時点．） Python 3.5.2 TensorFlow 1.1.0 Numpy 1.11.3 Scikit-learn 0.18.1 Linear Regression（線形回帰） 前の版の「初めての...」では，"Theano" のTutorial，Newmu/Theano-Tutorials - GitHub を紹介し，これを TensorFlow
口コミのdoc2vecを用いたリコメンデーションシステムの構築 - Qiita
Rettyのクラフトビール担当兼エンジニアのbokenekoです。 doc2vecを使って実験的なリコメンデーションシステムを作ってみたのでその手法を紹介します。 doc2vec doc2vecはword2vecの進化系です。word2vecはある単語はその周りにどんな単語が現れやすいかでその単語の意味を捉えようとしますが、doc2vecはそこにさらに文脈を加味するように学習します。 例えば、「私はxxxを飼っている」という文章のxxxには「犬」とか「猫」とかが入るので「犬」も「猫」も似た意味を持つのだろうというのがword2vecの考え方です。 ですが、もしこの文章が犬の話の小説のものであれば「猫」よりも「犬」が圧倒的に出やすくなりますし、SM小説の一節なら...まあ出やすい単語が変わるのは分かっていただけるかと思います。 つまり文章の文脈によって単語の出やすさが変わるので、どんな単語が
新し目の辞書を使ってMeCabをPythonから利用する - Qiita
とコマンドを入力すると、MeCabが起動し、文字入力待ちモードになります。 何か言葉を入力し、returnキーを押してみましょう。 追加の辞書ファイルのインストール IPA辞書と一緒に、mecab-ipadic-NEologdという新語辞書を使うことにします。 http://diary.overlasting.net/2015-03-13-1.html IPA辞書（IPADIC）だけを使うと何が問題かというと、 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を
Udacityのディープラーニング基礎コース(Deep Learning Foundation)を終えた感想 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Udacityのディープラーニング基礎コース(Deep Learning Foundation)を終えたので感想。 1月から17週の有料コースで、世界中で5000人以上の方がこのコースを受講しているメガコース。日本からも50名程度参加してるよう。 アメリカはもちろん飛び抜けて多そうだけど、中国、インド、カナダ、イギリス、ドイツあたりからも100名以上参加してそう それなりに負荷の高いコースでしたが、かなり勉強になった。ディープラーニングの基本の実装から、フレームワークを使った具体的なプロジェクトまで幅広く学ぶことができた。 AI AIが
KerasのLSTM model.predictを解読した話 - Qiita
概要 KerasやTensorflowを使用してニューラルネットワークの重みを計算したものの、それをどうやって実アプリケーション（iPhoneアプリとか、Androidアプリとか、Javascriptとか）に使えば良いのかって、意外と難しい。 単純なニューラルネットワークとなれば、単純で良いのだが、今回LSTMで学習した重みを使用する必要があったので、KerasのLSTMのPredictの内容を解読した。 学習済みの重みはmodel.get_weights()で取ってこれるが、こいつに関する情報がググっても全く出てこない。 結局、コードを書いて、ごちゃごちゃ手当たり次第に試していった結果、model.get_weights()で取ってくる重みは、 1つ目(インデックス0)：LSTMの入力層の入力に対する重み、入力ゲートの重み、出力ゲートの重み、忘却ゲートの重み 2つ目(インデックス1)：隠
Udacity Deep Learning Nanodegreeの紹介 - Qiita
tldr UdacityのDeep LearningのNanodegreeを受けました。 Tensorflowつらい。Hyper Parameterのチューニングつらい。 でも、勉強になりました。 Udacity Nanodegreeとは UdacityはいわゆるMOOC(Massive Open Online Course)でプログラミングやデザインがオンラインの講座として学べます。 Udacity自体は無料ですが、いくつかのコースをまとめた有料のミニ学位(Nanodegree)を提供していて、そこでしか見れない講座もあります。 オンライン講座だと他にLynda.comやCode Schoolなどもありますが、動画を見るだけでなく、課題の提出を要求され、要求水準を満たさないと合格になりません。同種の形態のCourseraとの違いはCourseraがどちらかというと大学の講義に近いのに対し
MeCabをブーストさせよう - Qiita
はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、http://qiita.com/Hironsan/items/2466fe0f344115aff177 とかに書かれている通り、(上記の記事では、単語の分割が形態素解析に当たります)、分割された単語をベクトル化したり、各語彙の頻度を調べたりするためです。今回は、MeCabを用いて、できるだけ、精度高く分かち書きできるように頑張ります。1 追記) もう一つのMecabをブーストさせよう(Google Search Console編: https://qiita.com/knknkn1162/items/
scikit-learn + DBSCAN によるクラスタリング - Qiita
今日は昨日に引き続き SciPy and NumPy Optimizing & Boosting your Python Programming の中から scikit-learn を使った例を軽く説明します。クラスタリングについてはすでに食べられるキノコを見分けるやクラスタリングの結果を再利用するといった記事で説明しましたし scikit-learn によるクラスタリング でも取り扱ってきましたから機械学習の中でもすっかりお馴染みの手法かと思います。 scikit-learn でのクラスタリング ポピュラーな kmeans と比較して多くのデータ点を有するコア点を見つける DBSCAN アルゴリズムは、コアが定義されると指定された半径内内でプロセスは反復します。ノイズを多く含むデータに対して、しばしば kmeans と比較される手法です。 原著においてもこれらの手法を比較し可視化していま
scikit-learn を使ってみる (1) - K 平均法によるクラスタリング - Qiita
前回は scikit-learn に実装されている機械学習の手法をざっくりと書いてみたのですけれども、それなりに需要がありそうなので今日から scikit-learn を使った機械学習のサンプルコードを書きつつ、その手法の理解と実践に迫ってみたいと思います。 まずは以前にもやった K 平均法によってクラスタリングをする例を挙げていきます。 K 平均法はクラスタリングの中でも基本的な手法で、シンプルで高速に動作しますし、入門にも最適です。動作についての説明は毎回おすすめしているのですがこのあたりがわかりやすいです。 クラスタリングする対象としてはやはり株価データを利用します。 株価のデータは 無料で誰でも入手することができる 企業の「業績」を示す指標となるリアルなデータである 定量的なデータであるため分析しやすい といった特長があるため扱いやすいのです。 企業の業績と株価は密接な関係にありま
scikit-learnのSVM（SVC）の処理速度について - Qiita
2016.09.14 処理時間のバラつきについて追記しました scikit-learnのSVC（rbfカーネルとlinearカーネル）とLinearSVCの処理速度を比較してみました． 利用したデータはRのkernlabパッケージに含まれているspamデータです． 説明変数は4601サンプル，57次元， ラベルはspam:1813サンプル，nonspam:2788サンプルです． サンプル数，次元数を変えた時の結果は以下の通りです． SVCのlinearカーネルが遅すぎますね． ついついカーネル種別まで含めてグリッドサーチしてしまいたくなりますが， きちんとLinearSVCを使ったほうが良さそうです． 検証用コードは以下． 処理時間計測の都合でパラメータCを振っています． また特徴量選択（次元削減）はRandomForestのfeature importanceを利用しました． これは適当
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChainerとPyTorchのコードを比較する - 線形回帰編 - Qiita
Python vs Ruby 『ゼロから作るDeep Learning』 1章 sin関数とcos関数のグラフ - Qiita
無から始めるKeras - Qiita
MeCabをMacにインストールする手順 - Qiita
Elasticsearchを使って日経平均株価データでMachine Learningを体験する - Qiita
TensorFlowを中心とした機械学習環境をUbuntuで構築 - Qiita
RubyでTensorFlowを使う with PyCall - Qiita
