word2vecでitem2vecを実装して映画を推薦する - け日記
自然言語処理 Advent Calendar 2017 - Qiita 8日目の投稿となります。 qiita.com 前回の投稿ではword2vecを推薦に応用したitem2vecを紹介しました。 今回は、gensimのword2vecを使ってitem2vecの実装を行い、映画を推薦するシステムを作ります。 ohke.hateblo.jp MovieLens 学習に用いるデータセットとして、かの有名なMovieLensを採用します。 MovieLensは、ミネソタ大学のGroupLensプロジェクトの一環で収集されているデータセットです。 映画のユーザ評価値、各映画のカテゴリやタグなどのメタ情報など、質・量ともに充実しており、推薦システムの評価によく用いられています。 https://movielens.org/ 今回は扱いやすさを優先して、MovieLens 100K Datasetを使
【Python】自然言語処理でラーメン屋を分類してみる - Qiita
はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0
Doc2Vecとk-meansで教師なしテキスト分類 - Qiita
人間が分類したデータを教師データとしてテキスト分類をしている際に人間がデータの間に介在することによる弊害が出てきたので、教師なしのテキスト分類器を作ってみました。 人間がラベル付けすることによる問題点 階層構造にあるデータを並列にラベル付ける 人によって大きく判断が違ってくるようなラベルをつける 作業開始時点と終了時点でラベルの付け方が変わる 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Distributed Representations of Sentences and Documents, Le+, 2014 やったこと Doc2Vecで各文書について他の文書との類似度ベクトルを作成 SVDで次元圧縮 k-meansでクラスタリング k-meansでなくてグラフアルゴリズムで分類した方が良かったな、
TensorFlow Servingで機械学習モデルをプロダクション環境で運用する - freee Developers Hub
こんにちは、freee株式会社でエンジニアをやっている米川（@yonekawa）です。最先端のテクノロジーを使って新しいソリューションを生み出していくことをミッションにした、CTW (Change The World) という役職で働いています。 この記事はfreee Developers Advent Calendar 2017の23日目です。 機械学習ではアルゴリズムや大規模データ処理が注目されがちですが、学習したモデルをどうやってサービスで運用するかも悩ましい問題です。実験やアルゴリズムの検証では強力なツールが揃っているPythonがよく使われるので、そのままPythonでAPI作るケースが多いと思います。しかしプロダクション環境で運用するとなると開発しやすさ以外にも、大量リクエスト時のパフォーマンスやデプロイ、モデルの精度評価やA/Bテストなどさまざまな課題があります。 またfre
tf.nn.conv2d, tf.nn.depthwise_conv2d, tf.nn.separable_conv2dのチャネル数と意味 - Qiita
TensorFlowのconv2d系のレイヤーは以下があります(tf.contribは除く)。 tf.nn.conv2d tf.nn.depthwise_conv2d tf.nn.depthwise_conv2d_native tf.nn.separable_conv2d tf.nn.atrous_conv2d このうちのtf.nn.conv2d, tf.nn.depthwise_conv2d, tf.nn.separable_conv2dがどんなレイヤーなのか、入力とフィルタと出力のチャンネル数について整理します。 説明の簡便のためバッチサイズについては基本的には省略し[H,W,C]のテンソルを念頭に説明します。 ストライドについては説明を省略します。またtf.nn.depthwise_conv2d, tf.nn.separable_conv2dはtf.nn.atrous_conv2dの
各種正則化から転移学習まで。tensorflowソースコードで見るDL性能改善手法 まとめ(ver 2)
最近DL(Deep Learning)の各手法についてtensorflowで実装する場合の実際のコードを聞かれることが多くなってきたので一度まとめておきます。 (10/17/2017 Batch Normalization, Gradient Clipping, ビジュアライズ関連 追加) 下のリストはInside of Deep Learning （ディープラーニングの性能改善手法 一覧）に載せたものです。しかし個人的な経験からも性能改善は一筋縄ではいきません。単に性能の高いモデルを使えば良いといういうわけではなくデータの規模や質によってはシンプルなモデルを使った方が良い時もあります。 ↑ Best より表現力があり問題の処理に適したモデルを利用する より多くのデータあるいはより精度の良いデータを使う パラメータを収束／学習させるための工夫 汎化性能をあげるための工夫 ↓ Better
TensorFlowでAutoencoderを実装してみた - Qiita
きっかけ Autoencoder（自己符号化器）は他のネットワークモデルに比べるとやや地味な存在である．文献「深層学習」（岡谷氏著，講談社）では第５章に登場するが， 自己符号化器とは，目標出力を伴わない，入力だけの訓練データを使った教師なし学習により，データをよく表す特徴を獲得し，ひいてはデータのよい表現方法を得ることを目標とするニューラルネットです．ディープネットの事前学習，すなわちその重みのよい初期値を得る目的にも利用されます． と説明されている．「事前学習」を実施する機会はあまりなさそう，ということでこの章は目を通すにとどめ，次の章，畳込みニューラルネット(CNN)や再帰型ニューラルネット(RNN)の章に進む方も多いと思われる． ただよく調べると，事前学習の他にもAutoencoderの使用目的として以下があるようだ． データ圧縮． データノイズ除去．（Denoising Autoe
TensorFlowで機械学習と戯れる: AutoEncoderを作ってみる - Qiita
はじめに TensorFlowを試す時間ができたので、いろいろ試してみたいと思っています。 サンプルデータが付属していたり、本家のチュートリアルが非常に充実しているので、本当にすぐ試すことができて凄いですね。 今回は、MNISTのデータを使ってAutoEncoderをやってみようと思います。 AutoEncoderに関する情報は既にたくさんありますが、例えば http://vaaaaaanquish.hatenablog.com/entry/2013/12/03/033850 の解説はわかりやすいと思います。 今回はAutoEncoderのアルゴリズム的な追求というより、TensorFlowを使い慣れることを目的としているので、あまり細かいことは気にしてないです(活性化関数とかノイズ入れるとか)。 Version Mac OS: 10.11.1 python 2.7.9 matplotli
Variational Autoencoder徹底解説 - Qiita
とします。これはReconstruction Errorと呼ばれます。入力したデータになるべく近くなるように誤差逆伝播法で重みの更新を行うことで学習することができます。 1-2. Variational Autoencoder(VAE) VAEはこの潜在変数$z$に確率分布、通常$z \sim N(0, 1)$を仮定したところが大きな違いです。通常のオートエンコーダーだと、何かしら潜在変数$z$にデータを押し込めているものの、その構造がどうなっているかはよくわかりません。VAEは、潜在変数$z$を確率分布という構造に押し込めることを可能にします。 イメージは下記です。 まだよくわかりませんね。実際にプログラムを動かしたものを見ると少しイメージが湧くかと思います。 まずは入力と出力を対比させてみます。（これは$z$の次元を20に設定して学習したものです。）ちょっとぼやっとしていますが、元の形
機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]
自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすことなく、また何の目的もなくブログを分析してみることにしました。今回は以前から興味のあった機械学習を用いたブログの文章の分析・可視化（テキストマイニングと呼ばれるらしいです）にチャレンジしてみることにしました。どちらかというとテキストマイニングが主で、使用する素材（学習データ）に困ったので仕方なく自分のブログを使ってみたというのが正直なところです。 ネットでコピペすりゃ簡単にできるだろと思っていたのですが、自分のやりたいことするのはそれなりに大変だったので、知見としてやり方とどんなことが分かるのかを残しておきます。 ブログのテキ
![機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/53baca70fcdf8a36bdde0cca3f5f5bb458dd6502/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F39108ba4d9212baac1dbca353b64e95fe71fc61b%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180208%252F20180208010932.png)
ニューラルネットの学習過程の可視化を題材に、Jupyter + Bokeh で動的な描画を行う方法の紹介 [Jupyter Advent Calendar 2017] | LESS IS MORE
ニューラルネットの学習過程の可視化を題材に、Jupyter + Bokeh で動的な描画を行う方法の紹介 [Jupyter Advent Calendar 2017] 前置き Jupyter Advent Calendar 2017 14日目の記事です。この記事は、Jupyter notebookで作成したものをnbconvertでmarkdownに変換し、手で少し修正して作りました。読み物としてはこの記事を、実行するにはノートブックの方を参照していただくのが良いかと思います。 ノートブック (gist) nbviewer 概要 適当なニューラルネットの学習過程の可視化（ロス、正解率の遷移等）を題材にして、Bokehを使って動的にグラフを更新していくことによる可視化の実用例を紹介します。このノートブックの冒頭に、最後まで実行すると得られるグラフ一覧をまとめました。どうやってグラフを作るのか
![ニューラルネットの学習過程の可視化を題材に、Jupyter + Bokeh で動的な描画を行う方法の紹介 [Jupyter Advent Calendar 2017] | LESS IS MORE](https://cdn-ak-scissors.b.st-hatena.com/image/square/30305c278f50a8a35b512fe1c5e02d0b2bf1fe04/height=288;version=1;width=512/https%3A%2F%2Fr9y9.github.io%2Fmedia%2Ficon_hu71488a41e9448d472219f1cc71ecc0ad_259818_512x512_fill_lanczos_center_3.png)
[Python]強化学習(DQN)を実装しながらKerasに慣れる - Qiita
はじめに この記事はいまさらながらに強化学習(DQN)の実装をKerasを使って進めつつ，目的関数のカスタマイズやoptimizerの追加，複数入力など，ちょっとアルゴリズムに手を加えようとした時にハマった点を備忘録として残したものです．そのため，DQNの解説記事というよりも初心者向けKerasTipsになります． 実行環境 Python3.5.2 Keras 1.2.1 tensorflow 0.12.1 DQNとは DQN(DeepQNetwork)がDeepMindから発表されて2年以上経つので，もはやいたる所に解説記事や実装サンプルがあり，ここでの詳しい解説は不要だと思います．が，ざっくり言うと，Q-Learningという強化学習手法のQ関数部分を，深層学習により近似することで、動画像から直接Q値を推定することを可能にした学習手法です． DQNの理論としては ゼロからDeepまで学
![[Python]強化学習(DQN)を実装しながらKerasに慣れる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/773bd14b547c7947b7dd6fba6003f5d6d71a0135/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJUU1JUJDJUI3JUU1JThDJTk2JUU1JUFEJUE2JUU3JUJGJTkyJTI4RFFOJTI5JUUzJTgyJTkyJUU1JUFFJTlGJUU4JUEzJTg1JUUzJTgxJTk3JUUzJTgxJUFBJUUzJTgxJThDJUUzJTgyJTg5S2VyYXMlRTMlODElQUIlRTYlODUlQTMlRTMlODIlOEMlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWU2MGY2YjQ3OTUyYzA0ZWE0MzEzYWJiOWQxZTg4OTNm%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dWtpQiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmUzODc2ZTk3MWM5YTdjNGFlYWUzNWZjMDZhMzcxYjQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OG44Oz44Kv44O8%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D0275a3de2a5a242ca538cec406289f2c)
Rubias19 porno gratis
porno ordenados por categorías: videos gratis de lesvianas maduras seduciendo jovencitas, video de sexo en traje tipico san marcos, me corro accidentalmente dentro de la novia de mi amigo, videos de fuertes, video de sexo mujer bonita con negro, en el carro yuporn porno, xxxxno se ocogen ala doctora, gang bang maduras, videos de chavos gay violados porno, porno de ana ibon, www ruvias nalgonas por
機械学習で共有スペース利用状況の解析 - Qiita
きっかけ 2017/05/08に僕が勤務するgifteeオフィスが移転しました。 新しいオフィスではソファー席やファミレス席など、 いろいろなタイプの共有スペースが増えました。 https://www.wantedly.com/companies/giftee/post_articles/64703 そこで、どのタイプの共有スペースがどれくらい利用されているか把握したい との要望があがってきたため、利用状況の取得方法について検討することにしました。 検討 利用状況の把握に人感センサーや、感圧センサーなどの使用も候補にあがりましたが、 人感センサーでは人数まではとれなさそうなこと、 感圧センサーでは席ごとにセンサーが必要になってしまうため、 共有スペース毎に定期的に写真を撮影して、そこに写っている人数を計測する方法にしました。 人数解析方法 画像から人数の取得については機械学習フレームワーク
【お勉強してみた】RANSACのおはなし - Qiita
三行で 自然界のデータにはたくさんノイズがある ノイズがあると、法則性をうまく見つけられないことがある そんなノイズをうまく無視するのがRANSAC こんにちは。今日は大学院でやっているの情報学に関するネタをお送りします。 先日ふと、「そういえばちゃんと勉強したことがなかったなぁ」と思い立ったので、RANSACを勉強 & 実装してみました。 RANSACとは 大学院の研究で画像などの自然界のデータをとっていると、ノイズなどの原因で法則性から大きく外れて現れた「外れ値」がデータ中に含まれることがあります。外れ値は、データから法則性を見出す時に邪魔をします。そんな時に、外れ値をうまく無視して法則性(パラメータ)を推定をする手法がRANSACです。 ...なんて概念の話では分かりにくいので、具体例を見てみましょう。以下、法則性を「モデル」と読み替えます。 直線のモデル推定 与えられた点群から、そ
今季見るべきアニメを機械学習で推薦する - はこべにっき ♨
Coursera で機械学習に入門成功できたので応用に挑戦してみました。ちょうど季節の変わり目ということで、過去に見て気にいったアニメの特徴を学習して、未知のアニメを、気にいりそうなアニメと気にいらなそうなアニメに分類するツールを作って、ソフトウェアに今季見るべきアニメを推薦してもらいたいと思います。 アニメの特徴量 あるアニメを気にいるかどうかは、話のおもしろさや、絵柄の感じ、キャラクターの魅力などによって決まりそうです。ただ、話のおもしろさや、絵の美しさ、キャラクターの魅力を特徴量として数値化するのはむずかしいので、アニメの映像を制作しているスタッフや会社、声を当てているキャストにフォーカスすることにしました。 Courseraの機械学習のコースでは、特徴として妥当かどうかを判断するのに、人間が同じ特徴を与えられて分類といったタスクが可能かを考えてみよとアドバイスしていました。アニメ作
カドカワドワンゴから1文字ずつ非復元抽出/復元抽出して"カドカワ"を含む文字列ができる確率を求めてみた - 唯物是真 @Scaled_Wurm
最近KADOKAWA・DWANGOがカドカワになるというニュースがありました KADOKAWA・DWANGO、10月1日より「カドカワ株式会社」に社名変更…経営統合を内外に強く示すため | Social Game Info KADOKAWAとドワンゴの経営統合を内外に強く示すため、両社の音を組み合わせたという。「カ」：KADOKAWAのKA、「ド」：ドワンゴのド、「カ」：KADOKAWAのKA、「ワ」：ドワンゴのワになる このニュースをみて以下のような2つの問題を考えてみたので、解いてみます 文字列"カドカワドワンゴ"をランダムに並び替えた時、その文字列中に"カドカワ"が連続して含まれる確率を答えよ— 無限猿(id:sucrose)@17月病 (@Scaled_Wurm) 2015, 5月 28 "カドカワドワンゴ"のそれぞれの文字が書かれた8枚のカードがある。 カードをシャッフルして1枚
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Simple MNIST Autoencoder in TensorFlow · Gertjan van den Burg
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
声優の声を分類してみた - Qiita
