TensorFlowでニューラル会話モデル - Qiita
以前の記事ではTensorFlowを使って英語から日本語に翻訳するニューラル翻訳モデルを訓練しましたが、今回は最近のチャットボットブームに乗っかって（？）、ニューラル会話モデルを訓練してみました。 環境 環境は以前の記事と同じですが、今回はAWSのスポットインスタンスを使うことでコスト削減を図りました。 TensorFlow 0.9 AWS g2.2xlarge spot instance Ubuntu Server 14.04 Python 3.5 データ ニューラル会話モデルを訓練するためには、発言とその発言に対する返信のテキストデータが必要になります。ここではTwitterのリプライを収集スクリプトを書き、1.3Mほどのツイートと返信先のペアを収集しました。ツイートからユーザ名、ハッシュタグ、URLは削除され、例えば次のようなペアが得られます。 返信先ツイート ツイート
【まさかの】ChainerでLSTMを使ってナンバーズの予測をする【当選】 - Qiita
前置き(読み飛ばしていいです) 古巣(某ISP)が定期的にハッカソンを開催していて、ありがたいことに毎回お声掛け頂いています。 特にテーマは無い、もくもく会的なハッカソンです。 毎回美味しいお弁当が出ますが、今回は量は満足でしたが、質がいまいちでした やりたいなーと思っててやる時間がなかったことを毎回やってます。 今回はLSTMを使ってナンバーズの予測をやりました。 ナンバーズ 数字選択式宝くじ 平日は毎日抽選が行われる 数字を3つ選ぶナンバーズ３と、4つ選ぶナンバーズ４がある 数字と並びの両方を当てるストレート、並びは関係なく数字だけを当てるボックス、ストレートとボックスに半々にかけるイメージのセットがある。 当選金額は ストレート >> セットのストレート > ボックス > セットのボックス みたいなイメージ ナンバーズに関するオカルト「ひっぱり現象」 同じ数字が何回かにわたって連続し
ChainerでオセロのAIをつくってみる ～前編～ - Qiita
はじめに 以前、「Pylearn2で三目並べのAIをつくってみる」という記事を書きました。 このときは問題を簡単にして三目並べにしましたが、今回はオセロのAIをニューラルネットワークで作成するという当初の目標にチャレンジします。 トライ＆エラーが多い記事になるかもしれませんがご容赦ください。 今回はDeep Learning用ライブラリとしてChainerを使ってみます。 記事は2部構成です。 前編(この記事) 教師データの変換 MLPの設計 モデルのトレーニングと保存 後編 オセロゲームへの実装 プレイアブルかどうかの確認（ルールを逸脱せずにゲームできるか） ここでプレイアブルでないと分かったら、MLPモデルの作成に戻る 後編でAIの実装を行いますが、上手くいかなければ、ニューラルネットワークの構成から考え直すことになります... →動作確認と結論が出ました 教師データの準備 こちらから
Chainerの新機能がすごい勢いで俺のソースコードを抽象化してくる - Qiita
2016年7月12日に，Chainer v1.11.0がリリースされた． Chainer Meetup 03や，Amazon Picking Challenge 2016の準備もあったろうに…なんて速度だ！ （第2位，おめでとうございます https://www.preferred-networks.jp/ja/news/amazon-picking-challenge-2016_result ） この記事では，Chainerの新機能を美味しさと共に紹介していきたいと思う． トレーニング部分のコードが抽象化できるようになった Chainer Meetup 03では，「beam2dさんがゲロ吐きながらTrainコードを抽象化してくれている」という話だった． あれからおよそ2週間，Chainerのコードは変化を遂げた．変化を遂げることを許された． 先日とあるライブコーディングイベントにて私が書
chainerによるディープラーニングでAV女優の類似画像検索サービスをつくったノウハウを公開する - Qiita
環境 PC: MacBook Air CPU: 1.4 GHz Intel Core i5 メモリ: 4GB ふつうのMacBook Airでやったのですが、学習遅いし、メモリ不足で落ちるしでやっぱり辛かったです。 おおまかな流れ 各女優の画像を収集する。 dlibで顔画像を切り取って96×96の大きさにリサイズする。 1人につき1000枚の画像になるようデータ拡張する。 データをnumpyファイルに変換する。 chainerで顔画像を学習する。 学習したモデルから任意の画像の予測をする。 1. 画像を収集する ここは詳しくは書けないので以下の記事を参考にしてください。 Python: BeautifulSoup4 を使って Web サイトをスクレイピングする PythonとBeautiful Soupでスクレイピング 取得した画像は女優ごとにディレクトリを分けて保存します。 import
Chainer 1.5のインストールがうまくいかない人への非公式なTips - Qiita
Chainer 1.6以降で、この記事の問題の大部分は解消しました Chainer 1.5で、外部の依存状況が大きく変わりました。その結果、幾つかの要因でインストールが難しくなりました。この記事では、その対策を書きます。 主な原因 Cythonを使うようになりました。ソースの一部は.pyxファイルになり、.cppを生成して.soにビルドしています（1.5.1でcythonize済みの.cppファイルを同梱しています） CUDAやcuDNNなどの共有ライブラリ（.soファイル）もCythonから使うようになりました。今までは、ctypesを使っていました。 h5pyなど、共有ライブラリを必要とするパッケージを利用するようになりました。 順に、何が問題になるのか説明します。 Cythonの利用 Cythonは.pyxで記述したファイルを、.cppに変換（コンパイル）してから、.soファイルを作
Chainerで画像のキャプション生成 - Qiita
概要 Chainerを使って画像のキャプション生成を実装しました。画像を入力するとその説明文を生成します。ソースコードは以下にあります。 https://github.com/dsanno/chainer-image-caption 以下の論文のアルゴリズムを使いました。 Show and tell: A neural image caption generator すでにChainerでキャプション生成を実装されている方もいたので、そちらも参考にしました。 Image caption generation by CNN and LSTM ～ Satoshi's Blog from Bloomington キャプション生成モデル 論文で使用するキャプション生成モデルは大きく分けて3つのネットワークで構成されています。 画像をベクトルに変換する${\rm CNN}$ ${\rm CNN}$に
Chainerで始めるニューラルネットワーク - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Chainerは、Preferred Networksが開発したニューラルネットワークを実装するためのライブラリです。その特徴としては、以下のような点があります(ホームページより)。 高速: CUDAをサポートし、GPUを利用した高速な計算が可能 柔軟: 柔軟な記法により、畳み込み、リカレントなど、様々なタイプのニューラルネットを実装可能 直観的: ネットワーク構成を直観的に記述できる 個人的には、さらに一つ「インストールが簡単」というのも挙げたいと思います。 ディープラーニング系のフレームワークはどれもインストールが面倒なものが多いの
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール# まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.c
CaffeでDeep Learning つまずきやすいところを中心に - Qiita
はじめに 近年Deep Learningへの注目が高まっていますが、多くの場合膨大なデータを必要とすること、学習にはGPU計算環境が必要であったりなど、独特の敷居の高さがあります。この記事では、この敷居を大きく下げるであろうCaffeについて紹介します。ただ、Caffeを紹介する記事はすでに良いものがたくさんあり、そもそも公式documentがかなり充実しているので、今回は躓きやすい部分や他の記事があまり触れていない部分を中心に紹介していきます。 Caffeって何？ CaffeはDeep Learningのフレームワークの一つです。Deep Learningは一般に実装が難しいとされていますが、フレームワークを使えばかなり手軽に扱うことができます。 代表的なフレームワークには、 Caffe theano/Pylearn2 Cuda-convnet2 Torch7 などがあります。この中でも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TensorFlow: Pythonで学習したデータをAndroidで実行 - Qiita
