対話モデルの訓練/評価フレームワーク ParlAI がすごい - ディープラーニングブログ
こんにちは，Ryobot です． 本稿では ParlAI の基本的な使用法やユーザーが独自に定義できるエージェントの実装方法を解説しました． 以下，PyTorch, Chainer, TensorFlow によるエージェントの実装例を GitHub にて公開したので適宜ご覧ください． ParlAI Agent examples with PyTorch, Chainer and TensorFlow 目次 ParlAI とは？ インストールから example 実行まで ParlAI Agent の実装方法 1. 実装の流れ 2. PyTorch で RNNAgent を実装する 3. Chainer で RNNAgent を実装する 4. TensorFlow で RNNAgent を実装する 5. PyTorch で AttentionAgent (seq2seq with Atten
【ディープラーニング】最新のディープラーニングを一通りさらっておく - あれもPython,これもPython
ぼけっと、色々な記事を読んでいたら、 先日AlphaGo（っぽい)レポジトリを紹介していた時に出てきた、 Kerasというモジュールの紹介記事を見かけた。 esu-ko.hatenablog.com aidiary.hatenablog.com 色々なDeepLearningのKeras版レポジトリも元記事位は付いているので、 Chainerで書き直したら勉強になりそ−、とは思うんだけど、 そもそも何かを知っていないとお話にならないので、その調査メモ。 Gaussian-Bernoulli RBM 連続値を処理したいときの制約ボルツマンマシン Chapter 8 ボルツマンマシン - 深層学習本読み会 補助関数法によるGaussian-Bernoulli RBMの 学習アルゴリズムの検討 制約つきボルツマンマシン (RBM; Restricted Boltzmann Machine) の私
自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
畳み込みニューラルネットワークによるテキスト分類を TensorFlow で実装する · けんごのお屋敷
先日、九工大や東工大などの学生さんが LINE Fukuoka に遊びにきてくれました。せっかく学生さんが遊びに来てくれるので LINE Fukuoka の社員と学生さんとで LT 大会をやろうという運びになって、学生さんは普段やっている研究内容を、LINE Fukuoka 側はなんでも良いので適当な話を、それぞれやりました。当日は私を含む LINE Fukuoka の社員 3 人と、学生さん 2 人の合計 5 人が LT をしました。詳細は LINE Fukuoka 公式ブログに書かれていますので、興味のある方は御覧ください。 [社外活動/報告] 学生を招いてのエンジニア技術交流会を開催しました。 LT に使った資料は公開してもいいよ、とのことだったので、せっかくなので公開。当日はテキスト分類のデモをやったのですが、残念ながらデモ環境までは公開できませんでした。ただ、ソースコードは gi
自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
Neural Networkでの失敗経験やアンチパターンを語る - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は珍しくNeural Networkを使っていく上での失敗経験について語ります。 学習の時に案外、失敗するのですが、だいたい原因は決まっています。そう大体は・・・ ということで、今回は失敗の経験、アンチパターンのようなものを書こうと思います。 Trouble1：学習時にNanを叩き出す。 原因1 cross-entropy誤差を使っている。 原因2 結果が小さすぎて、0と認識される。 原因3 重みがあらぬ方向へ学習する。 Trouble2：収束しない 原因1 学習率が高すぎる 原因2 学習率が低すぎる 原因3 適切な誤差関数ではない 原因4 活性化関数を誤った 原因5 そもそも入力が誤っている Trouble3：Validation Scoreが低い 原因1 過学習しているにも関わらず、気づかなかった。 原因2 与えるデータとラベルの1対
Google、ディープラーニングをサポートした機械学習ライブラリ「TensorFlow」をオープンソースで公開
Googleは、脳の活動を模したニューラルネットワークによって学習を実現する「ディープラーニング」をサポートした機械学習ライブラリ「TensorFlow」をオープンソースで公開しました。ライセンスはApache 2.0オープンソースラインセンスです。 Googleはすでに数年前からディープラーニングを同社のサービスに組み込んでいます。「私たちが社内でディープラーニングの基盤である「DistBelief」を開発したのは2011年のことだ」（ブログ「TensorFlow - Google’s latest machine learning system, open sourced for everyone」から）。 TensorFlowは、このDistBeliefをさらに強化したものだと説明されています。 TensorFlow is general, flexible, portable, e
Autogradという野郎が乗り込んできたのでガクブルな件 - Qiita
Autogradという野郎が乗り込んできました。はい、そりゃもういきなり。複雑な確率モデルや損失関数だとしても、パラメータに関する勾配をこれでもかというぐらい簡単に計算できちゃうので、機械学習の世界に大きな影響を与えそうです。現時点では、PythonとTorchでの実装が公開されているようですが、これからJuliaなど他の言語でも実装されていきそうですね。 （補足：この記事を書いたすぐ後にGoogleがTensorFlowなるものを出してきまして、そちらでも自動微分がしっかり実装されてるみたいです〜。機械学習関連のフレームワークは移り変わりが激しいですねー ^^; ） ちなみに始まりはこんな感じでした。 ゆるいですね。 とりあえずチュートリアルやりながら、Python版チュートリアルの前半部分にテキトーな日本語訳をつけたので、ここでシェアしておきます。英語が読める方は、僕のヘンテコな日本語
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TensorFlowを使ってテキストをクラス分類してみたら精度96.8%の分類器を簡単に得ることができた話
ディープラーニング－畳み込みニューラルネットワークとPythonによる特徴抽出 | POSTD