機械学習とディープラーニングの入門者向けコンテンツまとめ - Qiita
機械学習とディープラーニングについて、入門者向けに解説されているネットと書籍の情報をまとめてみました。 ニューラルネットワークやディープラーニングについては、書籍『ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装』が特におすすめです。 機械学習全般についてなら、書籍『Python機械学習プログラミング - 達人データサイエンティストによる理論と実践』が特におすすめです。 他にもおすすめのコンテンツがありましたら、コメントで教えてください。 【ネット】 やる夫で学ぶ機械学習シリーズ けんごのお屋敷 【ネット】 高卒でもわかる機械学習 頭の中に思い浮かべた時には 【ネット】 機械学習 はじめよう 技術評論社 プログラム言語はPython。 【ネット】 機械学習概論 講義テキスト 書籍『ITエンジニアのための機械学習理論入門』のSlideShareバー
自然言語処理における畳み込みニューラルネットワークを用いたモデル - Qiita
はじめに 最近、畳み込みニューラルネットワーク(CNN)を用いた自然言語処理が注目を集めています。CNNはRNNと比べて並列化しやすく、またGPUを使うことで畳み込み演算を高速に行えるので、処理速度が圧倒的に速いという利点があります。 この記事は、自然言語処理における畳み込みニューラルネットワークを用いたモデルをまとめたものです。CNNを用いた自然言語処理の研究の進歩を俯瞰するのに役立てば幸いです。 文の分類(評判分析・トピック分類・質問タイプ分類) Convolutional Neural Networks for Sentence Classification(2014/08) 評判分析や質問タイプの分類などの文分類を行うCNNを提案している論文。 具体的には文を単語ベクトルの列として表し、それに対してCNNを用いて特徴抽出・分類を行っている。論文では事前学習済みの単語ベクトル(Goo
Deep learningで画像認識③〜ネオコグニトロンとは？〜
Deep learningは、画像認識において大きな成功を収めています。そこで用いられる多層ネットワークは、畳み込みニューラルネットワーク（convolutional neural network：CNN）と呼ばれており、画像認識に適した独特の構造を持っています。 前回（Deep learningで画像認識②）は、CNNがなぜ画像認識に適しているのかを解説しました。 簡単にまとめると、CNNが、われわれの視覚野の神経細胞の２つの働き ①「画像の濃淡パターンを検出する（特徴抽出）」：単純型細胞（以下S細胞） ②「物体の位置が変動しても同一の物体であるとみなす（位置ズレを許容する）」：複雑型細胞（以下C細胞） これらを組み合わせたモデルになっているからです。 この2つの神経細胞の働きを組み込んだ、CNNの初期のモデルは、「ネオコグニトロン」と呼ばれ、日本人研究者の福島邦彦氏が1982年に発表し
Deep learningで画像認識②〜視覚野と畳み込みニューラルネットワーク 〜
前回に引き続き、Deep learningで画像解析についてご紹介します。今回は、畳み込みネットが画像認識に適している理由を解説しようと思います。 画像認識は、Deep learningが成功を収めている分野の一つですが、その多層ネットワークは、畳み込みニューラルネットワーク（以下、畳み込みネット）と呼ばれ、画像認識に適した独特の構造を持っています。 前回(Deep learningで画像認識①)は、この畳み込みネットが、文字認識や医用画像診断などの画像認識においてその力を発揮していることを紹介しました。 今回は、畳み込みネットが画像認識に適している理由を解説しようと思います。 畳み込みネットは、神経科学の知見に基づく構造を持っています。例えば、我々生物の視覚野には、たくさんの神経細胞（ニューロン）があり、外界からの入力に対する反応の違いによって ①単純型細胞 ②複雑型細胞 の2種類のニュ
Deep learningで画像認識①〜Deep Learningとは？〜
Deep learningとは、人間の脳の神経細胞のネットワーク（ニューラルネットワーク）を模倣した情報処理技術です。その活用方法についてご紹介します。 最近、様々な分野でDeep learningと呼ばれる技術が用いられています。 Deep learningとは、人間の脳の神経細胞のネットワーク（ニューラルネットワーク）を模倣した情報処理技術です。Deep learningでは、層が深い（ディープな）ニューラルネットワーク（多層ネットワーク）を組むことによって、画像や音声などに含まれる特徴量をコンピューター自身が発見し、分類のルールを構築することが可能になりました。 従来は、人間がまず特徴量を設定し、その後、その特徴量を基に分類アルゴリズムにかけて分類するという手法でしたが、Deep learningにより、人間による特徴量の設定の必要なくデータ分類が可能になったことは、機械学習技術にお
やさしい深層学習の原理 | TickTack World
それでは、最先端分野である人工知能で利用されている、「深層学習（ディープラーニング）」について、その動作原理を簡単に説明しましょう。この深層学習は、現在最もホットな研究分野なので、毎週のように新しい研究成果が発表されています。このため、ここでの情報も半年も経つと陳腐化してしまう恐れがあります。この「やさしい深層学習」は、できるだけ原理的な概念に留めますので、その点はご了解ください。 深層学習(Deep Learning)とは、機械学習の1種である「ニューラルネットワーク（Neural Network）」の階層を深めたアルゴリズムです。このニューラルネットワークとは、生物の脳の神経細胞（ニューロン）をモデルとしたアルゴリズムで、1940年代から始まる長い研究の歴史があります。 上の図は、このニューラルネットワークの構造を示しています。ニューラルネットワークは、「入力層」、「隠れ層」、「出力層
Convolutional Neural Networkとは何なのか - Qiita
機械学習の世界において、画像といえばConvolutional Neural Network(以下CNN)というのは、うどんといえば香川くらい当たり前のこととして認識されています。しかし、そのCNNとは何なのか、という解説は意外と少なかったりします。 そこで、本記事ではCNNについてその仕組みとメリットの解説を行っていきたいと思います。 なお、参考文献にも記載の通り解説の内容はStanfordのCNNの講座をベースにしています。こちらの講座はNeural NetworkからCNN、はてはTensorflowによる実装まで解説される予定なので、興味がある方はそちらもご参照ください。 CNNはその名の通り通常のNeural NetworkにConvolutionを追加したものです。ここでは、Convolution、畳み込みとは一体なんなのか、という点と、なぜそれが画像認識に有効なのかについて説
CNNを利用した自然言語処理技術まとめ（2017年1月） - 終末 A.I.
年末に Language Modeling with Gated Convolutional Networks が一部界隈でバズったこともあり、CNNを用いた自然言語処理が注目を集め始めています。今年の後半あたりには、派生手法や関連手法が多く登場していくのではないかと思われます。 CNNはRNNに比べて並列処理に優れているため、処理速度が圧倒的に速いという利点がありますが、時系列データの処理に特化したRNNと比べると、特に言語モデルにおいては最終性能がやや劣っているという理解が一般的でした（テキストクラシフィケーションではタスクによってはCNNのほうが性能がいいものもありました）。 Gated Convolutional Networks では、Gated Linear Unit および Residual 層を利用し学習を効率化することにより、WikiText-103 のタスクで stat
米Intel、Apache Sparkベースの深層学習ライブラリ「BigDL」をオープンソースで公開 | OSDN Magazine
BigDLは分散型の深層学習ライブラリ。Apache Sparkプログラムとして深層学習アプリケーションを作成し、既存のSparkまたはHadoopクラスタを活用して動かすことができる。 Luaで作成された学術向けのコンピューティングフレームワーク「Torch」に倣ってモデリングされているのが特徴で、GPUアクセラレーションを使って高速な処理が行える。Tensor経由での数値計算、ハイレベルのニューラルネットワークなどの種類をサポートし、事前にトレーニングされたCaffe（オープンソースの深層学習フレームワーク）やTorch向けの既存モデルを読み込ませることもできる。 性能、効率の良いスケールアウトも特徴で、Intel MKL（Intel Math Kernel Library）とマルチスレッド化されたプログラミングを行うことで、単一ノードのXeonや汎用のGPU上でCaffeやTorch
ディープラーニングによる自然言語処理とチャットBOTの基礎
2017年、ソフトウェア開発の世界は大きな変化の時期にさしかかっています。そうした中でも、多層ニューラルネットワークによる“ディープラーニング”（深層学習）の活用事例が増えているのは注目すべき出来ごとです。こうした変化によって、“人工知能”の実現可能性に関する議論も行えるようになってきたのはご存知のとおりです。しかしながら、いまこれを活用するチャンスに恵まれた人たちの仕事は、あらゆる分野に応用して実装することではないでしょうか？ 本セミナーは“深層学習”を代表するニューラルネットワークモデルであるリカレントニューラルネットワーク（RNN:Recurrent Neural Networks 再帰的ニューラルネットワーク）を取り上げます。リカレントニューラルネットワークの動作を理解することは現在の人工知能の熱狂を正しく理解する鍵となる概念です。ここでは、系列情報、制御、予測を行う手法を解説し、
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
DeepLearning4J + Scalaで機械学習
DL4Jをバリバリ使ってる人は日本にあまり居ない？ような気がしてきたので、1か月弱くらい色々使ってみた感触などを述べてみる。 DeepLearning4Jってなんだ 公式サイトとかGitHub見てくれ。以下DL4Jと記載。 何が出来るんだ 最近の機械学習系の大体の事は出来るような気がする。RNN（LSTM. GRUは実装中）、Word2Vec、FeedFoward、CNN、RBM（Deep Belief Nets）、AutoEncorderなど。 他のライブラリと何が違うんだ 型付き言語（JVM言語）で組める。他の機械学習ライブラリはC++とか特にPythonが多い。C++は単純に書くのがしんどい。Pythonも悪くは無いのだけど、私にとってはもはやScalaの方が使いやすい（使い慣れてる）のでできればScalaで組みたい。あと、コンパイルされる言語なので数値計算以外の部分はJVMの方がP
CNN による画像分類で使われる前処理・テスト時処理まとめ - iwiwi 備忘録
とりあえず ImageNet 系の論文で、目に入ったものから順々にまとめていきます。情報・ツッコミ歓迎。 前処理・Data Augmentation Mean Subtraction 入力画像から平均を引く。[103.939, 116.779, 123.68] を各ピクセルから引く。VGG はこれ。 Per-pixel Mean Subtraction 入力画像から平均を引く。ピクセル・チャンネルごとに計算された平均を引く。即ち、224x224x3 個の値について個別に平均を計算し用いる。AlexNet 論文から使われており、ResNet もこれ。 Random Crop 256x256 ピクセルに画像をリサイズし、そこから 224x224 のパッチをランダムに取り出す。AlexNet 論文で使われていた。ちなみに Chainer の ImageNet サンプルはこれと Horizonta
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
既存の日本語述語項構造解析では，形態素解析や構文解析を行い，それらの情報に基づいて各述語の項を予測していた．しかし，パイプライン処理に起因する誤り伝搬や，人手による素性設計コストの上昇などが問題点となっている．本研究では，深層リカレントニューラルネットワークを利用し，単語などの表層情報のみを用いて述語項構造解析を行う手法を提案する. また，複数の述語を同時に考慮して述語構造解析の精度を向上させるために，述語ごとのモデルをグリッド上に連結した深層リカレントグリッドモデルを提案する．NAIST テキストコーパスを用いた実験の結果，これまでに報告されている最先端の日本語述語項構造解析器の精度を上回ることを確認した．Read less
府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまった論文を読んだ - Qiita
Deep Learning Advent Calendar 2016の20日目の記事です。 ConvNetの歴史とResNet亜種、ベストプラクティスに関連スライドがあります（追記） 背景 府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまったようです。 M2の学生が趣味でやっていたCIFAR10とCIFAR100の認識タスクで，現時点での世界最高性能の結果を出したそうだ…趣味でっていうのが…https://t.co/HKFLXTMbzx — ニーシェス (@lachesis1120) 2016年12月7日 府大のプレスリリース 一般物体認識分野で、府大生が世界一の認識精度を持つニューラルネットワークを開発 黄瀬先生の研究室の学生さんだそうです。凄いですね！ ちょうどResNet系に興味があったので、読んでみます。この論文を理解するには、ResNet, (Wide
DeepLearning研究 2016年のまとめ - Qiita
DeepLearning Advent Calendar 2016の17日目の記事です。 はじめに はじめまして。 Liaroという会社でエンジニアをしている@eve_ykと申します。 今年もあと僅かとなりました。 ここらで、今年のDeepLearningの主要な成果を振り返ってみましょう。 この記事は、2016年に発表されたDeepLearning関係の研究を広く浅くまとめたものです。今年のDeepLearningの研究の進歩を俯瞰するのに役立てば幸いです。 それぞれの内容について、その要点や感想なんかを簡単にまとめられたらと思います。 特に重要だと思った研究には★マークをつけておきます。 非常に長くなってしまったため、興味のある分野だけ読んでいただければと思います。 言い訳とお願い 見つけたものはコードへのリンクも示すので、プログラミングに関係ある記事ということで… 分野的にかなり偏っ
超素人による『ゼロから作るDeep Learning』の感想。 - D'ac
最近、ようやく勉強する時間が取れるようになりました。 先週末も夫に子どもを丸投げして、仕事に行き、帰ったら勉強。 これで夫が食事の準備をしてくれたら完璧なんだけれど…。贅沢言ったらあかんですね。 さてさて、そんな感じで最近取り組んでいる『ゼロから作るDeep Learning』の感想をまとめておきます。 まだ途中ですが、そろそろ娘が冬休みなのと、猫の発作がひどくなっていっているので、また時間がなくなりそうなので…。 ＊以下は初学者の感想です。まだ深いところとかあんまり理解できていません。同じようにDeepLearning興味あるけど、プログラミングの知識もあんまりない中で、どこから始めたらいいかな…みたいな人はぜひ読んでいってください。 『ゼロから作るDeep Learning』感想。 まだ終わっていませんが、全体的に平易に書かれており、私のような初学者でも今のところ投げ出さず取り組めてい
Deep Learningを用いたサービスまとめ(国内&海外) - Qiita
はじめに Liaroという会社をやってます、花田です。 最初は何か書いて動かそうと思ったのですが、言うて既存の有名所のモデル実装して試して終わりになってしまうので面白くないなと。 なんかそういうのは研究されてるようなもっと詳しい方々がやったほうが見てる方が勉強になるのでそちらはお任せして。仕事柄、普段から海外サービスも含めAIを謳っているものはチェックしているほうなのでそれらをまとめようかなと。 普段メモ書きで残していたものなので雑なのはご了承下さい。 気になった会社/サービスまとめ 画像認識系 Clarifai ニューヨーク：有名どころ。純粋なる画像認識エンジンを開発。動画をアップすると各シーンに写っているものをタグ付けしてくれる。動画像解析APIを提供。 https://www.clarifai.com/ http://wired.jp/2015/02/10/incredible-ai
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する
ディープラーニング（７） - bibble-babble