【DL輪読会】Hyena Hierarchy: Towards Larger Convolutional Language Models
![Character level CNN [CNNで自然言語処理]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1719e0fbc60acb8ab0919dea94580e406b368579/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdevsumi1-180730024610-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Character level CNN [CNNで自然言語処理]
【DL輪読会】Hyena Hierarchy: Towards Larger Convolutional Language Models
ニューラルネットワークが「何を見ているか」を可視化する Activation Atlas
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads 71 Ads API 11
CNNを使った分類問題の判断根拠（画像編） - JX通信社エンジニアブログ
この記事は JX通信社Advent Calendar の 12 日目です。 FASTALERT チーム機械学習エンジニアの mapler です。FASTALERT の機械学習とサーバーサイドの開発をしています。 FASTALERT（ファストアラート）は、SNSから事件･事故･災害等の緊急情報を検知し、配信する緊急情報配信サービスです。その処理の中でも画像認識は欠かせない存在です。 今回お話しするのは CNN （Convolutional Neural Network，または畳み込みニューラルネットワーク） というニューラルネットのモデルです。CNN は行列の空間情報を捉えるため、特に画像認識分野では非常に有効な手法です。 from Performing Convolution Operations CNN の解釈性 ニューラルネットワークはとても有効な一方、その根拠が解釈しにくいとよく言わ
Using Topological Data Analysis to Understand the Behavior of Convolutional Neural Networks - KDnuggets
Using Topological Data Analysis to Understand the Behavior of Convolutional Neural Networks Neural Networks are powerful but complex and opaque tools. Using Topological Data Analysis, we can describe the functioning and learning of a convolutional neural network in a compact and understandable way. By Gunnar Carlsson, Ayasdi. Introduction Neural networks have demonstrated a great deal of success i
数えきれないほどの分類を行うExtreme Classification - Technical Hedgehog
本記事では分類タスクの一種であるExtreme Classificationの代表的な手法と特徴を紹介します。機械学習においてアヤメの分類など10数個までのラベルやクラスへの分類タスクはチュートリアルなどで多く取り上げられています。 一方で商品をカテゴリに分類したい場合など大量のラベルやクラスで分類したい場合、既存手法では計算量が膨大になるなど様々な問題に直面します。そこで大量のラベルやクラスを用いて分類を行うタスクをExtreme Classificationと呼び研究が進められています。 Extreme Classificationとは？ Extreme Classificationは10万〜100万にも及ぶ膨大なラベルやクラスを用いて対象を分類するタスクです。このタスクは少なくとも10年以上前から研究が行われており、学会のワークショップなどでも取り組まれています。直近ではNIPS E
文字レベルの畳込みニューラルネットワークによる文書分類 - Ahogrammer
はじめに 自然言語処理で文書分類は最も基本的なタスクの一つです。 文書分類は、SNSに対する評判分析、ニュースのジャンル分類、メールのスパムフィルタや文書の著者推定といった問題の解決に使われています。 このように基本的なタスクである文書分類は広く使われています。 最近では、文書分類に対するニューラルベースのアプローチとして、単語レベルのRNNが広く使われています。 RNNを使うことで、広い文脈と単語の出現順序を自然な形で考慮することが可能になります。 この性質により、RNNベースの手法は文書分類で良い性能を示してきました。 しかし、単語レベルのRNNには2つの問題が挙げられます。 一つ目は、RNNは計算を並列化し難いため、計算の高速化が難しいということです。 二つ目は、単語レベルの入力がSNS等のユーザ生成コンテンツ(UGC: User-Generated Content)に対して弱いとい
深層学習の畳み込み層の処理は「畳み込み」じゃなかった件 - tdualのブログ
畳み込み層の処理は厳密には畳み込みではなかったのか・・・ 畳み込み層 畳み込み層の処理 数学で言うところの畳み込み 畳み込みの定義 畳み込み層の処理と比較 相互相関 相互相関と畳み込みの相違点 交換律 フーリエ変換 相互相関の意味 畳み込み層に「畳み込み」を適応するとどうなるのか？ 終わりに 畳み込み層 畳み込み層の処理 畳み込み層ではインプットの画像データに対して重みを掛けてアウトプットします。この重みをカーネルと呼びます。 実際の計算は図1のようになっています。 図1. 畳み込み層の処理インプットデータの一部にカーネルを適応してその適応された部分で行列の内積を取っています。式でかくと次のようになります。 アウトプットされた行列のi,j成分を, インプットされた行列のi,j成分を, カーネルのi,j成分をとすると 数学で言うところの畳み込み 畳み込みの定義 ２次元の畳み込みは次のように定
青空文庫で作者っぽさ判定（KERAS ＋ character-level cnn） - Qiita
青空文庫のテキストを利用して、任意の日本語文の作者っぽさを判定するモデルを作ってみました。 https://github.com/shibuiwilliam/aozora_classification 動機 2017/02のTFUG #3に参加したのですが、Rettyの中の方がcharacter-level convolutional neural networkをしていて、これで火がつきました。 https://tfug-tokyo.connpass.com/event/49849/ 元ネタとなったQiitaの記事はこちらです。 とても勉強になりました。ありがとうございます。 http://qiita.com/bokeneko/items/c0f0ce60a998304400c8 なおcharacter-level cnnの論文はこちらです。 https://papers.nips.cc
【テキスト分類】Convolutional Neural NetworksにAttention機構を使ってみた。 - Qiita
例えばこの文の評価極性（ポジティブかネガティブか）を決めたい時に、人間なら最悪が含まれる後ろの節まで見てネガティブと判断しますが、 Attention機構も同じように、美人、(スタイルが)良いという部分よりも最悪という部分をより重要視することができます。 元々は機械翻訳で発表されたものです。 Neural Machine Translation by Jointly Learning to Align and Translate[Bahdanauら,ICLR2015] もっと詳しく知りたい方はこちらの記事が分かりやすいです。 CNNにAttention機構 Attention機構は機械翻訳で発表されて以降、自然言語処理の様々なタスクで使われていきました。 ただ、そのほとんどがLSTMやGRUを適用したRNNの手法です。 なので、今回は評価極性分類タスクでCNNにAttention機構を使っ
CNN、RNNで文章分類を実装してみた
深層学習において文脈情報を学習させる方法としては、再帰的ニューラルネットワーク（RNN）を用いる方法と畳み込みニューラルネットワーク（CNN）を用いる方法があります。 今回はそれぞれの方法で、文章を学習させてラベル分類を行うモデルを、Chainerを使って実装しました。 RNNによる文章分類モデル RNNは系列データを学習させることに適したニューラルネットワークです。 文章データは、文字や単語の時系列とみなすことができますので、文字や単語を値として捉えて文章の順番にしたがって入力することで、文脈情報を学習させることができます。 今回はネットから適当に拝借した英語の短文を用意し、それが質問かそうでないかを分類するモデルを実装してみました。 ここで、トリミングで記号を削除することで、「？」も削除することで、文脈情報のみから分類してみます。 data = [ ["Could I exchange
艦これのセリフ分類をCNNでやる - にほんごのれんしゅう
（2017/2/24追記. いろいろ試したんですが、objective functionをcategorial cross entropyからpoissonに変更し, softmaxの出力をlogを取ることで、急峻なスパイクを抑えることができある程度改善しました ） 艦これのセリフ分類をCNNでやる 幾つかの基礎と、業務で使用できるかどうかの調査した結果、CNNでのテキスト分類が最近評判が良いことがわかった。 RNNが負けると言われていた分野は分類とか識別の部分で、テキストの生成や連続系ではまだ、RNNが有利であると思う。 ディープラーニング以前のアルゴリズムは変数の重要度に対しての解釈をする方法が、ある程度ノウハウが蓄積されており、変数の係数や、決定時の出現する変数の頻度でそれっぽく解釈はできたが、ディープラーニングは中身がうかがい知れない事が多い。しかし、性能は高いとされている[1]
画像処理の数式を見て石になった時のための、金の針 - Qiita
画像処理は難しい。 Instagramのキレイなフィルタ、GoogleのPhoto Sphere、そうしたサービスを見て画像は面白そうだ！と心躍らせて開いた画像処理の本。そこに山と羅列される数式を前に石化せざるを得なかった俺たちが、耳にささやかれる「難しいことはOpenCVがやってくれるわ。そうでしょ？」という声に身をゆだねる以外に何ができただろう。 本稿は石化せざるを得なかったあの頃を克服し、OpenCVを使いながらも基礎的な理論を理解したいと願う方へ、その道筋(アイテム的には金の針)を示すものになればと思います。 扱う範囲としては、あらゆる処理の基礎となる「画像の特徴点検出」を対象とします(実践 コンピュータビジョンの2章に相当)。なお、本記事自体、初心者である私が理解しながら書いているため、上級画像処理冒険者の方は誤りなどあれば指摘していただければ幸いです。 画像の特徴点とは 人間が
府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまった論文を読んだ - Qiita
Deep Learning Advent Calendar 2016の20日目の記事です。 ConvNetの歴史とResNet亜種、ベストプラクティスに関連スライドがあります（追記） 背景 府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまったようです。 M2の学生が趣味でやっていたCIFAR10とCIFAR100の認識タスクで，現時点での世界最高性能の結果を出したそうだ…趣味でっていうのが…https://t.co/HKFLXTMbzx — ニーシェス (@lachesis1120) 2016年12月7日 府大のプレスリリース 一般物体認識分野で、府大生が世界一の認識精度を持つニューラルネットワークを開発 黄瀬先生の研究室の学生さんだそうです。凄いですね！ ちょうどResNet系に興味があったので、読んでみます。この論文を理解するには、ResNet, (Wide
iOS 10とMac OSにおけるニューラルネットワーク | POSTD
Appleは、長年、自社製品に機械学習を使っています。例えば、Siriは、あなたの質問に答え、楽しませてくれます。iPhotoは、写真の中の顔を認識します。メールアプリは、スパムメッセージを検知します。アプリ開発者なら、 顔認証 のようにAppleのAPIで公開されている機能の幾つかを利用できます。iOS 10から始めて、音声認識やSiriKit用のハイレベルAPIを入手しましょう。 時々、プラットフォームに内蔵されているAPIの狭い領域を超えて、独自のものを作りたいと思うこともあるでしょう。多くの場合は機械学習を始動させますが、その際、たくさんの既成のライブラリのうちの1つを使ったり、高速計算能力を持つAccelerateやMetalの上に直接組み上げたりして実現します。 例えば、私の同僚が構築したオフィス入室システムは、iPadを使って顔認証を行い、SlackにGIF画像を投稿して、ユ
自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Characeter-Level CNN
GitHub - yu4u/convnet-drawer: Python script for illustrating Convolutional Neural Networks (CNN) using Keras-like model definitions
TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 - Speaker Deck
CNNによるテキスト分類