30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
Convolutional Neural Networkに対する攻撃手法 -誤分類の誘発- | 技術者ブログ | 三井物産セキュアディレクション株式会社
機械学習で画像分類と言えばConvolutional Neural Network（以下、CNN）と言われるくらいCNNは物体認識に広く使われており、Googleの画像検索やFacebookの顔認識、また、自動運転自動車などで実用されています。 本記事では、このCNNへの入力画像を人間の目には分からないくらいに微妙に細工することで、CNNの画像分類を誤らせる攻撃手法を紹介します。 なお、本記事の元ネタは、Samsung Research AmericaのNina Narodytska氏とShiva Prasad Kasiviswanathan氏がarXivにポストした論文「Simple Black-Box Adversarial Perturbations for Deep Networks」です。興味のある方は一読することをおススメします。 Figure 1は、論文から抜粋したCNNによ
Google、機械学習をスマートフォンだけで処理する低遅延、低電力の画像認識技術におけるコンピュータビジョンモデル「MobileNets」をGitHubにて公開
Google、機械学習をスマートフォンだけで処理する低遅延、低電力の画像認識技術におけるコンピュータビジョンモデル「MobileNets」をGitHubにて公開 2017-06-15 Google Researchは、スマートフォンに基づいた機械学習による視覚認識技術において、スマートフォンが大量の電力消費を必要とせずに画像をよりよく認識できるよう支援するTensorFlowベースのモデルセット 「MobileNets」をオープンソースとしてリリースしました。 現在、Google Cloud Vision APIを通して、スマートフォンで捉えた画像から、分類したり、個々の物体や人の顔を検出したり、画像内に含まれているテキストを検出し読み取ったり、画像カタログのメタデータ作成、不適切なコンテンツの管理、画像の感情分析といったモバイルにおける機械学習モデルの視覚認識技術を提供しています。 こう
Kaggleまとめ:BOSCH(kernels) - Qiita
はじめに 過去に参加したKaggleの情報をアップしていきます． ここでは，BOSCHのカーネルで公開されていた便利なコードをピックアップします． コンペ概要や優勝者のコードに関しては，Kaggleまとめ:BOSCH(intro+forum discussion)，Kaggleまとめ:BOSCH(winner)にまとめており，こちらはサンプルコードを交えたデータの解析結果をまとめたものになります． 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています． jupyter notebook上で動作確認済みです．(%matplotlib inlineは適当に修正してください) サンプルスクリプトを実行した際にエラー等あった場合は，コメント
自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷
最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。 以下
代表的な機械学習手法一覧 - Qiita
概要 本ページは、代表的な機械学習の手法の特性について独自に簡単にまとめたページです。 （ご意見、ご指摘等あったらご連絡ください。） 世の中のスタンダードなものとして下記もあるので、それを踏まえてご参照いただければと思います。 - ScikitLearn Choosing the right estimator - Microsoft Azure Machine Learning Studio の機械学習アルゴリズム チート シート - 朱鷺の杜Wiki 機械学習 教師データあり 回帰 (一般化)線形回帰 ロジスティック回帰 サポートベクターマシーン(SVM) 木 決定木（CART) 回帰木 ランダムフォレスト 勾配ブースティング木 ニューラルネットワーク(NN) パーセプトロン 畳み込みニューラルネットワーク(CNN) 再起型ニューラルネットワーク(RNN) 残差ネットワーク(ResNe
Tuning Recurrent Neural Networks with Reinforcement Learning
Tuning Recurrent Neural Networks with Reinforcement Learning Nov 9, 2016 Natasha Jaques natashamjaques We are excited to announce our new RL Tuner algorithm, a method for enchancing the performance of an LSTM trained on data using Reinforcement Learning (RL). We create an RL reward function that teaches the model to follow certain rules, while still allowing it to retain information learned from d
IBMの人工知能「ワトソン」、医者が思いもよらぬ治療法を続々発見（小林 雅一） @gendai_biz
社運を賭けることへの懸念も その一方で、IBMがあまりにも強くワトソン事業にコミットしていることには懸念の声も聞かれる。 たとえば最近も有名な米コンサルティング会社を買収し、彼らが蓄えた金融規制に関する膨大なデータをワトソンに読み込ませて、その分野のエキスパートに仕立てようとしている。が、このような企業買収を繰り返せば、相当のコストがかさむ。 また、そうした巨額の資金だけでなく、IBMはワトソン事業に推定1万人もの社員を投入している。つまり総合的に見て、IBMはワトソンを次世代の基幹ビジネスと位置づけ、これに社運をかけているのだ。 これに対しては、実は当初から賛否両論が聞かれ、今に至るまで評価は定まっていない。 繰り返しになるが、昨今の加熱気味のAIブームとは裏腹に、この分野で真に技術革新があったのは「パターン認識」など一部領域に限定されており、それが今後「自然言語処理」など、より高次の知
機械学習を学ぶ上で抑えておきたい数学２ - HELLO CYBERNETICS
機械学習や深層学習を学ぶ上で、数学は言語である 線形代数学 行列とベクトルは連立方程式を解くための記法 機械学習での活躍 どこまで学ぶか 最適化数学 学習とは 教師あり学習 教師なし学習 最適化を行う際の重要ワード「正則化」 どこまで学ぶ必要があるか 確率・統計 最低限知っておくべき定理や性質 最低限知っておくべき推定法 確率分布には見慣れるしかない 何に役立つのか 情報理論 情報を確率で記述する 何に役立つのか 情報幾何学 発祥は日本 機械学習での役割 海外での方が有名？ 機械学習や深層学習を学ぶ上で、数学は言語である 以前、学びたい機械学習のレベルに応じて、どんな数学が必要になってくるのかを紹介しました（以下の記事）。 s0sem0y.hatenablog.com そのときにも述べましたが、数学というのは何らかの操作を非常に簡潔に表現してくれます。要するに情報をギュッと圧縮して伝える手
画像認識の性能は圧倒的、他領域ではまだ発展途上
一口にディープラーニング技術といっても、用いられるニューラルネットワークの構造や手法はさまざまだ。画像認識や音声認識、自然言語処理、ロボット制御などタスクごとに使われ方は異なる。ここではそうしたタスクごとにディープラーニング技術の現状を見ていく。 ディープラーニング技術のブームの火付け役となり、最も成果が上がっているのが画像認識である。2012年に「ILSVRC（ImageNet large scale visual recognition challenge）」という画像認識のコンテストで、ディープラーニング技術を用いたチームが既存手法を用いたチームに10％以上の大差を付けて優勝。以来、ディープラーニング技術は世界的な注目を集めるようになった。 ディープラーニング技術を画像認識に用いる場合、現在では「CNN（convolutional neural network）」という構造を用いるこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Unlocking data analytics and machine learning for more businesses | Google Cloud Blog
https://reinforce.io/blog/introduction-to-tensorforce/
https://gradient.paperspace.com/
https://github.com/sbrugman/deep-learning-papers/blob/master/README.md
YouTubeのレコメンデーションアルゴリズムはどのように動くか
NeuroEvolution : Flappy Bird
Googleのニューラルネットワークが自ら暗号化通信を考案
MLDB: The Machine Learning Database - KDNuggets
MLDB Documentation
Announcing YouTube-8M: A Large and Diverse Labeled Video Dataset for Video Under