(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
ディープラーニングの手法「CNN」の画像識別処理がアニメーションで理解できる「CNN Explainer」
「AI」や「機械学習」といった言葉を耳にすることが増えていますが、その仕組みを理解するのは難しいと感じる人もいるはず。ジョージア工科大学のAIに関する研究チームであるPolo Clubが、機械学習の代表的なモデルである畳み込みニューラルネットワーク(CNN)を視覚的に理解できるウェブアプリ「CNN Explainer」を公開しています。 CNN Explainer https://poloclub.github.io/cnn-explainer/ 実際にCNN Explainerを操作しているムービーは以下。 Demo Video "CNN Explainer: Learning Convolutional Neural Networks with Interactive Visualization" - YouTube CNNは機械学習における分類器のひとつで、ニューラルネットワークを用
【期間限定】#今こそ学ぼう オンライン学習コンテンツ「無料公開」のご案内
新型コロナウィルス感染拡大に伴い不要の外出を控える社会人や学生のみなさまに向け、 JDLA認定プログラムを実施する事業者の協力を得て、一部のオンライン学習コンテンツを期間限定で無料公開いたします ＊2020年1月20日に「INTLOOP株式会社」の講座を追加しました ＊12月1日に「エッジテクノロジー株式会社」の講座提供期間を延長しました ＊5月19日に「スキルアップ株式会社」の講座期間定めなし、申込み方法追加しました ＊5月13日に「スキルアップ株式会社」の1講座を追加しました ＊5月1日に「Study-AI株式会社」の3講座を追加しました ＊4月27日に「NTTラーニングシステムズ株式会社」の1講座を追加しました ＊4月24日に「株式会社日経BP」の1講座を追加しました ＊4月17日に「エッジテクノロジー株式会社」の3講座を追加しました ＊4月9日に「株式会社キカガク」の1講座を追加し
Webエンジニアは、いかにAIと向き合うべきか？ 筑波大・人工知能研究室と考えるAIの歴史と未来 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
20年の機械学習・ニューラルネットワーク研究から見えた、人工知能の歴史と未来 人工知能はどのような技術によって進歩し、どのような未来に向かってかじをきっているのでしょうか。今回は20年近く人工知能の研究をしてきた人工知能分野のフロントランナーの方々にインタビューしました。 人工知能ブームを再燃させたディープラーニング。このブレイクをきっかけに、世の中にはさまざまな人工知能関連の情報があふれています。多くのディープラーニングフレームワークに採用されているPythonが盛り上がりを見せ、機械学習やディープラーニングの関連書籍がエンジニア界隈を賑わせました。 そもそも、人工知能はどのような技術によって進歩し、どのような未来に向かってかじをきっているのでしょうか。今回は20年近く人工知能の研究をしてきた方々にインタビューしました。筑波大学で人工知能研究室の室長を務め、同大で「人工知能特論」の講義も
連休中に「ディープラーニングの数学」と「身近な数学」と「Google Colaboratory（Python）」でじっくり数学を復習しました - karaage. [からあげ]
「最短コースでわかる ディープラーニングの数学」「身近な数学」を読む GW（ゴールデンウィーク）中は日経BPさんから献本いただいた「最短コースでわかる ディープラーニングの数学」（以降ディープラーニングの数学）と、ほけきよ（id:imslotter）さんから献本いただいた「身近な数学」と数学と名のつく本2冊をじっくり読みました。 全然違う繋がりで献本いただいた両本ですが、奇しくも同じ「数学」というキーワードがタイトルにあるということで、大胆にもまとめて書評を書いてみたいと思います（笑） また、両者とも付録として、内容の理解を深めるためのPythonコードがGitHubで公開されているのですが「Google Colaboratory」（以降Google Colab）を使うことで、Python環境を構築することなく、手軽にコードを実行できることが分かったので、その活用方法も合わせて紹介しようと
![連休中に「ディープラーニングの数学」と「身近な数学」と「Google Colaboratory（Python）」でじっくり数学を復習しました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1eb74cedf2a908dd2b9ebff4e9cfec4ee41fc670/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190416%2F20190416010937.jpg)
機械学習/ディープラーニング初心者が2018年にやったこと、読んだ論文 - Qiita
2018年もいよいよ本日が最後となりました。皆さんいかがお過ごしでしょうか。この記事では機械学習/ディープラーニング初心者だった自分が2018年にやったことをまとめていきたいと思います。ポエムじみた記事になってしまいましたが、何らかの参考になれば幸いです。 2018年のBefore-After Before 今年（4月）ぐらいまで機械学習の「き」の字も知らなかった。k-Nearest Neighbor？Support Vector Machine？なにそれ美味しいのってレベル 昔統計をやっていたので、ロジスティクス回帰ぐらいは知っていた。オーバーフィッティングの概念ぐらいは知っていたが、厳密な定義は知らなかった。 Pythonも触ったことなかった After 機械学習とディープラーニングの基礎はだいたいわかった Pythonがだいたい使いこなせるようになった 物によってはディープラーニング
ディープラーニングの判断根拠を理解する手法 - Qiita
ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在しており、そこから学習された「何か」を人間が理解可能な形で取り出すというのは至難の業です。 例題：このネットワークが何を根拠に猫を猫として判断しているか、ネットワークの重みを可視化した上図から答えよ(制限時間:3分) image from CS231n Visua
深層学習と並ぶ人工知能の巨塔、強化学習とは一体何か - HELLO CYBERNETICS
学習の種類 教師あり学習 教師なし学習 半教師あり学習 強化学習 ハッキリとした答えがわからない 良さそうか悪そうかの判断方法自体もわからない 問題設定は遥かに複雑 強化学習を理解する特殊例 強化学習の難しさと課題点 ｎ本腕バンディット問題 問題の状況 行動の価値 知識利用と探査 行動価値関数と行動の決定 Q関数 貪欲法による行動の選択 ソフトマックス行動選択 最後に 行動価値関数に関する続編記事 強化学習を学ぶための書籍 ２０１６年NIPSでも強化学習は話題だった 学習の種類 教師あり学習 教師あり学習では、入力データとそれに対する解答をセットでシステムに与えます。 システムにデータを入力すると、何らかの出力を行います。もしもその出力が解答と違っていれば、システムの出力の仕方を僅かに変更するという形で学習を進めていきます。 システムの出力を データを 解答を システムの出力と解答との違い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本ディープラーニング協会、機械学習やPythonを学べる講座を無料公開 外出控える人に「学ぶきっかけを」
DL4US コンテンツ公開ページ
「ゼロから作るディープラーニング」を動画でまとめている人がいたので紹介します。｜Dai