(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&LLM
始めに こんにちは！自然言語処理（NLP）・自然言語生成（NLG）の解説記事を書いている、すえつぐです！ 突然ですが、BERT、GPT-3、PaLMを使ったことはありますか？Transformerはこれらの最先端のモデルに使用されている、現代のNLPモデルには欠かせないモデルです。おそらくBERTやGPT-3でTransformerを知った、このページに来たという人も多いのではないでしょうか。機械学習、特にNLPの勉強をしている方々は、Transformerの概要は知っておいた方が良いと思います。 ただ多くのサイトは、いきなり細かい仕組みの解説をする中級者以上向けの記事が多いですよね。 そこで、このページでは、Transformerの入門〜中級までの解説をしていきます！まず入門として、「Transformerの使い道」「Transformerの何が凄いのか？」を先に解説します。その上で「T
ChatGPTのヤバさは、論理処理が必要と思ったことが確率処理でできるとわかったこと - きしだのHatena
ChatGPTのヤバいところは、論理処理が必要だと思っていたことが、じつは多数のデータを学習させた確率処理で解決可能だと示したことだと思います。 たとえば、このように正規表現にマッチする文字列を生成するには、特別に専用の論理処理が必要だと思っていました。 前のブログのときには特殊処理が必要だと考えてましたね。 ウソはウソと見抜ける人じゃないとChatGPTを使うのは難しい - きしだのHatena けど、123_45678world.mdはマッチするのにマッチしないと言っているので、そのような誤りが入ることを考えると、どうも確率処理だけでやっているようです。 考えてみると、3層以上のニューラルネットであれば論理素子を再現できるので、ディープラーニングで論理処理を模倣することは可能なんですよね。 バックプロパゲーションでニューラルネットの学習 - きしだのHatena そもそも論理は、多数の
AIで特定キャラを描く(DreamBoothで追加学習)｜lisa
概要DreamBoothとは追加学習することで、AI(StableDiffusion)で特定のキャラや物を描くためのモデル（データ）作るツールです。 例えば、ドラゴンクエスト10オンラインというゲームのアンルシアというキャラがいます。 ドラゴンクエスト10のアンルシア 公式サイトより引用 https://hiroba.dqx.jp/sc/election/queen2021/vote/confirm/1/nologinこのキャラの画像を18枚ほどAIに読み込ませ、追加学習し、AIに描かせた絵が以下の絵になります。 これ見ると、単なる髪型や顔が似ているレベルではなく、服の模様レベルまで再現できている事がわかります。 今までStableDiffusionの欠点として、同じキャラを安定して描くのが苦手というのがありましたが、DreamBoothを使うことで克服することが出来ます。 これにより、A
真面目なプログラマのためのディープラーニング入門
はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなことが学習できるのか?」 という疑問に対する具体例として、物体認識や奥行き認識などの問題を扱う。 最終的には、機械学習のブラックボックス性を解消し、所詮は ニューラルネットワークもただのソフトウェアであり、 固有の長所と短所をもっていることを学ぶことが目的である。 なお、この講座では機械学習のソフトウェア的な原理を中心に説明しており、 理論的・数学的な基礎はそれほど厳密には説明しない。 使用環境は Python + PyTorch を使っているが、一度原理を理解してしまえば 環境や使用言語が
架空の顔で「お客様の声」「大満足」…ＡＩで生成、９０サイトで宣伝に悪用［虚実のはざま］第３部 粉飾のカラクリ＜１＞（読売新聞オンライン） - Yahoo!ニュース
ＡＩ（人工知能）で作り出された架空の人間の画像が、あたかも実在するかのような形で多数の業者の宣伝サイトで使われていることが、読売新聞の取材でわかった。商品やサービスを推奨する客などを装って掲載されていた。すでに海外では悪用が問題になっており、歯止めなく使われれば、取り扱いのルールを巡って議論になる可能性がある。 【写真】「スマホ警察手帳」は偽物です…ご注意 画像は、大量のデータから特徴を学ばせるＡＩの深層学習（ディープラーニング）の技術で精巧に自動生成できる。国内では大阪市のＩＴ企業「ＡＣワークス」が、イメージ写真や仮想モデルなどとしての利用を想定し、会員登録すれば無料でダウンロードできるサービスを２年前に開始。実在の客を装っての掲載などは規約で禁止していた。
松尾豊氏が監修した無料AI講座「AI For Everyone」、開講2週間で登録者数5000人を突破 | Ledge.ai
TOP > Topic Keywords > JDLA DL for DX > 松尾豊氏が監修した無料AI講座「AI For Everyone」、開講2週間で登録者数5000人を突破 一般社団法人日本ディープラーニング協会（JDLA）は5月20日、新講座「AI For Everyone（すべての人のためのAIリテラシー講座）」の受講登録者数が開講から約2週間で5000人を突破したと発表。JDLAは本講座が人気の理由を社会におけるDX（デジタルトランスフォーメーション）への関心の高さが影響していると考察する。 JDLAは本講座を「すべてのビジネスパーソンに向けた、人工知能（AI）／ディープラーニングについてまず『知る』ための無料エントリー講座」と位置づける。AIの基礎を学びたい人、今の組織をAIが使いこなせる組織に変えたい人など、理系文系はもちろん、肩書きや職種問わず、受講できるとしている。
ディープラーニングの研究が進めばAIのブラックボックス問題は解決しますか？
回答 (5件中の1件目) ディープラーニングは昔ニューラルネット（神経回路網）と言われていました。 モデルとなった神経回路網において、神経の結合、処理状態がわかれば考えていることがわかるのか？と言われればそれは無理ですね。これはブラックボックスです。 じゃ、考えていることがわかるようなニューラルネットは作れるかと問われれば、できないと断言はできない。 ちなみに三十年くらい前のAIの主要トピックスは。 エキスパートシステム これは専門家の知識を記述するもので内容はわかります。 ファジーシステム どこ行ったんでしょうね？ ニューラルネット でした。
深層強化学習でシステムトレードをやる時に役に立ちそうな資料まとめ - ニートの言葉
Photo via Visual Hunt 少し前のことですが、AlphaGoという囲碁の人工知能プログラムがイ・セドル九段に勝利したことで話題になりました。*1 また、一部のゲームにおいて「DQN（Deep Q-network）」が人間よりも上手くプレイするようになったというニュースも話題になっていましたね。*2 今回はこれらの事例で使われている「深層強化学習」という仕組みを使って、FXのシステムトレードができないかと思い、調べてみました。 注意：強化学習もFXも勉強し始めたばかりなので、色々間違っている箇所があるかもしれません。ご指摘いただけると幸いです。 今回の内容 1.強化学習について 1-1.強化学習 1-2.Reinforcement Learning: An Introduction (2nd Edition) 1-3.UCL Course on RL 1-4.強化学習につい
エンジニア以外も「AIの仕組み」を学ぶべき理由 機械学習とディープラーニングの違いは？
エンジニア以外も「AIの仕組み」を学ぶべき理由 機械学習とディープラーニングの違いは？：よくわかる人工知能の基礎知識（1/4 ページ） 本連載で解説してきたように、AI（人工知能）といってもそれが何を意味するのか、またAIをどのように実現するかの答えは1つではない。とはいえ、昨今の「このサービスは人工知能を活用しています」という説明は、機械学習もしくはディープラーニングのことを指していると考えていいだろう。 ビジネスでのAI活用を考える上で、これらの用語の基本的な意味や、何ができるかを把握しておくことは重要だ。これは開発に関わるエンジニアだけでなく、経営者や現場担当者にも当てはまる。そこで今回は、いまのAIブームをけん引する2つのキーワードについてあらためて解説してみたい。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人が
メンヘラちゃんと学ぶディープラーニング最新論文 - ディープラーニングブログ
メンヘラちゃんがディープラーニングの最新論文をバリバリ語ってくれるシリーズです．Twitterに投稿したスライドをまとめました． サムネ画像 スライド内のテキスト抽出（検索エンジン用） メンヘラちゃんと学ぶ ディープラーニング最新論文 製作: Ryobot はじめに 作者 • Ryobot (りょぼっと) • NAIST修士2年.RIKEN AIP勤務 (2017/7~) • チャットボットの個性と多様性の研究をしています • Twitter@_Ryobot でお気に入り論文を紹介しています スライドの概要 • メンヘラちゃんが最新論文をバリバリ語ってくれます • 分野は主に自然言語処理 (機械翻訳と言語理解) です • Twitter で投稿したスライドのまとめです メンヘラちゃん • ジョイネット様制作のLINEスタンプです • 作者様がフリー素
Webエンジニアは、いかにAIと向き合うべきか？ 筑波大・人工知能研究室と考えるAIの歴史と未来 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
20年の機械学習・ニューラルネットワーク研究から見えた、人工知能の歴史と未来 人工知能はどのような技術によって進歩し、どのような未来に向かってかじをきっているのでしょうか。今回は20年近く人工知能の研究をしてきた人工知能分野のフロントランナーの方々にインタビューしました。 人工知能ブームを再燃させたディープラーニング。このブレイクをきっかけに、世の中にはさまざまな人工知能関連の情報があふれています。多くのディープラーニングフレームワークに採用されているPythonが盛り上がりを見せ、機械学習やディープラーニングの関連書籍がエンジニア界隈を賑わせました。 そもそも、人工知能はどのような技術によって進歩し、どのような未来に向かってかじをきっているのでしょうか。今回は20年近く人工知能の研究をしてきた方々にインタビューしました。筑波大学で人工知能研究室の室長を務め、同大で「人工知能特論」の講義も
グーグル系列のAI企業DeepMindが眼疾病を高精度で診断する人工知能を共同開発 | Techable(テッカブル)
グーグルの親会社の米アルファベット傘下でAI（人工知能）の研究開発に取り組む「DeepMind（ディープマンド）」は、2018年8月、英ユニヴァーシティ・カレッジ・ロンドン（UCL）、英ロンドンの眼科専門医療機関「ムーアフィールド眼科病院」と共同で、眼疾病を自動診断する人工知能を開発した。・人工知能が50種類以上の眼疾病を高精度で自動診断2種類のニューラルネットワークからなるこの人工知能は、ディープラーニング（深層学習）を活用し、光干渉断層計（OCT）で撮影した患者の眼の画像やデータからパターンを見つけ、50種類以上の眼疾病を特定し、必要な治療を示す仕組み。 1万4884件の症例データを使ってこの人工知能に学習させたところ、94％を超える精度で、専門医と同じ診断結果を導きだすことに成功した。 従来の人工知能は、判断プロセスが“ブラックボックス化”し、なぜその判断に至ったのかがわからないのが
ディープラーニングの限界 | POSTD
(注：2017/04/08、いただいたフィードバックを元に翻訳を修正いたしました。 @liaoyuanw ) この記事は、私の著書 『Deep Learning with Python（Pythonを使ったディープラーニング）』 （Manning Publications刊)の第9章2部を編集したものです。現状のディープラーニングの限界とその将来に関する2つのシリーズ記事の一部です。 既にディープラーニングに深く親しんでいる人を対象にしています（例：著書の1章から8章を読んだ人）。読者に相当の予備知識があるものと想定して書かれたものです。 ディープラーニング： 幾何学的観察 ディープラーニングに関して何より驚かされるのは、そのシンプルさです。10年前は、機械認識の問題において、勾配降下法で訓練したシンプルなパラメトリックモデルを使い、これほど見事な結果に到達するなど誰も想像しませんでした。
人工知能にTwitterを運用させてチューリングテストしたら衝撃的事実が明らかになりました - karaage. [からあげ]
人工知能にTwitterを運用させてチューリングテストしてみた きっかけは、以下の動画がめちゃくちゃ面白かったので、自分でやったらどうなるか実験してみたかったからです。いわゆるパクリです。 ちなみにチューリングテストというのは、その対象に知能があるかどうかを判定するためのテストで、本来はディスプレイとキーボードを介して人とテスト対象（人工知能）が会話するのですが、今回はその簡易版ということで、ツイートをこっそり人工知能と入れ替えて、フォロワーさんがそれに気づくかで判断することとしました（上記動画と同じ要領です）。 動画では、具体的な技術的説明は無かったのですが、昔、マルコフ連鎖を使って似たようなことをしていたので、今回はそれを応用することにしました。詳しくは以下記事参照下さい。 上記記事では、ブログの文章を学習（モデル化）して文章生成していますが、今回は、自分の過去のツイートの内容全てを学
![人工知能にTwitterを運用させてチューリングテストしたら衝撃的事実が明らかになりました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7172e0bd969bc5a12b198af9f5b94cffd6be92d0/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180408%2F20180408155122.jpg)
人工知能が苦手なこと、人と共存する未来の姿--研究者から見たAIとは
人工知能のビジネス活用が進む中、「人工知能が人間の仕事を奪うのではないか」といった恐れの声や、逆に「せっかく導入した人工知能が意外と使えない」という声が挙がっている。これらは何が課題なのか。研究者の視点から見た人工知能、そして「人工知能がある未来」とはどういうものか。 2月27日に開催された「CNET Japan Live 2018 AI時代の新ビジネスコミュニケーション」では、アイキュベータ代表社員で数理生物学を研究する工学博士でもある松田雄馬氏が『研究現場から見た人工知能とその未来--「知能」の本質とは』と題した講演した。生命、そして人間という観点から人工知能の特質を紹介し、今後の人工知能社会のあるべき姿について語った。 人工知能は「見る」「聞く」「感じる」が苦手 大脳視覚情報処理を専門とする松田氏は「ものを見るとはどういうことか」を理解することで、人工知能のある未来でビジネス、そして
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
深層強化学習の最前線 - Speaker Deck