ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
あらゆるデータを可視化するTensorBoard徹底入門
TensorBoardの主要機能 折れ線グラフ 画像 音声 ヒストグラム 計算グラフ 次元削減のプロット TensorBoardの読み方 シンボルの意味 name scopeとnode グラフの色 Structure View Device View 計算時間・メモリ テンソルの次元数 Summary Operation scalar histogram image audio 可視化してみる ハイパーパラメータの探索 Embedding Visualization メタデータファイルの作り方 スプライト画像の作り方 ラベルによる色分け t-SNEとPCA まとめ TensorFlowの優れた機能として、TensorBoardによる充実した可視化環境が挙げられます。TensorBoardがあれば、ニューラルネットワークの学習が上手くいかないときに、俯瞰してネットワークを表示したり、様々なデ
AIによる物体検出の手法やモデルを解説します - クリスタルメソッド株式会社｜ AIアバターが業務をサポート！ AIアバターが秘めた可能性
皆さん、「AI」という単語を耳にすることが最近増えてきたのではないかと思います。しかし、その仕組みについて知りたいと感じても、「私には難しそう…」と敬遠してしまっている方も多いのではないでしょうか? ここでは、画像内の物体について特定する技術であり、近年多く活用されているAIの物体検出について、説明していきたいと思います! そして、実際の活用事例についてもご紹介します。 先程軽く触れた通り、物体検出(物体検知)とは画像を取り込み、画像の中から定められた物体の位置と種類、個数を特定するという技術です。 物体の種類を分類するのは、画像分類でも行えます。しかし、物体検出ではそれに加え、 物体の領域の位置を絞り込む方法 認識対象以外の物体を排除する方法 というような手法を取り入れることで、対象物の位置・個数の検出を可能にしています。 画像分類について詳しく知りたい方はこちらから 画像分類について徹
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
「ディープラーニングの世界は早い者勝ち」差をつけるのはデータの量と課題を見つける力 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Deep Learning JP
松尾・岩澤研究室主催の公開講座「スプリングセミナー 2024」では3講座を開講します. 受講を希望される方は下記ページを参考にしてください. 深層生成モデル 深層強化学習 more
【松尾豊】ＡＩロボット「日本企業はピークの20代につまらない作業をさせている」 ニュースイッチ by 日刊工業新聞社
ロボットとともに働き、ともに生活する―。そんな世界が急速に近づいてきた。ディープラーニング（深層学習）で画像認識精度が向上し、ロボットが“目”を獲得したように、人工知能（ＡＩ）技術がロボットの開発戦略を大きく変えた。第１回目は、東京大学特任准教授の松尾豊さんのインタビュー。ロボットの新潮流を見据え、日本企業はどう戦っていけばいいのか語ってもらった。 ロボットの目が見えるように ―ＡＩ技術の進化はロボットにどんな影響を与えますか。 「簡単に言うと、ロボットは目が見えるようになった。２０１５年にディープラーニングで画像認識の精度が人間を超えた。モノを認識してつかんだり、操作したり、作業ができるようになる。これまでのロボットは目が見えない状態で、単純な動作を繰り返していただけだ。それでも失敗しなかったのは人間が周辺の環境を整えていたからだ。工場の生産ラインでは必ず特定の場所に、決まった部品が配置
巨人たちが語るディープラーニングの未来（翻訳記事） - Preferred Networks Research & Development
比戸です。スムージーの美味しい季節ですね。 今回は「ディープラーニングの未来」というパネルディスカッションに関するブログの翻訳をお送りします。この業界の有名人が多数参加していて、とても興味深い内容だったため、日本のコミュニティでも共有できたらと思ったのです。 それは2015年7月に開かれた機械学習の国際会議・ICML内のDeep Learning Workshopの企画でした。元記事はワークショップ主催者のKyunghyun Cho氏のBrief Summary of the Panel Discussion at DL Workshop @ICML 2015です。ご本人の許可を得られたので、以下に日本語訳を掲載します。なるべく原文に忠実に訳したつもりですが、分かりづらい部分は意訳が入っているため、もし誤りがあればご指摘下さい。 — ここから翻訳 <はじめに> ICML 2015で開かれた
第1回 AI・人工知能 EXPO 基調講演まとめ - 人工知能に関する断創録
6/28から6/30に東京ビッグサイトで開かれた第1回 AI・人工知能EXPO*1に参加して、基調講演を聴いてきたので概要をメモ書き程度にまとめた。個別の展示はちょっと数が多いので省略^^; 今年の目標（2017/1/1）にも書いたけれど、AIをどうビジネスにしていくかという点は関心があるので今後も動向をウォッチしていきたい。MicrosoftとWatsonのAPIはあとで使い込んでみる予定。 全体的な所感 カスタマーサービス向けのチャットボットツール（ルールベース）に関する展示が非常に多い コンピュータビジョンに関連したDeep Learning技術も目立ったが既存モデル（YOLO物体検出、人検出など）の活用が中心 DL以前の機械学習手法・データマイニング・テキストマイニングの活用事例も多い テキスト・画像・音声データの収集・アノテーションに特化した会社（IR-ALT、REALWORLD
20170127-learning-tensorflow-3hours
ニューラルネットワークを用いた機械学習の「ディープラーニング(深層学習)」は人工知能(AI)開発に欠かせない技術であり、AI以外にもGoogleフォトの画像の自動タグ付け機能やAmazonのレコメンド機能など、すでに実用化されている技術に活用されています。そんなディープラーニングを開発者が学習するためのとっておきの方法をGoogleのクラウド開発者がブログで紹介しています。 Learn TensorFlow and deep learning, without a Ph.D. | Google Cloud Big Data and Machine Learning Blog | Google Cloud Platform https://cloud.google.com/blog/big-data/2017/01/learn-tensorflow-and-deep-learning-w
Applying deep learning to real-world problems
The rise of artificial intelligence in recent years is grounded in the success of deep learning. Three major drivers caused the breakthrough of (deep) neural networks: the availability of huge amounts of training data, powerful computational infrastructure, and advances in academia. Thereby deep learning systems start to outperform not only classical methods, but also human benchmarks in various t
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
Open-sourcing DeepMind Lab
Open source Open-sourcing DeepMind Lab Published 3 December 2016 Authors Charlie Beattie, Joel Leibo, Stig Petersen, Shane Legg DeepMind's scientific mission is to push the boundaries of AI, developing systems that can learn to solve any complex problem without needing to be taught how. To achieve this, we work from the premise that AI needs to be general. Agents should operate across a wide range
ゼロからDeepまで学ぶ強化学習 - Qiita
ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開催しました(PyConJPのTalkの増補改訂版) Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン 講義資料の方が図解が豊富なので、数式とかちょっと、という場合はこちらがおすすめです。 Tech-Circle #18 Pythonではじ
人工知能テクノロジーの現状と可能性 [松尾豊] | ISSUES | WORKSIGHT
このところ「人工知能を使ったシステム」や「人工知能を搭載した電化製品」が登場し、世間の注目を集めています。 将棋の世界では人工知能がプロ棋士と互角に戦い、元名人を負かしたりもしています。2011年にＩＢＭが開発した人工知能「ワトソン」はクイズ番組で人間のチャンピオンを破って優勝、今後その技術は医療分野に応用されて、膨大な蓄積データから患者の治療方針を示すのに使われるといいます。三井住友銀行とみずほ銀行は2014年11月に、コールセンターへの問い合わせで適切な回答を抽出するためにワトソンを利用すると発表しました。 ソフトバンクはフランスの企業と共同で人工知能搭載のロボット「Pepper」を発表しました。人の感情を読み取ることができると話題になりましたよね。アップルはiPhoneに人工知能を使った音声対話システム「Siri」を搭載していますし、グーグルは自動車を自動で運転する技術を開発中です。
![人工知能テクノロジーの現状と可能性 [松尾豊] | ISSUES | WORKSIGHT](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0180a190a845a75a66de3ac44b408de395bc3ec/height=288;version=1;width=512/https%3A%2F%2Fwww.worksight.jp%2Fwp-content%2Fuploads%2F2015%2F06%2Fforesight_matsuo_1_main-300x201.jpg)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2023年版】Stable Diffusion モデルまとめ | BLOG CAKE
Teslaはカメラを使ってどのように世界を認識しているか
Crypko
ソニーがディープラーニング用“コアライブラリ”をオープンソース化
Google AlphaGo に対する、日中韓の棋士による評価まとめ