Characterizing Emergent Phenomena in Large Language ModelsPhilosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more
話題爆発中のAI「ChatGPT」の仕組みにせまる！ - Qiita
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re
ChatGPTはどのように学習を行なっているのか
はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。
AIとビッグデータの関係に変化 「少ないデータで開発」進む | Forbes JAPAN 公式サイト（フォーブス ジャパン）
高性能な人工知能（AI）を開発するためには、膨大なデータが必要であるとされている。しかし昨今では、少ないデータで効率的にAIを学習させるための研究が相次いで発表されている。 マサチューセッツ工科大学（MIT）とIBMの研究チームは、5月に開催されたAIカンファレンス「International Conference on Learning Representations（ICLR）」で、「Neuro-Symbolic Concept Learner（NSCL）」という新しい人工知能を公開した。これは、これまで異なるアプローチであるとされてきた「エキスパートシステム」と「機械学習」の技法を組み合わせたものとなる。 NSCLはまず、一部のデータから学習を通じて対象の特徴を抽出。それらをエキスパートシステム技法と結合して問題解決を行うという。ふたつのツールの結合により、従来よりもはるかに少ないデ
ディープラーニングの限界 | POSTD
(注：2017/04/08、いただいたフィードバックを元に翻訳を修正いたしました。 @liaoyuanw ) この記事は、私の著書 『Deep Learning with Python（Pythonを使ったディープラーニング）』 （Manning Publications刊)の第9章2部を編集したものです。現状のディープラーニングの限界とその将来に関する2つのシリーズ記事の一部です。 既にディープラーニングに深く親しんでいる人を対象にしています（例：著書の1章から8章を読んだ人）。読者に相当の予備知識があるものと想定して書かれたものです。 ディープラーニング： 幾何学的観察 ディープラーニングに関して何より驚かされるのは、そのシンプルさです。10年前は、機械認識の問題において、勾配降下法で訓練したシンプルなパラメトリックモデルを使い、これほど見事な結果に到達するなど誰も想像しませんでした。
人工知能に採用判断を一任すべきでは無い真の理由
ちょっと前に『採用選考に「AI」を導入しようとしたが、断念した会社の話が面白かった。』と言うエントリーが話題になっていた。ブログ主は医者であってエンジニア等ではないから仕方が無いのだが、ちょっと誤解があると言うか、人工知能に採用判断を、少なくとも一任すべきでは無い真の理由が見落とされていた。それは、人工知能が「なぜこの人を選んだのか。なぜこの人を選ばなかったのか」を説明できないからではない。 1. 機械学習の判断理由を見ることもできる 人工知能と言っても色々とあるのだが、最近の流行は教師つき機械学習なので、この事例においてもそれを使っているであろう。そして、機械学習では（ここでは採用不採用を決定する）分類器を構成する事ができるのだが、分類器がどういう特徴を持っているのかは、把握し難いところがある。しかし、把握する方法が無いわけでは無いし、そもそも把握する必要は無いかも知れない。 機械学習の
数式をなるべく使わずにトピックモデルの解説にチャレンジ - Qiita
トピックモデルは応用範囲が広く、使えるところが多いモデルですが・・ 数式が鬼難しく分かりづらいので、なるべく数式を使わずに分かりやすくしたい。 そして備忘録にしたいってことで記事を書きました。 間違いがあれば指摘して頂けると幸いです。 トピックモデルの使える範囲 端的に言えば、文書からそれが何について記述されているかを推定するモデルです。 実は適用範囲はトピックを抽出をしていくだけではないです。 トピックに分けるだけでなく、文書の補助情報に関連付けをさせたり、ユーザーの情報に依存させたトピックのみに限定したり、トピックに相関関係を持たせたりできます。 また文書だけでなく、画像、ソーシャルネットワーク、論文の引用関係にも応用可能です。 トピックモデルの仕組み 重要な点をいくつか先に述べます。 確率分布、共役事前分布、パラメータ推定の３点がかなり重要になってきます。 １：確率分布 確率の分布な
「ラーメン二郎」全店舗“見分ける”bot NTTコムウェア技術者が趣味で開発
「ラーメン二郎」のラーメン画像をリプライすると、どこの二郎なのか答えてくれる――そんなTwitterのbotアカウントを、NTTコムウェアの技術者が趣味で開発した。正答率は約87％という。 ラーメン店「ラーメン二郎」のラーメン画像を送り付けると、どこの二郎なのか答えてくれる――そんなTwitterのbotアカウントを開発したと、NTTコムウェアの技術者が8月10日、NTTグループ有志が主催する技術交流会「NTT Tech Conference #2」で発表した。正答率は約87％という。 ラーメン二郎は、関東を中心に約40店舗を展開している。店舗ごとにラーメンの味や見た目が少しずつ異なり、ネット上では「常連は見た目で店舗を見分けられる」という声もある。botのTwitterアカウント（@jirou_deep）は、ラーメン二郎の画像をリプライすると、可能性が高い店舗トップ3を答えてくれる。 「
アルファ碁同士の棋譜公開 碁界騒然「見たことない」：朝日新聞デジタル
世界最強棋士との三番勝負で完勝した囲碁ＡＩ（人工知能）「アルファ碁」を開発したグーグル傘下の英ディープマインド社が、対局に備えて積み重ねたアルファ碁同士による自己対戦の棋譜５０局を公開した。棋士の理解を超える着手の連続に、「こんな碁はいまだかつて見たことがない」と碁界は騒然としている。 革新的な技術「ディープラーニング（深層学習）」を導入したアルファ碁は、高段者の棋譜を写真のように画像として読み込み、各局面に応じた好手を学習。人間の残す棋譜だけでは教材が足りず、アルファ碁同士が自己対戦を繰り返して能力を高めたが、その棋譜はほとんど非公表だった。 アルファ碁は５月２３～２７日、中国の世界最強棋士、柯潔（かけつ）九段を３戦全勝で圧倒。その後、ディープマインド社は「囲碁ファンへのスペシャルギフト」として棋譜５０局を自社のホームページに公開した。 手数が進んだ特殊な状況に限り有効とされていた「星へ
http://www.ms.k.u-tokyo.ac.jp/2015/IPSJ-math-jp.pdf
1 , vol.56, no.5, pp.10–15, 2015. Mathematics for Machine Learning Masashi Sugiyama (University of Tokyo) sugi@k.u-tokyo.ac.jp, http://www.ms.k.u-tokyo.ac.jp Taiji Suzuki (Tokyo Institute of Technology) s-taiji@is.titech.ac.jp 1 x ∈ Rd y ∈ {1, . . . , c} Rd d c 16×16 d = 16×16 = 256 c = 10 x p(x) y p(y) p(x, y) x y p(y|x) y x p(x|y) 1 p(y|x) x y p(y) x y y p(y|x) 1 p(x) p(y) 2 y x p(y|x) p(x, y) n
ただの微分幾何学徒だった僕がデータサイエンスを何故/どのように勉強したのか - Obey Your MATHEMATICS.
こんにちは。久々の投稿です。 僕のTwitterをフォローしてくれている方はご存知かと思いますが、4月から機械学習エンジニア/データサイエンティスト(見習い)として働く事が決まりました。 今日六本木の某社から正式に内定を頂きましたが、間違いなくTwitterのおかげでありTwitterこそ就活の全てであると確信した次第でございます— マスタケ (@MATHETAKE) 2017年2月23日 良い区切りですので今回はタイトルの通り、ただの純粋数学の学生だった僕がデータサイエンスの勉強を何故/どのようにしてきたのか、についての思い出せる範囲で書こうと思います。 Disclaimer: この記事は基本的に、"What I did" に関する記事であって決して "What you should do" についての記事ではありません。そんな勉強方法おかしいとか、こうすべきだ、みたいなマサカリは一切受
なぜ機械学習にPythonが選ばれるのか - Qiita
はじめに 日本ではWeb系のLL言語としてはPHP・Perl・Rubyが強く、Pythonは海外では普及しているが日本ではマイナーな言語である。Google AppEngineの開始当初(2008年4月)にPythonをサポートしていた際には、なんでPythonなんだろうと軽く調べ、教育用として海外では普及しているという認識だった。 2012年～2013年頃にデータサイエンスがバズワードとなり機械学習する上でR言語と次点でPythonという感じだったと思う。そして昨今は人工知能ブームということでTensorFlowやChainerといったPythonのフレームワークが公開されたことで、Python一色になってきている。 ※タイトルは科学技術計算より世間的に馴染みがある機械学習にしました。 科学計算や機械学習にはPython 特に科学計算分野ではPythonコミュニティが非常に活発で、機械学
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT 人間のフィードバックから強化学習した対話AI
トピックモデルの話
配達を知らせてくれる郵便受け用スマートデバイス「Mail Beacon」--ただしDMを除く
Mail Beacon - Make your mailbox SMART
Knowing that Python is very slow compared to Java and C++, why do people mostly use Python for fast algorithmic procedures like machine l...
https://dl.acm.org/citation.cfm?id=2063892
https://dl.acm.org/citation.cfm?id=2487940
Syntactic Tree Kernels for Event-Time Temporal Relation Learning