言語モデルはどのようにして知識を蓄えているのか？ 関連文献の紹介
この記事は Ubie Engineering Advent Calendar 2023 15日目の記事です。私は現在、 新しいプロダクトのプロダクトオーナー (PO) として働きつつ、機械学習エンジニアとして大規模言語モデル（LLM）を活用する業務にも携わっています。Ubie は LLM にかなり力を入れており、社員の生産性向上 やプロダクトへの機能追加 など、色々なところで LLM が活用されています。 また、私が所属するチームでは、既存の大規模言語モデル（LLM）の活用に加えて、LLM 自体に関する理解を深め、知見を蓄積する取り組みも行っています。その中で特に「言語モデルはどのようにして知識を蓄えているのだろうか？」という問いは、非常に興味深いと感じました。そこで、この記事では、言語モデルと知識獲得に関する文献をいくつか紹介したいと思います。 知識ベースとしての言語モデル そもそも「言
天王星と海王星クラス！1800光年彼方の惑星系で「巨大氷惑星同士の衝突現象」を史上初観測か（宇宙ヤバイchキャベチ） - エキスパート - Yahoo!ニュース
どうも！宇宙ヤバイch中の人のキャベチです。 今回は「巨大惑星同士が衝突する瞬間を史上初観測か」というテーマで動画をお送りしていきます。 地球の10倍以上重い巨大氷惑星である天王星と海王星が万が一衝突したら、少なくともとんでもない事態になることは想像に難くありません。 地球の衛星である月を形成したのも、天王星の自転軸が極端に傾いているのも、惑星サイズの巨大天体同士の衝突現象によるものであると考えられています。 巨大惑星の衝突現象は、その惑星系に何十億年にもわたって消えることのない痕跡を残すほど、非常にエネルギッシュな現象です。 そして今回新たに、かつて太陽系で起きたものと比べても遥かに大規模な衝突現象が実際に起きて、その観測に成功した可能性があります。 ●奇妙な増光天体「ASASSN-21qj」 数年前、地球から約1800光年彼方にある「ASASSN-21qj」という、年齢が3億歳とかなり
文系人間ほどAIを恐れ、ChatGPTを信じてしまう…経済学者が指摘する「AIの本当の実力」（プレジデントオンライン） - Yahoo!ニュース
AIはわれわれの世界をどのように変えるのか。嘉悦大学教授で経済学者の髙橋洋一さんは「AIは人間がつくったプログラムにすぎず、世界を乗っ取るかどうかも人間次第だ。プログラミングの知識がある人であれば、いたずらに騒ぐことはないだろう」という――。 【この記事の画像を見る】 ※本稿は、髙橋洋一『数字で話せ！ 「世界標準」のニュースの読み方』(MdN)の一部を再編集したものです。 ■AIが「知恵」を持つなんてありえない AI(Artificial Intelligence)は、「人工知能」と訳されていますが、この「人工知能」という言葉が特に数字に弱い人たちに大きな誤解を与えているようです。知能という言葉から想像を働かせて、機械が「知恵」を持って判断したり勝手に動き出すのがAIだと思っている人が少なくありません。 だからAIに世界が乗っ取られるというストーリーのSF映画がすでに定番となって流行ったり
｢最新の共通テスト｣東大生も驚いた国語の超難化
「食通な人」なんて言いますけれど、それは「いろんなところの食を知っていて、食に精通している、広く最初から最後まで物事を知っている人」という意味になります。 「共通」とはどれにもあてはまって通用することなので、最後の「3」の「全体的に行き届くこと」の意味になります。 ほかに同じような漢字を挙げると、「通説」がありますね。広くその説が知られていることを指します。 さて、どうしてこのような「同じ漢字の違う意味」を問う問題が増えてきたのでしょうか？ これは僕の勝手な考えですが、日本という国の教育において、語彙力の定義が変わってきている、ということなのだと思います。 この問題を出題している文部科学省の人たちは、「これからの学生は、同じ漢字・同じ言葉であっても、複数の意味があるということを理解しておく必要がある」と考えているのではないでしょうか。 昔から、小学校の低学年から漢字の書き取りをさせる国語の
DeepMindの研究者らが有効性を検証した、LLMに自ら高品質な訓練データを生成させる「自己学習」 | AIDB
DeepMindの研究チームは、現在の大規模言語モデル（LLM）は人間によって生成されたデータに過度に依存しており、LLMの発展にとって望ましい状況ではないと考えました。 この問題に対処するために、彼らはLLMが自律的に高品質な訓練データを生成し、データセットを自ら拡充する「自己学習」アプローチの有効性を検証しました。 実施された実験では、自己生成データによって、数学やコード生成の分野におけるLLMの能力が顕著に向上したことが確認されました。 本記事では、研究内容を詳しく見ていきます。 参照論文情報 タイトル：Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models 著者：Avi Singh et al.（多数） 所属：Google DeepMind URL：https://doi.o
機械学習の落とし穴 リーク問題について - ABEJA Tech Blog
はじめに リークって何? リークの例 テーマ概要 使用できるデータ,手法 例 例1.運用時に使えない情報を使ってしまう 例2.更新された情報を使ってしまう その他例 リークを回避するためには? ドメイン知識をもとにした確認 データを正しく理解する 重要特徴量からの判断 特徴量作成後の可視化 自分がやったことを信用しすぎない まとめ We Are Hiring! はじめに こちらは、ABEJAアドベントカレンダー2023の13日目の記事です。 こんにちは！ABEJAでデータサイエンティストをしております松村です。2021年の入社時から地元広島からフルリモートで働いており、早いものでもうすぐ3年が経過します。 今回は、データサイエンティスト誰もが一度は直面するリーク問題について考えてみました！ リークって何? 「機械学習におけるリークとは何か?」について一言で言うと、本来使うことのできない情報
アマゾンの方が日本企業以上に「カイゼン」で成果をあげている根本的な理由 | Japan Innovation Review powered by JBpress
■【前編】注目の「両利き経営」に飛びついても成果を出せない日本企業の致命的な間違い ■【後編】アマゾンの方が日本企業以上に「カイゼン」で成果をあげている根本的な理由（今回） ＜著者フォロー機能のご案内＞ ●無料会員に登録すれば、本記事の下部にある著者プロフィール欄から著者をフォローできます。 ●フォローした著者の記事は、マイページから簡単に確認できるようになります。 ●会員登録（無料）はこちらから 日本企業が閉塞感を打破し、「負のスパイラル」から抜け出すために、経営者はいかに行動すべきなのか。前編に続き、『日本企業はなぜ「強み」を捨てるのか』（光文社）を著した慶應義塾大学商学部准教授 岩尾俊兵氏に、日本企業が真の競争優位を得るために必要な観点を聞いた。 企業経営は「カネ優位」から「ヒト優先」へシフトしている ――前編では、企業の価値を時価総額で測る「カネ優位の経営」は「似非（えせ）世界標準
認知負荷は「ワーキングメモリに対する負荷」のこと 認知科学の観点から課題を整理すると“つらい”の輪郭が見えてくる
「Developers Meetup 急成長ベンチャーが向き合う『開発生産性』」は、開発組織や事業フェーズの異なる株式会社Another works・株式会社SmartHR・株式会社スタメンの3社が、開発生産性について語り尽くすイベントです。ここで株式会社SmartHRのすがわらまさのり氏が登壇。チーム増加に伴い起きた「認知負荷が高い」状況をどのように解決したかについて紹介します。 チームの増加に伴いできるようになったこと、やりにくくなったこと すがわらまさのり氏：ここから本題ですね。「開発生産性について、上から見るか、下から見るか」ということで、よろしくお願いします。過去に私が登壇したもので似たテーマがいくつかあるので、軽く紹介しておきます。もし気になる方がいれば後で見てください。 前提の共有というところで、先ほどもお話ししたように、私が担当したのは「SmartHR」の基本機能というプロ
社員の6割はAIに置き換わる 生成AIで到来「究極の二極化社会」
前回まで、大手小売企業の情報システム統括役員を務めていた直近、分身の「AI太郎」をプログラミングし、オンライン会議に投入した話をしました。今回は、自ら手を動かしたからこその気付きを企業経営の視点で総括します。 生成AI普及後の会社経営は劇的に変わる──。そんな問題意識を持つ経営者は多いと思いますが、それを単に効率化という視点で考えると見誤ります。一体どういうことなのか。著者が独自の視点で経営者に向けてAIに対する本質的な見立てを紹介します（画像：J_News_photo/stock.adobe.com） 米オープンAIの対話型AI（人工知能）「Chat（チャット）GPT」に代表される生成AIの出現によって、「AIに仕事を奪われる」ことが現実化しています。にもかかわらず、ビジネスパーソンはこう思ってはいないでしょうか。「日本には労働基準法があり、安易な解雇はできないから大丈夫」と。 また経営
東大、「量子バッテリー」の充電に関する革新的なプロトコルを提案
東京大学(東大)は12月14日、量子開放系の一種である「量子衝突モデル」において、「不確定因果順序」に由来する特異な効果を発見し、同効果を活用した「量子バッテリー」の充填プロトコルを理論的に提案して、その役割と重要性を明らかにしたことを発表した。 不確定因果順序で実行される量子バッテリーの充填プロセスの様子。古典物理学の世界では、2つのチャージャーは一方が先に実行し、その後にもう一方が実行するという因果順序でしか考えられない。一方、量子の世界では、2つの因果順序が同時に成立することが可能になる(出所:東大プレスリリースPDF) 同成果は、東大大学院 情報理工学系研究科のチェン・ユーフォー大学院生、同・長谷川禎彦准教授らの国際共同研究チームによるもの。詳細は、米国物理学会が刊行する機関学術誌「Physical Review Letters」に掲載された。 量子バッテリーは、量子もつれを利用す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2023年の驚くべき科学的発見11、人類の知は大きく羽ばたいた その6～11（ナショナル ジオグラフィック日本版） - Yahoo!ニュース
MozillaがAIでWebサイトを生成できる個人起業家向けサービス「Solo」をベータ公開 ほか ～14件を掲載（12月15日のダイジェストニュース）【ダイジェストニュース】