言語モデルの物理学 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
2024年ノーベル物理学賞について甘利 俊一 栄誉研究員・元脳科学総合研究センター長からのコメント | 理化学研究所
本年度のノーベル物理学賞が人工知能分野のジェフリー・ヒントン、ジョン・ホップフィールドの両博士に贈られたことは大変に喜ばしい。物理はもともと「物の理」を考究する学問であるが、これが「事の理」ともいうべき情報の理にまで幅を広げたのである。まさに物理は越境する。人工知能と神経回路網理論研究の源流は日本にもあり、その成果が国際的に活かされて今日のAI時代を迎えた。 ヒントン博士は多層神経回路網の確率降下学習法に始まり、ボルツマン機械、情報の統合、その他多くの画期的な仕事を成し遂げたのみならず、神経回路網を深層にすることで高度の情報識別が行えることを予見し、これに数々の工夫を加えることで画期的な成果を挙げた。人工知能の新しい道を切り開いたのである。 ホップフィールド博士は、神経回路網における連想記憶を提唱して、その容量をコンピュータシミュレーションにより導いて、この分野に多くの理論物理学者を惹きつ
The Intelligence Age
In the next couple of decades, we will be able to do things that would have seemed like magic to our grandparents. This phenomenon is not new, but it will be newly accelerated. People have become dramatically more capable over time; we can already accomplish things now that our predecessors would have believed to be impossible. We are more capable not because of genetic change, but because we bene
生成AIに「夢」を見せる→“過学習”を防ぐ 「人間が夢（合成データ）を見る理由も同じか？」 米研究者が21年に提唱
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。通常は新規性の高い、AI領域の科学論文を解説しているが、ここでは番外編として“ちょっと昔”に発表された個性的な科学論文を取り上げる。 X： ＠shiropen2 夢を見る目的は何なのか。従来の理論では、夢は記憶の固定化や情報の整理に役立つと考えられているが、夢を見る理由やメカニズムについてはいまだ十分に解明されていない。一方、夢と最も関連の深い睡眠段階を抑制すると、哺乳類の学習能力が低下することは以前から知られている。 研究者らは機械学習の概念を用いてこの問題にアプローチし、夢の役割について新しい視点を提示した。具体的には、夢が現実の経験を少し変形させたバージョンを提供することで、脳が特定のパターンに過度に適応するのを防いでいるというも
世界初、eスポーツ対戦直前の脳波から勝敗と強く関わるパターンを発見・実証～「実力が拮抗した試合」や「番狂わせ」を約80%の精度で予測～ | ニュースリリース | NTT
◆試合直前の脳波に勝敗と強く関わるパターンを発見しました。 ◆勝敗予測モデルに試合直前の脳波データを導入することで、従来困難だった「番狂わせ」のような不確定要素の多い試合結果も高精度に予測可能なことを実証しました。 ◆将来的には脳波のパターン分類に基づく個人のメンタルコンディショニングの確立が期待できます。 日本電信電話株式会社（本社東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、eスポーツ対戦直前の脳波に勝敗と強く関わるパターンの存在を世界で初めて発見し、この脳波データから直後の試合結果を高精度に予測することに成功しました。 本成果は、競技直前の脳に最適な状態が存在することを示すとともに、競技パフォーマンスの予測に脳情報が有効であることを示すものです。将来的に、スポーツ、医療、教育などさまざまな現場で活躍する人々の脳状態の最適化によるパフォーマンス向上や、熟練者の高度なスキ
デジタル生命？ Googleの研究者らが「自己複製するプログラム」の自然発生を確認【研究紹介】 レバテックラボ（レバテックLAB）
生命の起源と人工生命の研究分野は、生命の本質とその発生過程を探求している。両分野とも、「非生命」の状態から「生命」がどのように生まれるかを問うている。生命が出現するほとんどの基質に共通する特徴の一つは、自己複製が始まると同時に、その系の動態が大きく変化することである。 しかし、自然界で自己複製体がどのように発生したかについていくつかの仮説はあるものの、自己複製体が出現するための必要条件については、まだほとんど解明されていない。 研究チームは、単純なプログラミング言語や命令セットを用いて、計算環境における自己複製能力を持つプログラム（自己複製プログラム）が自然発生する過程を詳細に観察し分析した。この研究の中心となったのは、「Brainfuck」（BF）という極めて単純な言語を拡張した「Brainfuck Family」（BFF）と呼ばれる言語環境である。BFFでは、64バイトの長さを持つ13
レコメンドアルゴリズム入門：基礎から応用まで実装に必要な知識を解説 - Qiita
1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム
Python for Data Analysis, 3E
About the Open Edition The 3rd edition of Python for Data Analysis is now available as an “Open Access” HTML version on this site https://wesmckinney.com/book in addition to the usual print and e-book formats. This edition was initially published in August 2022 and will have errata fixed periodically over the coming months and years. If you encounter any errata, please report them here. In general
Sentencepiece : ニューラル言語処理向けトークナイザ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 少し時間が経ってしまいましたが、Sentencepiceというニューラル言語処理向けのトークナイザ・脱トークナイザを公開しました。MeCabやKyTeaといった単語分割ソフトウエアとは趣旨や目的が異なるソフトウェアですので、少し丁寧にSentencepieceの背景、応用、実験結果等をお話したいと思います。 サブワード ニューラル言語処理の中心となる要素技術にLSTM (RNN)があります。テキスト(トークン列)を低次元のベクトルに符号化したり、ベクトルからテキストを復号化したり、その応用範囲は多岐にわたります。ニューラル機械翻訳 (N
ＡＩが人よりすごい俳句を詠む？｜NHK
①「夜の鐘一つ鳴きけり秋の風」 ②「淋しさに飯を喰ふなり秋の風」 「秋の風」の季語が入った２つの俳句。このうち片方は江戸時代を代表する俳人、小林一茶の句。もう一方は最近盛んに句作を行っている新人の句だ。俳句に関心のある人はどちらが一茶の句かご存じだろうが、前提知識のない人はどちらの句を美しいと感じるのだろうか。 京都大学がおよそ４００人に７段階で美しさについてアンケートを行ったところ、①の句は平均４．９２、②の句は３．４２と、①を美しいと評価した人のほうが多かった。（京都大学 上田祥行特定講師や櫃割仁平氏らの調査） ネタを明かすと、実際に一茶が詠んだのは②の方。一方、①を詠んだのは、開発中の人工知能＝ＡＩだ。これまでにＡＩが詠んだ膨大な俳句から選ばれたひとつだという。素人目には、俳諧の巨人の句よりもＡＩ俳人が詠んだ句に美しさを感じるという、驚きの研究結果。 もはや芸術においてすら、ＡＩが人
AIモデルのsafetensors形式とは何者か？ckptと比較しつつ解説する
１，そもそもckpt形式のモデルファイルはどのようにデータを保存していたのか safetensors形式はckpt形式の様々な欠点の改善を目的として作られたデータ保存方法であり、HuggingFaceが主導しています。 そのため、safetensorsの利点を説明するにはまず従来のckptで何がアカンかったのか、ckptのデータ保存方法から読み解く必要があります。 .ckpt拡張子とpickleの関係 画像生成AI関連のモデルでよく目にする.ckptという拡張子は、「pickle」というPythonのモジュールを用いて直列化して保存されたデータに用いられる拡張子です。 データを直列化（バイト列に変換する）ことを「pickle化」・「ピクル化」と呼びます。 逆に、バイト列からデータを復元することを「非pickle化」「非ピクル化」といいます。 pickleモジュールを使って、例えば以下のよう
GPT-4V と Segment Anything で楽々アノテーション
これは GO Inc. Advent Calendar 2023 の 12 日目の記事です。 私 kzykmyzw は GO 株式会社でコンピュータビジョンに関する研究開発から実装までを担当しており、本記事もコンピュータビジョンに関連しますが、会社での業務とは無関係です。あまり専門的に深い話はしませんが、ある程度知識のある方を対象としていますのでコンピュータビジョンに関する一般的な用語は解説せずに使います。 はじめに 2023 年の 9 月頃に画像認識が可能な GPT-4V(ision) が ChatGPT 経由で使えるようになり、2023 年 11 月 6 日に行われた Open AI DevDay で API 経由でも使えるようになったことが発表されました。主な使い方はやはり画像を自然言語で説明させることかと思いますが、普段は物体検出やセマンティックセグメンテーション（以下セマセグ）と
無償入手可能な音声コーパス／音声データベースの一覧 - Qiita
無償かつ入手しやすい音声データセットをメモしています。 ライセンス・利用規約は「商用利用可能」「研究用途のみ」ともに紹介します。 コーパスを探すときに有用なサイト コーパス配布元サイト 音声資源コンソーシアム : 日本語コーパスが豊富、無償または有償で利用可能 緩いライセンスのコーパスでなくても良いときはここ 自発的発話の日本語音声コーパスはだいたいここにある 入手は要申請 所属や責任者を記入する必要があるため、研究者や企業でないと厳しい？ （この記事では音声資源コンソーシアムのコーパスは未掲載） Shinnosuke Takamichi: コーパス一覧 : 日本語中心。高道先生が携わっている音声コーパス 大量の日本語音声コーパスが配布されている 音声合成のコーパスをつくろう (Slideshare) : 2021年6月時点の音声コーパス事情 あなたにどうしても伝えたい30の音声コーパス
Human-in-the-Loop機械学習 - 共立出版
本書は、Human-in-the-Loop機械学習（人間参加型AI）の活用により、効率よく高品質な学習データを作成し、機械学習モデルの品質とアノテーションのコストパフォーマンスを改善する方法を解説する。実世界で応用されるほとんどの機械学習モデルは、人間のアノテーターが作成した学習データセットを利用して構築される。それゆえ機械学習を実世界の問題に応用していくには、この学習データセットをいかに高品質とするかが重要である。学習データセットが高品質なら、単純な機械学習アルゴリズムでも実用的に十分な性能を引き出すことができる。 本書では、アノテーションのプロセスに能動学習という機械学習手法を導入して、アノテーションの品質とコストパフォーマンスを劇的に向上させるテクニックを軸に、AIと人が互いに助け合いながらより良いAIシステムを開発するために役立つ、幅広く、かつ奥深い知見を提供する。本書は4部構成の
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
【Streamlitよりいいかも？】機械学習系のデモアプリ作成に最適！Gradio解説 - 学習する天然ニューラルネット
はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには？ 認証認可（というか認可） その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf
ニューラルネットワークの損失地形
yifeihu/TF-ID-base · Hugging Face
https://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2023/TohokuUniv/%E6%9D%B1%E5%8C%97%E5%A4%A7%E5%AD%A62023.pdf