2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をピックアップして解説する連載「生成AIウィークリー」から、特に興味深い技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、大規模言語モデル（LLM）は自身が出力する「幻覚」（ハルシネーション）からは避けられない現象を指摘した論文「LLMs Will Always Hallucinate, and We Need to Live With This」に注目します。幻覚とは、事実と異なる出力をLLMが実行してしまう現象を指します。 この研究では、LLMの幻覚が単なる偶発的なエラーではなく、これらのシステムに内在する避けられない特性であると主張しています。研究者らは、幻覚がLLMの根本的な数学的・論理的

AIもすごいが、人間のゲーマーだって負けていない。大人気ゲーム『ボーダーランズ3』を愛する世界中450万人のゲーマーのプレイによって、膨大な腸内細菌叢のDNA解析が大きく進んだそうだ。 これはゲーム内のミニゲーム『ボーダーランズ・サイエンス』を利用した独創的なアイデアで、そのパズルをクリアしてもらうことで、100万種類以上の腸内細菌叢の進化をたどることができたという。 最高コンピューターアルゴリズムですら未だ成し遂げられていない偉業は、『Nature Biotechnology』（2024年4月15日付）で報告されている。 無数の腸内細菌はどのように進化してきたのか？ 私たちのお腹の中には無数の腸内細菌が潜んでいる。 普段は意識しないが、こうした腸内細菌叢（腸内フローラ）は、私たちの体の機能や健康にとても大切な役割を果たしている。だから、どの細菌がどのような働きをするのか理解できれば、私た

研究者らはLLMが使用されているかを調査するために、AIによって生成または修正されたコンテンツを効率的に調査するための新たなフレームワークを開発した。個々のテキストがAIによるものか人間によるものかを判定する従来のAIテキスト検出手法とは異なり、このフレームワークでは、テキスト全体（コーパス）の中でAIによるものがどのくらいの割合を占めているかを推定することに焦点を当てている。 具体的には、人間の専門家が書いた査読（以下、人間レビュー）とLLM（ここではGPT-4を使用）が生成した査読（以下、AIレビュー）を参照データとして使い、それらのデータから推定された単語の出現分布を比較することで、実際の査読コーパスにおけるLLMの使用割合を推定する。 ▲提案フレームワークの概要 実験では、2018年から2024年までのICLR、NeurIPS、EMNLP、CoRLなどのAI関連のトップカンファレン

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米スタンフォード大学、米ノースウェスタン大学、米コーネル大学に所属する研究者らが発表した論文「Can large language models provide useful feedback on research papers？ A large-scale empirical analysis」は、大規模言語モデル（LLM）が研究論文の査読を行えるかを調査した研究報告である。この検証のため、論文の査読を自動で行うシステムと、LLMによる査読コメントと人間による査読コメントとの間の共通点を探るシステムを開発した。 学術雑誌に投稿される研究

「禅とオートバイ修理技術」これら2つの間にどのように関係があるのかまるで見当が付かず、タイトルだけ聞くとキワモノのようだがWikipediaによるとアメリカでは一番良く売れた哲学書とされている。 海外のエンジニアのブログを読み漁っていた時にオススメされていたのでKindleで買って読んだのだが想像以上に良かったのでメモを残したい。と言ってもwikipediaで説明されている内容を改めて説明しても面白くないのでソフトウェアエンジニアとして響いた部分を引用して僕の感じた事を書き連ねていく。 大都市の重工業地帯に一歩でも足を踏み入れてみれば、そこにはその全てが存在している。テクノロジーである。正面には有刺鉄線を施した高い塀が立ちはだかり、門は常に閉ざされ、「立入禁止」の札が掛かっている。そしてその向こうの薄汚れた大気の中には、金属や煉瓦で造られた醜い建物が立っている。その目的は不明であり、またそ

デベロッパーのEktorom Softwareは6月8日、『Steam Engine Simulator』をリリースした。対応プラットフォームはPC（Steam）で、価格は無料となっている。 『Steam Engine Simulator』は、小型の蒸気機関シミュレーターだ。機関内に水を入れ、火力を調整。回転によりピストンを動かし、ブレーキとスロットルを調整し、蒸気機関を動作させる。最初は手探りの状態でのスタートとなるが、丁寧なヒント機能も用意されており、それに従えば蒸気機関を動作させやすいだろう。 本作にて、できることは蒸気機関を動かすことだけ。しかし、火力やブレーキ、スロットルの細かな調整による蒸気機関の動きの変化や、回転の仕組みを思う存分観察できる。また、蒸気発生時の動きや音も気持ちがいいので、最高回転率を求めるプレイや、自分が思う心地のいい動きを追い求めるのもいいだろう。 『Ste

","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 --><!--株価検索 中⑤企画-->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ

Takuya Kitagawa/北川拓也 @takuyakitagawa 近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n Takuya Kitagawa/北川拓也 @takuyakitagawa AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n Takuya Kitagawa/北川拓也 @takuyakita

Metaのエンジニアリング・ブログより。 BY オレグ・オブレウコフ、アフマド・ビャゴウィ うるう秒の概念は、1972年に国際地球回転・基準系事業(IERS)によって初めて導入された。これは、観測された太陽時(UT1)に不確定性があり、地球の自転が長期的に減速しているため、協定世界時(UTC)を定期的に更新しようという試みだった。この定期的な調整により、科学者や天文学者はほとんどの用途でUTCを使用して天体を観測することができるようになり、主な恩恵を受けてきた。もし、UTCの補正がなければ、天体観測のためにUTCに同期するレガシー機器とソフトウェアに調整を加えなければならなくなる。 うるう秒が導入されて以来、今日までUTCは27回更新されている。 1972年当時、うるう秒は科学界と通信業界の双方を満足させるものだったが、最近のUTCはデジタル・アプリケーションと科学者の双方にとって等しく悪

Fortranからプレプリントアーカイブまで、プログラミングとプラットフォームの進歩は、生物学、気候科学、物理学を新たな高みへと導いた。 2019年、イベント・ホライズン・テレスコープ（EHT）のチームは、ブラックホールの実際の姿を初めて世界に見せてくれた。彼らが発表したリング状に輝く天体の画像は、従来の写真とは違い、計算によって得られたものだ。具体的には、米国、メキシコ、チリ、スペイン、南極点の電波望遠鏡が捉えたデータを数学的に変換することによって得られたのだ1。研究チームは、その知見を記載する論文とともに、ブラックホールの撮影に用いたプログラミングコードも公開した。科学コミュニティーが自分たちのやり方を確認し、それを足場にできるようにするためである。 このようなパターンは、ますます一般的になりつつある。天文学から動物学まで、現代のあらゆる偉大な科学的発見の背後にはコンピューターがある。

COCOAは途中まで私たち補佐官も入っていたので、決して運用保守を軽視したつもりはなかったのですが、EN API自体のプライバシー哲学に沿おうとすると既存のデバッグ用ツールがほぼ使えなくなってしまったのと、EN APIの更新がスマ… https://t.co/iQ5kltAo9k

Excelで「1-1」のように入力するだけで自動的に「1月1日」と変換してくれる機能は時には便利ですが、単純に「1-1」と入力したかった場合はおせっかいに感じることも。実際に、この機能による「人間の遺伝子の略称を勝手に日付に変換してしまう」という問題が遺伝子学者を悩ませており、ついに科学者側が根負けして遺伝子の名前が変更されることになったと報じられています。 Scientists rename human genes to stop Microsoft Excel from misreading them as dates - The Verge https://www.theverge.com/2020/8/6/21355674/human-genes-rename-microsoft-excel-misreading-dates Excelが文字列を勝手に変更し、使用者の意図しない表記

数学的な内容を表現したアニメーションをいろいろ作って遊んでます。例えばこんなのとか。 素因数ビジュアライズ。大きく灰色で表示された数字の素因数が線を横切ります pic.twitter.com/z1MHJzPtbv — 鯵坂もっちょ🐟 (@motcho_tw) February 7, 2018 たくさんの点を、それぞれの点に書かれた数に応じた速度で回すことにより、大きく灰色で表示された数の素因数を表現しているわけです。楽しいですね。 こんなのもあります。 3Dで図示してみました。 pic.twitter.com/AF2R1QEtqk — 鯵坂もっちょ🐟 (@motcho_tw) April 12, 2017 九九におけるの段の「一の位」は、ぐるぐる回る点によって表現することができます。面白いですね。 変わったものでは、こういうのもあります。 惑星が「惑星」と呼ばれる理由ですhttps:/

人は何を基準にトイレの個室を選ぶのか！？世界遺産・二条城のトイレの使用状況を見える化してみて分かったこと 世界文化遺産登録されている元離宮二条城は季節を問わず、多くの観光客が訪れる人気スポットだ。 二条城と言えば、歩くと「キュッキュッ」と音が鳴るように作られているウグイス張りの床や極彩色の唐門などを思い浮かべる方も多いかも知れないが、ここは、江戸幕府の始まりと終わりに当たる徳川家康の将軍宣下に伴う賀儀と、徳川慶喜が大政奉還の意思表明をした場所であり、いわば江戸時代を象徴する歴史的建築物だ。 だが、今回の記事は、歴史の話ではない。今回は長い歴史の中で、人類と切っても切れない関係性にあるトイレ事情の話がこの記事の焦点となる。実はこの二条城、歴史ある世界遺産でありながら、そのトイレ設備には世界最先端の技術が使用されている。 ウイングアーク１ｓｔ株式会社と株式会社シブタニおよびローム株式会社は京都

Sep 17, 2018 ソフトウェアエンジニアの分野で活躍する女性がもっと増えてほしいという議論が日本だけでなくさまざまな場所で行われています。 数字で正確に推し量る事は難しいですが、やはり男性が多数を占める業界であるという認識が共有されています。 2013年にサンフランシスコで行われたJessica Lynn Suttlesさんの講演は個人的に目からウロコの内容でした。 歴史を紐解いて見ると、プログラミングへの大きな貢献を残した女性は数多く「女性が切り開いた業界」であるという一面があります。今回は海外で行われた講演や記事から読み取れる内容をまとめます。 その後、Ruby On Alesにてほぼ同じ内容の講演が行われこちらはアーカイブが残っています。(関係ないですが、confreaksはいいサイトですね。) The History of Women in Programming 世界初の

Jul 29, 2018 義務教育ではないものの、高校ではプログラミング教育を含むIT教育が「情報」という教科として2003年から実施されてきています。 今回は情報の教科書を再び大人買いしましたので、全ての教科書に目を通した上でそれぞれの教科書の特徴を見ていきます。 以前の記事でも触れましたが、教科書は教科書会社が学習指導要領を元に作成し、教科書検定を受けたものが各学校によって採択され使用されます。 教科書に掲載されているからといってその内容がそのまま授業で行われるわけではないのは注意が必要です。 今回はその中でも平成28年に検定を受け、現在使用されている下記の6つの教科書を紹介します。 前置きが長くなりそうなので、各教科書について見たい方はジャンプしてください。 東京書籍 - 情報の科学 [情科306] 実教出版 - 最新 情報の科学 新訂版 [情科307] 実教出版 - 情報の科学 新

Jul 22, 2018 プログラミング教育を日本の学校で実施することについての議論の際に漠然と日本の取り組みは遅れているというイメージを持っている方は居るのではないでしょうか？ 文部科学省のウェブサイトには諸外国での取り組み内容を文献調査、実地調査を交えて調査した260ページにも及ぶレポートが公開されており、このレポートを読むと諸外国でどのような取り組みが行われているかを知ることができます。（蛇足ですが、私は政府や行政の公開した統計や報告書を読むのが趣味です） 学校教育 - 情報教育指導力向上支援事業（諸外国におけるプログラミング教育に関する調査研究） 学校教育の制度は国ごとに違っており、単純な比較は難しいのですが、なんとか全体像を一覧表にしてみました。 以降の記事では筆者の印象で「小学校」「中学校」といった日本の制度に便宜上言い換えて表現をしますが年数や制度などは日本の制度とは基本的に