毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIがAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIがAIを設計している部分
こんにちは。 カバー株式会社CTO室エンジニアのIです。 今回はタレントさんが普段の配信で使用しているホロライブアプリのトラッキングシステムについて紹介します。 弊社のタレントさんが自宅から３Dモデルを使った配信を行う、通称「おうち３D」では複数のトラッキング方式が複合的に利用されていることにお気づきでしょうか？ カバーのスタジオでは本格的なモーションキャプチャー設備を用いて多自由度かつ精度の高い3D配信が可能ですが、おうち３Dでは自宅でも簡単かつ表情豊かなトラッキングが利用できることを目指しています。 ※おうち３D配信参考リンク 【おうち3D凸待ち】mocopiに敗北したぺこマリ【ホロライブ/宝鐘マリン・兎田ぺこら】 トラッキング入力の種類おうち３Dでは複数のトラッキング入力からさまざまなデータを受け取り、合成した後、タレントの３Dモデルの全身に適用しています。 トラッキング入力の種類に
プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB
関連研究 ■GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト ■LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト ■LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法 従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプローチは効果的である場合も多いですが、スケーラビリティに欠けるという問題があります。大規模言語モデル（LLM）が多様なタスクで使用される現代においては、プロン
プロンプトエンジニアリングを最適化する為のフレームワークSAMMOを実際に使ってみた - Taste of Tech Topics
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
日本語LLMベンチマークと自動プロンプトエンジニアリング - Preferred Networks Research & Development
大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニングによる改善もさることながら、プロンプトの違いが性能を大きく左右します。本稿ではプロンプトを自動的にチューニングすることによって、LLMの能力を最大限に引き出し、与えられた課題の精度をどこまで高められるのかを検証します。 * 本稿で解説するプロンプトチューニング技術は、PLaMo-13B公開時の性能評価には用いていません。 プロンプトエンジニアリングについて LLMを使ったチャットシステムでは、ユーザーからの問い合わせ内容を改変してLLMに入力することがあります。例えば、図
2023 年に大規模言語モデルは多数発表されていますが、どれを選べばよいかは依然として曖昧です。その理由の一つにユースケースと評価方法のミスマッチがあると考えています。例えば、営業メールの草案を生成するモデルを選ぶとき、質問回答データセットの評価結果がどれだけ意味があるかは不透明です。誰かにメールを書いてもらいたいとき、東海道新幹線の速度について知っていることを基準にするか ? という話です。 本記事では、マッキンゼーが公開した The state of AI in 2023 から生成系 AI の企業利用が盛んな領域について示唆を得て、大規模言語モデル評価の方向性を提案します。日本の AI 導入効果は米国の 7 分の 1 程度しかないといわれており、生成系 AI のインパクトは限定的になると見込んでいます。生成系 AI の応用を加速するにはカスタマイズが必要な汎用モデルだけでなく、ユースケ
仮想生物シム『ANLIFE』発表。超有名アニメ監督に「なにか生命に対する侮辱を感じる」と評された開発者が贈る - AUTOMATON
開発中の動画を！これが私の人生で３回目の人工生命シミュレータのリリースです。 遺伝や自然選択など、進化のメカニズムが組み込まれた世界で、モーションを学習する仮想生物が進化します。プレイヤーは創造主として自然を操り、生物の学習や進化に介入して遊べる予定！https://t.co/sXGYB860SI pic.twitter.com/EJoAamC8Z5 — 人工生命の開発諦めない人 (@nakamuu_m) August 31, 2023 『ANLIFE』は、仮想生物の営みをシミュレートする作品だ。本作には一般的なゲームと違い、ゴールなどは設定されていないという。本作でプレイヤーは創造主となり、物理エンジンベースの世界で活動する「モーションを自己学習していく仮想生物」を創り上げ観察。仮想生物たちが進化していく過程を楽しめるという。 仮想生物たちは、ダーウィンの提唱した自然選択（あるいは自然淘
ED法への生理学的な考察 - Qiita
初めまして。普段は産婦人科医をしつつAIの医学応用に関する研究をしています。 Qiitaは見る専でしたが、以下のバズっている記事を拝見した時、生理学の神経構造の話をふと思い出したのでメモ代わりに記載しようと思います。 読みにくい部分があれば申し訳ありません。 とくに@pocokhc(ちぃがぅ)さんの記事のコード詳細と実験内容を見ていた時、実際の神経系の構造とあまりに似ていたことにびっくりしました。 まず、興奮性ニューロンと抑制性ニューロンの2種類から構成されるED法の構成ですが、これは実際の神経系でも同様の構造になっています。実際の神経はシナプスのつながりをニューロンと言います。信号を伝える側の興奮性シナプスに電気が走ると、電位依存性のカルシウムチャネルが開き、Caが放出されます。このCaの影響でシナプスの末端にある小さな袋から神経伝達物質（中枢神経系では主にグルタミン酸）が放出されます。
正規表現とは何なのか、makenowjustが正規表現に興味を持ったきっかけ。深掘りRubyKaigi 2023 with spikeolaf & makenowjust 文字起こしレポート vol.1 - STORES Product Blog
2023年6月15日に『深掘りRubyKaigi 2023 with spikeolaf & makenowjust』を開催しました。イベントの内容をほぼ全文文字起こし形式でお届けします。この記事は第1部です。 hey.connpass.com イベントのアーカイブはYouTubeでも公開しています。 www.youtube.com 登場人物 ゲスト makenowjust/藤浪 大弥さん spikeolaf/金子 雄一郎さん STORES fujimura/藤村 大介 shyouhei/卜部 昌平 hogelog/小室 直 正規表現に興味を持ったきっかけ fujimura：最初は藤浪さん、makenowjustさんに正規表現の発表について伺おうと思います。まずは改めてRubyKaigi 2023でどんなことを発表したかを紹介いただけないでしょうか？ makenowjust：Rubyの正規
既存のAIモデルを組み合わせて超高性能モデルを作る手法を日本のAI企業「Sakana AI」が開発、進化的アルゴリズムで膨大な組み合わせを試行し人間には発想困難な高性能LLMや画像生成モデルを作成可能
東京に拠点を置くAI企業「Sakana AI」が、複数の生成AIモデルを進化的アルゴリズムを用いて組み合わせて新たなモデルを作り出す手法を開発しました。Sakana AIはすでに大規模言語モデルや画像生成モデルの作成に成功しており、各モデルは既存のモデルよりも高い性能を備えていることが確かめられています。 進化的アルゴリズムによる基盤モデルの構築 https://sakana.ai/evolutionary-model-merge-jp/ [2403.13187] Evolutionary Optimization of Model Merging Recipes https://arxiv.org/abs/2403.13187 ◆技術の概要 生成AIモデルをゼロから作成するには、高性能なGPUを大量に用意して膨大な計算処理を実行する必要があります。一方で、既存のモデル同士を組み合わせて新
有名人の卒業論文 中島健人 明治学院大学の社会学部を卒業した中島に、司会者が卒論のテーマを聞くと、中島は「“なぜ人は恋に落ちるのか？”です」と返答。思わぬ回答に、ネプチューンの原田泰造（４７）は「ロマンチックだな」とひと言 伊野尾慧 津波避難に係る学校施設の整備のあり方 : 津波被害のあった小中学校の避難に係る事例検証を通して 宮沢氷魚 そして流れで、卒論が話題に。テーマが「東京都内の川の環境変化について」だった宮沢は「川が大好きで」と屈託のないキラキラした表情を見せると、藤原は「知らない一面出てきた」とツッコミ。宮沢は「江戸時代から平成まで、どう川が変わってきたのか。そして、その川がどう社会的貢献度をもたらしたか。1年かけて英語で85ページから100ページぐらい書いた。大変だったけど楽しかった。全然、苦じゃなかった」と笑顔をはじけさせ「音読したいぐらい結構いいのが書けた。いまだにICUに
前回の続きです 遺伝的アルゴリズムのサンプルコード 参考文献 「C言語による画像処理入門」2000/11/1 (著)安居院 猛、長尾 智晴 文献のAmazon 準備 # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt from threading import Thread class threadAndReturn(Thread): def __init__(self, group=None, target=None, name=None, args=(), kwargs=None, *, daemon=None): Thread.__init__(self, group, target, name, args, kwargs, daemon=daemon) self._return = N
大規模言語モデルが言語を話す仕組みを利用して3Dオブジェクトを生成するAI「MeshGPT」が登場しました。 MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers https://nihalsid.github.io/mesh-gpt/ [2311.15475] MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers https://arxiv.org/abs/2311.15475 MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers - YouTube 大規模言語モデルは言語を話せるほか、トレーニング次第ではプログラミング言語を「話す」ことが可能になりま
【検証】ChatGPTの有料版「GPT-4」にファイルを読み込ませて中身を説明させたらどうなる？ 試したら…精度バケモンだった！
» 【検証】ChatGPTの有料版「GPT-4」にファイルを読み込ませて中身を説明させたらどうなる？ 試したら…精度バケモンだった！ 特集 【検証】ChatGPTの有料版「GPT-4」にファイルを読み込ませて中身を説明させたらどうなる？ 試したら…精度バケモンだった！ アキル 2024年1月28日 前からものすごく気になっていたChatGPTの有料版「GPT-4」。迷った末思い切って登録したよ。いやー何だか大きな買い物をした気分だよ。 GPT-4では、様々なファイルを読み込ませて内容を説明させることが出来ると言われている。これ、場合によってはめっちゃ便利なんじゃね？ というわけで、今回はGPTさんに色んなファイルを読み込ませて検証していくよ！ ・検証方法 方法は簡単、ChatGPTではアップロードできるファイルの種類に制限がないから、今回はパソコンにあるファイルを片っ端から読み込ませる。
EDLA
誤差拡散学習法のサンプルプログラム 99/7/12 公開 99/7/16 詳細追加 99/8/6 一部修正 99/8/19 論文追加 99/10/27 経過報告 ED法サンプルプログラム（UNIX汎用、tgz、4KB） 階層型神経回路網（ニューラルネットワーク）の教師あり学習アルゴリズムである誤差拡散学習法（ED法）のサンプルプログラムです。 比較のために用いたバックプロパゲーション法（ＢＰ法）のサンプルプログラムも示しておきます。 慣性項ありBP法のサンプルプログラム（UNIX汎用、tgz、4KB） なお、これらのプログラムでは、階層型構造をリカレント型の一種とみなして計算しています。また、パラメータ入力の際には、単にリターンを押すとデフォルト値（括弧の中の値）が用いられるようになっていますので、実行の際にはリターンを連打すればＯＫです。また、X-Windowを用いてトータルエラーのグラ
こんにちは、フォルシアのエンジニアの西海です。 エンジニアの皆さんは日々様々な技術ブログを読んで勉強をされているかと思います。 今年の私はAI画像認識関連の記事を読み、アイディアを開発で活用したほか、記事のレベルが高いなと普段から感心しているヤフーさんやメルカリさんの技術ブログを中心に読んできました。 ところで、2023年も終わりが近づき、ふと「今年公開された記事の中で、見落としている良記事がまだあるのではないか」と考えました。 そこで、「下記のような基準でエンジニアからの反響が大きかった記事を探すと、まだ読んでなかった良記事に出会えるのではないか？」と考え、実際に探して50記事程読んでみました。 先日発表された「開発体験が良い」イメージのある企業ランキング上位30社に入っている企業のうち、社員数800名未満のベンチャー・中小企業を対象とする。 「はてなブックマーク数＋掲載元媒体のいいね・
2023年もマテリアルズ・インフォマティクス（MI）の論文紹介を続けることができました。昨年に引き続き、今年も備忘録のために個人的注目論文を5本書き留めておきます。 大規模結晶材料データベース 2023年に発表された論文の中で最も読んでおくべきと思ったのは、やはりDeepMindさんが計算で38万もの合成可能性の高い材料を予測したものです。 これまでに計算によって熱力学的に安定とされた材料は高々数万件しかなかったのに対し、この論文によって材料データ空間が1桁広がったのはすごいです。 僕はボストンで開催された2023 MRS fall meetingにてこの発表を立ち見で聞いていたのですが、投影された数字を見て「？」となりました。 この論文ではブレークスルー技術が明確にあったわけではなく、「こんなことができればいいなぁ」と誰しもが思い描いていた内容であったと思いますが、それをちゃんと組み上げ
ヘイトスピーチの何が問題なのか | 法政大学出版局
A5判 / 330ページ / 上製 / 価格 4,400円 (消費税 400円) ISBN978-4-588-15136-1 C1010 [2024年03月 刊行] 「言論の自由」や「表現の自由」との関係など、法規制の是非も含め、ヘイトスピーチをめぐる議論は錯綜している。ヘイトスピーチそれ自体の悪さは、話し手の意図にあるのか、言葉それ自体にあるのか、言葉において実行される行為にあるのか、あるいはその行為が惹き起こす結果にあるのか。言語哲学、法哲学、情報学、文学の学際的観点から、ヘイトスピーチと差別に関する問題の本質を究明する。 本多 康作（ホンダ コウサク）本多 康作（ホンダ コウサク） 神戸大学大学院法学研究科理論法学専攻博士後期課程修了。博士（法学）。摂南大学法学部准教授。法哲学。主な業績に、本多康作・蓮沼啓介「いかにして『合意は拘束する（pacta sunt servanda）』のか
★AIDB会員限定Discordを開設いたしました！ 会員登録／ログインの上、マイページをご覧ください。 --- これまでのLLMの使用法は、モデルの動きを観察し、その反応に基づいてプロンプトを調整するという方法に重点が置かれてきました。しかし、プロンプトの効果を微細に制御するには不十分といえます。 この問題に対処するため、センスタイム社を含む研究者たちが開発したのが『ControlPE』（Continuously Controllable Prompt Engineering）です。ControlPEは、プロンプトによるLLMの動きを直接調整する手法です。モデルの挙動を細かく直接的に制御することを目指しています。 ControlPEはモデルを直接編集することなく実現します。そのため、開発者や研究者はLLMをカスタマイズする際に大きなリスクやリソースを必要としません。本記事では背景、ポイン
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 モデルに関して、予測精度の高いモデルを構築することも重要ですし、構築したモデルを解釈することでデータセットが取得された実験系やシミュレーション系に新たな知見をフィードバックすることも大事です。モデルの予測精度の向上や解釈性の向上のため、x を検討することが行われます。特徴量エンジニアリングと呼ばれることもあります。 特徴量・記述子を検討・設計するときの心構え分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・
We introduce TurboGP, a Genetic Programming (GP) library fully written in Python and specifically designed for machine learning tasks. TurboGP implements modern features not available in other GP implementations, such as island and cellular population schemes, different types of genetic operations (migration, protected crossovers), online learning, among other features. TurboGP's most distinctive
社内ランチ会のグループ分けを遺伝的アルゴリズムで最適化してみた - Insight Edge Tech Blog
Introduction こんにちは、データサイエンティストの善之です。 Insight Edgeでは社内のコミュニケーション活性化を目的として定期的にシャッフルランチを開催しています。 企画の全体像については以前ntさんに投稿いただいた 社員同士の距離を縮める！シャッフルランチ会開催レポート をご覧ください。 今回は、ntさんの記事で詳しく触れていなかった「グループ分けを最適化するアルゴリズム」の詳細をご紹介したいと思います。 目次 実現したいことと課題 要件の整理 アルゴリズムの概要 Pythonで実装 実行結果 引き継ぎのためにStreamlitでUIを作成 まとめ 実現したいことと課題 ランチ会の目的は以前の記事にも記載の通り、コミュニケーション活性化のために社員同士の接点を増加させることでした。 したがって、普段あまり接点がない人どうしをランチ会でできる限り巡り合わせることが最大
『がんばれ森川くん2号』など手がけた“ゲーム×AIの先駆者”森川幸人に訊く 「生成AIとゲーム」の理想的な関係って？ 今日の世界において、もはや生成AIの話題を耳にしない日はない。 2022年にテキストから画像を生成するAI『Mid Journey』のオープンベータ版が公開されたのち、同年11月には『ChatGPT』が無料公開された。テキストを入力するだけでこれまでに無いくらい自然な応答文が返ってくるという革新性に多くの人が刺激を受け、一気に「AI」を巡る開発競争に火が着いた。 その活用はチャットボットから深層学習を活用した機械制御まで、ありとあらゆるジャンルに広がりつつある。そして、「生成AI×ゲーム」という組み合わせも、いま注目されている分野のひとつだ。今後、同分野はどのような進化を遂げるのだろうか？ 各ジャンルのAIに詳しい方々に話を聞く特集『生成AIとカルチャー』。今回は『がんばれ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プレ・シンギュラリティ、もう始まってない?｜shi3z
おうち３D配信を支えるトラッキングシステムについて｜カバー株式会社 公式note
マッキンゼーのレポートに見る企業応用を促進する大規模言語モデルの評価方法｜piqcy
有名人の卒業論文 中島健人 明治学院大学の社会学部を卒業した中島に、司..
遺伝的アルゴリズムに並列化プログラミングの実施と考察 - Qiita
大規模言語モデルが文章を扱うように3Dオブジェクトを扱える生成AI「MeshGPT」が登場
11年目のフルスタックエンジニアがおすすめする「2023年のうちに読んでおくべきテックブログ」14選
2023年の読んでおきたいマテリアルズ・インフォマティクス論文5選
プロンプトを調整しないLLMのプロンプトエンジニアリング新手法『ControlPE』 | AIDB
理論が先か、データ解析・機械学習が先か、特徴量エンジニアリングの方針と注意点
TurboGP: A flexible and advanced python based GP library
『がんばれ森川くん2号』など手がけた“ゲーム×AIの先駆者”森川幸人に訊く 「生成AIとゲーム」の理想的な関係って？