はてなブックマーク

June 09, 2025 概要 Sakana AIはこのたび、会計不正検知をはじめとする高度な金融タスクにおける大規模言語モデル（LLM）の性能を測定する日本語金融ベンチマーク「EDINET-Bench」を開発しました。 今回公開する内容は以下です: 論文: EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements EDINET-Benchデータセット: https://huggingface.co/datasets/SakanaAI/EDINET-Bench EDINET-Bench構築ツール: https://github.com/SakanaAI/edinet2dataset EDINET-Bench評価コード: https://github.com/Sa

May 30, 2025 概要 AI研究者たちは長らく、どこまでも学習し続けるAIの実現を目指してきました。その一つの道筋が、AIに自分自身のコード（プログラム）を書き換えさせ、自己改善を促す方法です。ユルゲン・シュミットフーバー氏は20年以上前に、仮想的な自己改善型AIであるゲーデルマシン（Gödel Machine）を提案しました。ゲーデルマシンは、ある自己修正が改善につながると数学的に証明できた場合に、自身のコードを書き換え、それによって問題を最適に解くことができます。これは、AIが学習方法自体を学習する「メタ学習」の分野では重要概念となっています。 しかし、ゲーデルマシンはあくまで理論上の存在です。自己修正が改善をもたらすことを「数学的に証明できる」という、非現実的な仮定に基づいているためです。そこで私たちは、ブリティッシュコロンビア大学のジェフ・クルーン教授の研究室と共同で、より

April 01, 2025 「からまる」はSakana AIが開発した江戸古文風チャットボットです。現代日本語で質問すると、江戸時代の世界観と当時の古文風テキストで回答してくれます。学術プロジェクトと協力して、江戸時代の書物から約2500万文字のデータセットを構築し、大規模言語モデルを継続学習しました。からまるのデモはこちらでお試しいただけます。 概要 Sakana AIは、江戸時代の古文風テキストで会話できるチャットボット「からまる」を公開します。現代のテキストを学習した大規模言語モデル（LLM）に対して、江戸時代の書物など数千点以上から構築した江戸テキストデータセットを継続学習させることにより、現代日本語で質問すると江戸時代の古文風テキストで回答できるチャットボットを開発しました。回答の内容には江戸時代の世界観が反映されているため、過去の文化への没入感がより高い会話を楽しめるようにな

March 13, 2025 注：この実験はICLR主催者とそのワークショップ関係者の全面的な協力のもとで実施されたものです。「透明性と倫理的行動規範の重要性」のセクションを参照。 「AIサイエンティスト」によって作成された論文が、トップレベルの機械学習学会のワークショップで査読プロセスを通過しました。私たちの知る限り、これは完全AI生成論文が査読プロセスを通過した初めての事例です。 この論文は、昨年発表したAI Scientistの改良版であるAI Scientist-v2によって生成されたものです（AI Scientist-v2 の詳細は今後公開予定）。私たちは、国際学会ICLR 2025で行われるワークショップの協力を得て、AI生成論文を二重盲検レビューのプロセスに提出する実験を行いました。このワークショップは現実世界における深層学習の限界と課題に焦点を当てたものであり、幅広い研究を

Sakana AIは、2023年の創業以来、革新的なリサーチにフォーカスし、常に業界の枠を超える技術革新を追求してまいりました。今回、これまでの研究成果を実際のビジネスに展開するため、新たに「事業開発本部」を立ち上げました。 同本部長には、LINEヤフー株式会社でCDO（最高データ責任者）として大企業でのデータ・AI活用を牽引してきた谷口博基が就任します。谷口の下に、コンサルティングファーム、政府機関や事業会社の経験者からなるビジネスチームを設けるとともに、Preferred NetworksでCTO（最高技術責任者）としてAIの研究を実用化してきた奥田遼介の下に、第一線で活躍するAI技術者から構成されるエンジニアリング＆リサーチチームを設けました。 事業開発本部は、約20名の体制でスタートします。これにより、既存の研究開発チームと合わせ、Sakana AIの人員は合計50名規模となります

Note: Updated on February 21, 2025. At Sakana AI, we believe the path to develop much stronger AI systems is to automate the development of AI using AI. We aim to develop AI systems that can create even more capable and efficient AI systems. In the past year, we introduced an AI system that can automate the creation of new AI foundation models, at a fraction of the cost. We showed that LLMs can in

Sakana AIでは、より強力なAIシステムを目指すうえで取るべき道は、AIを使ってAIの開発を自動化することだと考えています。 昨年、私たちは、AI基盤モデルを従来より劇的に小さいコストで自動的に作成するAIシステムを開発し、LLMがLLMをトレーニングするためのより効率的な方法を作成できることを示しました。また、私たちはAI研究プロセス全体を完全に自動化する包括的なエージェントフレームワークである「AIサイエンティスト」を提案しました。そして、次にこの疑問が生じました。もしAIを使ってAIの研究ができるのであれば、AIを使ってAIをより速く動かすこともできるのでは？ The AI CUDA Engineer 現代のAIシステムはGPUなどのハードウェアアクセラレータによる並列処理に大きく依存しています。その点では人間の脳と同様です。しかし、エネルギーの制約下で効率的に動作するように（

新手法「TAID」によって学習された小規模日本語言語モデル「TinySwallow-1.5B」は、同規模のモデルの中で最高性能を達成しています。さらに、小規模のため、APIなどを介さずお手元のスマートフォンやPCで完結してチャットが可能です。ウェブアプリまたは、GitHubにてお試しいただけます。 本稿は、経済産業省とNEDOが推進するGENIACによって支援されたSakana AIの研究成果を紹介するブログシリーズの第3回目です。 概要 日常的な対話はもとより、数学やコーティングといった複雑なタスクまでも人間と遜色ないレベルでこなせるようになった大規模言語モデル（LLM）は、今後ますます多くの場面での利活用が期待されています。こうした大きな期待の一方で、LLMの開発・活用の現場では、莫大な計算資源の必要性が大きな壁として立ちはだかってます。まずLLMの開発現場では、「大規模データと巨大計

Summary Adaptation is one of the most remarkable phenomena in nature. From the way an octopus can change their skin color to blend into its surroundings, to how the human brain rewires itself after an injury, allowing individuals to recover lost functions and adapt to new ways of thinking or moving. Living organisms exhibit adaptability that allows life to flourish in diverse and ever-changing env

This is the second in a series of blog posts presenting the results of Sakana AI’s research projects that were supported by the Japanese Ministry of Economy, Trade and Industry’s GENIAC supercomputing grant. Summary At Sakana AI, we draw inspiration from nature to extend the capabilities of foundation models. This was evidenced in our recent work on improving performance with evolutionary model me

Sakana AIはLLMエージェントの集団を生み出す新技術「CycleQD」を開発しました。CycleQDは多様性に着目した進化的計算とモデルマージに基づいており、知識やスキルを忘却せず蓄積していく「生涯学習」の実現への第一歩です。 本稿は、経済産業省のGENIACによって支援されたSakana AIの研究成果を紹介するブログシリーズの第1回目です。 概要 生物界において「ニッチ（生態的地位）」各生物種が持つ独自の能力や特性によって決定される環境との関係性を指します。これには獲物の捕食方法や生息環境の選択など、生存に必要な様々な要素が含まれます。一度確立されたニッチは、他種からの侵入に対して高い耐性を持ち、その地位を脅かすことは容易ではありません。 この概念はAI分野にも応用可能です。AIエージェントの「ニッチ」は、そのエージェントが持つ能力や、実行可能なタスク、必要とするリソースによっ

Sakana AIは、自然から着想を得たアプローチで最先端の基盤モデルを進化させるという分野を切り開いてきました。今年の3月には、大規模言語モデル（LLM)を含む複数の基盤モデルの統合を自動化する方法を開発し、さらに6月には、LLMを使って、LLMをより効率的にトレーニングする方法を発見しました。 The AI Scientist そして今回我々は、「LLMを使って、研究開発プロセスそのものの自動化する」という革新的な技術を開発しました。我々は、これを「The AI Scientist」（AIサイエンティスト）と命名し、オックスフォード大学とブリティッシュ・コロンビア大学との共同研究により、「The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery」という論文にまとめて公開しました。ソースコードもオー

At Sakana AI, we have pioneered the use of nature-inspired methods to advance cutting-edge foundation models. Earlier this year, we developed methods to automatically merge the knowledge of multiple LLMs. In more recent work, we harnessed LLMs to discover new objective functions for tuning other LLMs. Throughout these projects, we have been continuously surprised by the creative capabilities of cu

概要 Sakana AIは、進化的モデルマージという手法を提案し、この手法を用いて大規模言語モデル（LLM）や視覚言語モデル（VLM）、画像生成モデルなど様々な能力を獲得したマージモデルを生み出してきました。今回、私たちは進化的モデルマージを活用して複数の画像について質疑応答できる日本語のVLM、Llama-3-EvoVLM-JP-v2を新たに公開します。さらに、構築したモデルを評価するために複数の画像についての日本語での質疑応答能力を評価するためのデータセット、Japanese multi-images visual question answering (JA-Multi-Image-VQA)も公開します。 本リリースの要点は以下の通りです。 複数の画像を扱え日本語で応答可能な新たなVLMを作成しました。 強力なオープンソースLLMであるLlama-3をベースにしたモデルを使うことで、

今回公開するモデルは、プロンプトから画像を生成するEvo-Ukiyoeと、古典籍の挿絵をカラー化するEvo-Nishikieモデルです。これらのモデルが、歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待しています。 概要 Sakana AIは、日本の美を学んだAIとして、浮世絵風画像生成モデルEvo-Ukiyoeと、浮世絵カラー化モデルEvo-Nishikieを公開します。Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデルEvo-SDXL-JPを基盤とし、浮世絵画像を大規模に学習することで、日本語に対応し、かつ浮世絵の特徴を学んだ画像生成モデルができました。 このリリースの要点は以下の通りです。 Evo-Ukiyoeは、日本語のプロンプトを入力

Sakana AIは2025年8月7日、当社初となるApplied Engineer向けのOpen Houseイベントを実施。現地で約70名、オンラインで200名を超える方のご参加をいただきました。 read more 「Sakana AIは学術研究のイメージが強いけど、どうビジネスにつなげるの？」━━Sakana AIでは「Applied Team」が本格始動し、最先端AIの社会実装に取り組んでいます。その内実を、2名のチームメンバーに聞きました。 read more Following our 2024 research on evolutionary model merging, a technique for “mixing to create” better models from existing ones (left), we are now tackling the cha

Summary At Sakana AI, we harness nature-inspired ideas such as evolutionary optimization to develop cutting-edge foundation models. The development of deep learning has historically relied on extensive trial-and-error by AI researchers and their theoretical insights. This is especially true for preference optimization algorithms, which are crucial for aligning Large Language Models (LLMs) with hum

日本語プロンプト対応の高速画像生成モデルEvoSDXL-JPで生成した画像の例。プロンプトは「可愛いゾウの編みぐるみ」、「ラーメン、浮世絵、葛飾北斎」、「折り紙弁当」、「（下町ロケット、東京サラリーマン）、浮世絵」など 概要 Sakana AIは先日、進化的アルゴリズムを用いた基盤モデル構築の手法「進化的モデルマージ」を提案しました。また、進化的モデルマージにより構築された日本語の大規模言語モデルEvoLLM-JPと画像言語モデルEvoVLM-JPを公開しました。これらのモデルは、言語生成を目的とした自己回帰型Transformerモデルでした。今回私たちは、進化的モデルマージの可能性をさらに示すために、画像生成タスクで広く用いられる拡散モデルへの適用を行いました。 このリリースの要点は以下の通りです。 画像生成で昨今用いられている拡散モデルに進化的モデルマージを適用しました。言語生成モデ

更新（2025年1月28日） 論文「Evolutionary Optimization of Model Merging Recipes」が論文誌「Nature Machine Intelligence」に採択され本日掲載されました。最新バージョンでは本アプローチをさらに実証する新たな実験結果を含んでいます。ぜひ以下からご覧ください。 https://www.nature.com/articles/s42256-024-00975-8 Sakana AIは2024年3月に「進化的モデルマージ」を公開し、大きな反響を呼びました。公開時には国内外の多くのメディアに取り上げられニュースになりました。進化的モデルマージはmergekitやOptuna Hubといった著名なOSSフレームワークにも実装され、多様なユーザーがそれを活用し、数々の個性的なモデルが作成・公開されてきました。また、社内外の複

Last update: August 2025. Added UI/UX Designer position. Interested in joining us? We’re hiring! Although we are a small lab, we are always looking to bring on exceptional talent to join our team. If you are interested in applying for one of the positions in this post, please follow the below two steps: Complete this Google Form. Email careers@sakana.ai with a description about yourself. Indicate

We are building a world class AI research lab in Tokyo. We want to develop AI solutions for Japan’s needs, and democratize AI in Japan. For more information, please visit our blog, careers, corporate info page, or contact info@sakana.ai