はてなブックマーク

Sakana AIは、2023年の創業以来、革新的なリサーチにフォーカスし、常に業界の枠を超える技術革新を追求してまいりました。今回、これまでの研究成果を実際のビジネスに展開するため、新たに「事業開発本部」を立ち上げました。 同本部長には、LINEヤフー株式会社でCDO（最高データ責任者）として大企業でのデータ・AI活用を牽引してきた谷口博基が就任します。谷口の下に、コンサルティングファーム、政府機関や事業会社の経験者からなるビジネスチームを設けるとともに、Preferred NetworksでCTO（最高技術責任者）としてAIの研究を実用化してきた奥田遼介の下に、第一線で活躍するAI技術者から構成されるエンジニアリング＆リサーチチームを設けました。 事業開発本部は、約20名の体制でスタートします。これにより、既存の研究開発チームと合わせ、Sakana AIの人員は合計50名規模となります

Note: Updated on February 21, 2025. At Sakana AI, we believe the path to develop much stronger AI systems is to automate the development of AI using AI. We aim to develop AI systems that can create even more capable and efficient AI systems. In the past year, we introduced an AI system that can automate the creation of new AI foundation models, at a fraction of the cost. We showed that LLMs can in

Sakana AIでは、より強力なAIシステムを目指すうえで取るべき道は、AIを使ってAIの開発を自動化することだと考えています。 昨年、私たちは、AI基盤モデルを従来より劇的に小さいコストで自動的に作成するAIシステムを開発し、LLMがLLMをトレーニングするためのより効率的な方法を作成できることを示しました。また、私たちはAI研究プロセス全体を完全に自動化する包括的なエージェントフレームワークである「AIサイエンティスト」を提案しました。そして、次にこの疑問が生じました。もしAIを使ってAIの研究ができるのであれば、AIを使ってAIをより速く動かすこともできるのでは？ The AI CUDA Engineer 現代のAIシステムはGPUなどのハードウェアアクセラレータによる並列処理に大きく依存しています。その点では人間の脳と同様です。しかし、エネルギーの制約下で効率的に動作するように（

新手法「TAID」によって学習された小規模日本語言語モデル「TinySwallow-1.5B」は、同規模のモデルの中で最高性能を達成しています。さらに、小規模のため、APIなどを介さずお手元のスマートフォンやPCで完結してチャットが可能です。ウェブアプリまたは、GitHubにてお試しいただけます。 本稿は、経済産業省とNEDOが推進するGENIACによって支援されたSakana AIの研究成果を紹介するブログシリーズの第3回目です。 概要 日常的な対話はもとより、数学やコーティングといった複雑なタスクまでも人間と遜色ないレベルでこなせるようになった大規模言語モデル（LLM）は、今後ますます多くの場面での利活用が期待されています。こうした大きな期待の一方で、LLMの開発・活用の現場では、莫大な計算資源の必要性が大きな壁として立ちはだかってます。まずLLMの開発現場では、「大規模データと巨大計

Summary Adaptation is one of the most remarkable phenomena in nature. From the way an octopus can change their skin color to blend into its surroundings, to how the human brain rewires itself after an injury, allowing individuals to recover lost functions and adapt to new ways of thinking or moving. Living organisms exhibit adaptability that allows life to flourish in diverse and ever-changing env

This is the second in a series of blog posts presenting the results of Sakana AI’s research projects that were supported by the Japanese Ministry of Economy, Trade and Industry’s GENIAC supercomputing grant. Summary At Sakana AI, we draw inspiration from nature to extend the capabilities of foundation models. This was evidenced in our recent work on improving performance with evolutionary model me

Sakana AIはLLMエージェントの集団を生み出す新技術「CycleQD」を開発しました。CycleQDは多様性に着目した進化的計算とモデルマージに基づいており、知識やスキルを忘却せず蓄積していく「生涯学習」の実現への第一歩です。 本稿は、経済産業省のGENIACによって支援されたSakana AIの研究成果を紹介するブログシリーズの第1回目です。 概要 生物界において「ニッチ（生態的地位）」各生物種が持つ独自の能力や特性によって決定される環境との関係性を指します。これには獲物の捕食方法や生息環境の選択など、生存に必要な様々な要素が含まれます。一度確立されたニッチは、他種からの侵入に対して高い耐性を持ち、その地位を脅かすことは容易ではありません。 この概念はAI分野にも応用可能です。AIエージェントの「ニッチ」は、そのエージェントが持つ能力や、実行可能なタスク、必要とするリソースによっ

Sakana AIは、自然から着想を得たアプローチで最先端の基盤モデルを進化させるという分野を切り開いてきました。今年の3月には、大規模言語モデル（LLM)を含む複数の基盤モデルの統合を自動化する方法を開発し、さらに6月には、LLMを使って、LLMをより効率的にトレーニングする方法を発見しました。 The AI Scientist そして今回我々は、「LLMを使って、研究開発プロセスそのものの自動化する」という革新的な技術を開発しました。我々は、これを「The AI Scientist」（AIサイエンティスト）と命名し、オックスフォード大学とブリティッシュ・コロンビア大学との共同研究により、「The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery」という論文にまとめて公開しました。ソースコードもオー

At Sakana AI, we have pioneered the use of nature-inspired methods to advance cutting-edge foundation models. Earlier this year, we developed methods to automatically merge the knowledge of multiple LLMs. In more recent work, we harnessed LLMs to discover new objective functions for tuning other LLMs. Throughout these projects, we have been continuously surprised by the creative capabilities of cu

概要 Sakana AIは、進化的モデルマージという手法を提案し、この手法を用いて大規模言語モデル（LLM）や視覚言語モデル（VLM）、画像生成モデルなど様々な能力を獲得したマージモデルを生み出してきました。今回、私たちは進化的モデルマージを活用して複数の画像について質疑応答できる日本語のVLM、Llama-3-EvoVLM-JP-v2を新たに公開します。さらに、構築したモデルを評価するために複数の画像についての日本語での質疑応答能力を評価するためのデータセット、Japanese multi-images visual question answering (JA-Multi-Image-VQA)も公開します。 本リリースの要点は以下の通りです。 複数の画像を扱え日本語で応答可能な新たなVLMを作成しました。 強力なオープンソースLLMであるLlama-3をベースにしたモデルを使うことで、

今回公開するモデルは、プロンプトから画像を生成するEvo-Ukiyoeと、古典籍の挿絵をカラー化するEvo-Nishikieモデルです。これらのモデルが、歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待しています。 概要 Sakana AIは、日本の美を学んだAIとして、浮世絵風画像生成モデルEvo-Ukiyoeと、浮世絵カラー化モデルEvo-Nishikieを公開します。Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデルEvo-SDXL-JPを基盤とし、浮世絵画像を大規模に学習することで、日本語に対応し、かつ浮世絵の特徴を学んだ画像生成モデルができました。 このリリースの要点は以下の通りです。 Evo-Ukiyoeは、日本語のプロンプトを入力

Sakana AI proposed new AI solutions in both the biodefense and disinformation countermeasure categories at a competition jointly hosted by the US Department of Defense’s Defense Innovation Unit (DIU) and the Japanese Ministry of Defense’s Acquisition, Technology & Logistics Agency (ATLA). Out of 60 companies from around the world who participated, Sakana AI won one of the three awards at the compe

Summary At Sakana AI, we harness nature-inspired ideas such as evolutionary optimization to develop cutting-edge foundation models. The development of deep learning has historically relied on extensive trial-and-error by AI researchers and their theoretical insights. This is especially true for preference optimization algorithms, which are crucial for aligning Large Language Models (LLMs) with hum

日本語プロンプト対応の高速画像生成モデルEvoSDXL-JPで生成した画像の例。プロンプトは「可愛いゾウの編みぐるみ」、「ラーメン、浮世絵、葛飾北斎」、「折り紙弁当」、「（下町ロケット、東京サラリーマン）、浮世絵」など 概要 Sakana AIは先日、進化的アルゴリズムを用いた基盤モデル構築の手法「進化的モデルマージ」を提案しました。また、進化的モデルマージにより構築された日本語の大規模言語モデルEvoLLM-JPと画像言語モデルEvoVLM-JPを公開しました。これらのモデルは、言語生成を目的とした自己回帰型Transformerモデルでした。今回私たちは、進化的モデルマージの可能性をさらに示すために、画像生成タスクで広く用いられる拡散モデルへの適用を行いました。 このリリースの要点は以下の通りです。 画像生成で昨今用いられている拡散モデルに進化的モデルマージを適用しました。言語生成モデ

更新（2025年1月28日） 論文「Evolutionary Optimization of Model Merging Recipes」が論文誌「Nature Machine Intelligence」に採択され本日掲載されました。最新バージョンでは本アプローチをさらに実証する新たな実験結果を含んでいます。ぜひ以下からご覧ください。 https://www.nature.com/articles/s42256-024-00975-8 Sakana AIは2024年3月に「進化的モデルマージ」を公開し、大きな反響を呼びました。公開時には国内外の多くのメディアに取り上げられニュースになりました。進化的モデルマージはmergekitやOptuna Hubといった著名なOSSフレームワークにも実装され、多様なユーザーがそれを活用し、数々の個性的なモデルが作成・公開されてきました。また、社内外の複

Last update: March 2025. Software Engineer, Cybersecurity Engineer, and Intenal Auditor added. Interested in joining us? We’re hiring! Although we are a small lab, we are always looking to bring on exceptional talent to join our team. If you are interested in applying for one of the positions in this post, please follow the below two steps: Complete this Google Form. Email careers@sakana.ai with a

We are building a world class AI research lab in Tokyo. We want to develop AI solutions for Japan’s needs, and democratize AI in Japan. For more information, please visit our blog and careers page, or contact info@sakana.ai