Evolutionary Optimization of Model Merging Recipesを理解する(論文編)
Evolutionary Optimization of Model Merging Recipesについて 先日、sakana.aiが発表した論文になっています。大規模言語モデル(LLM)のパラメータと下流タスクでの性能の関係は、Task Arithmeticなどで研究されてきました。そこから、複数のLLMのレイヤーをパラメータを混ぜて一つにする方法が提案されてきました。この論文では、パラメータの混ぜ方だけでなく、レイヤーのマッチングまで一本化して最適化する手法を提案しています。 個人的に、この手法の発展が楽しみです。行く末は、ビッグテックが要するクローズドな大きなモデル(GPT4, Geminiなど)を、オープンソースの複数のモデルが超えていく未来が来るかもしれません(スイミーのように)。 この論文が扱う問題の理解 この論文が解く問題は、モデルの合体(model merging)の最適
Claude Codeと数理最適化をやってみる
こんにちは、ペルソナ4 リバイバルを楽しみにしているデータサイエンティストのoddgaiです。 先日、Claude CodeでKaggleをやってみた記事を書いたのですが、数理最適化もできるの？と思ったのでやってみました。 結論 単純な問題ならざっくり指示しても割とちゃんと解いてくれる OR-tools, PuLPなどのライブラリも使える 他分野よりネットに情報が落ちてない印象があったので心配してたけど意外と大丈夫だった 数秒で数百行のコードを書いてくるので人間による確認＆精度担保が大変 今回はテストデータなので甘めにやってしまった・・・ C++やらRustやらでヒューリスティックをゴリゴリ書いてもらうとかは未調査だが、こちらも強そう 参考：AI vs 人間まとめ【AtCoder World Tour Finals 2025 Heuristic エキシビジョン】 - chokudaiのブロ
アノテーションツールをClaudeに作らせて、自分の設計力を見直してみた
イントロ ELEMENTS開発部AiQグループの森本です。私は、AiQ PERMISSIONというプロダクトの開発を担当しております。AiQ PERMISSIONは、セルフガソリンスタンドで義務化されている給油者の行動監視をAIが代替し、人手不足の解消や業務効率化、安全性の向上を目的としています。 AiQ PERMISSIONでは、設置しているカメラ映像から行動を検知して、給油者が不審な行動を対象のレーンに許可を出したり、給油を緊急停止したりします。 この処理を行う際に、ガソリンスタンドのカメラの映像情報と各レーンの番号の対応、並びに監視する範囲を指定するために、下記のオレンジ色や赤紫色の枠を設定し、アノテーション情報を付加する必要があります。 問題/課題 ツールを作成したのは2025年3月時点で、Vibe Codingで簡単なLPなどは作れるような状況でした。が、実際に業務をしていたら「
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模言語モデル入門 / LLM introduction (SES2023)
