はてなブックマーク

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の力岡と申します。普段はデータサイエンティストとして、データ分析や機械学習モデルの構築、生成AIアプリの開発などを行っています。 今回は、社内で実施した「LLMファインチューニング勉強企画」についてご紹介します。本記事では、企画を主導した立場から、新技術を学ぶために工夫した点や企画の進め方について紹介していきたいと思います。データアナリティクスラボ株式会社に興味のある方や、これからLLMのファインチューニングを勉強してみたいという方はぜひご覧いただければと思います。 企画概要 目的 本企画の目的は、LLM（大規模言語モデル）のファインチューニング技術を習得することで、社員のスキル向上や会社全体の技術力向上を図ることです。また、普段は異なるクライアント先で業務を行う社員が多いため、本企画を通じて交流し、技術知

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の力岡と申します。普段はデータサイエンティストとして、データ分析や機械学習モデルの構築、生成AIアプリの開発などを行っています。 近年、AIの発展に伴い、自律的にさまざまなタスクを遂行するAIエージェントが注目を集めています。生成AIに関するシンポジウムやセミナーに参加すると、この「AIエージェント」という言葉を聞く機会が増えており、RAGに続いて次にバズる技術になるのではないかと感じ、今回キャッチアップしてみることにしました。 AIエージェントとは AIエージェントは技術分野によって定義が多少異なることがありますが、一般的には、環境と対話し、データを収集し、そのデータをもとに自律的にタスクを実行することで、特定の目標を達成するためのソフトウェアを指します。特に、今回焦点とするのは、LLM（大規模言語モデル

はじめに データソリューション事業部の宮澤です。 昨日Xにてポストされていた以下の記事を理解しようと思い、読んでみました。 概要 GPUメモリ節約のためによく使われる gradient_accumulation_steps の挙動にバグがあったとのこと。unslothおよびtransformersのライブラリでは修正されたと報告されています。 バグについて 事象 unslothの記事を見ると、gradient accumulationを使用すると、フルバッチトレーニングを使用する場合よりも損失が大きくなったことが示されたとのことです。実際に以下の図を見ると、バッチサイズ*勾配累積=16で固定したときに、勾配累積が大きいほうが損失が大きくなっています。 https://unsloth.ai/blog/gradient より引用 原因 原因として、①累積ステップで数値エラーが発生している　②損

はじめに はじめまして。データアナリティクスラボ株式会社データソリューション事業部の関田です。 私は普段の業務で量子コンピューティングを用いた最適化や数理最適化、そして深層学習などを扱っています。この業務経験をきっかけに、量子コンピューティングに興味を持ち勉強するようになりました。 そして先日、日本量子コンピューティング協会が実施する量子エンジニア資格検定に合格しました！ 今回は、量子エンジニア資格についての紹介をさせていただきます。 ※こちらの記事で紹介している内容は、2024年7月時点での情報です。講座や資格検定の内容は変更となる可能性があるため、興味を持たれた方は公式HP等で最新の情報を参照してください。 量子エンジニア資格検定とは 量子エンジニア資格検定とは日本量子コンピューティング協会が実施する資格検定で、ゲート式とアニーリング式の2種類あります。 ゲート式やアニーリング式という