はてなブックマーク

１ はじめに 初めまして。データアナリティクスラボ株式会社データソリューション事業部の池田と申します。 今回は社内活動の一環として、大規模言語モデルにファインチューニングで知識付与を行う検証をしたので、その結果について紹介します。 以前、社内の勉強会で大規模言語モデルにファインチューニングでドメイン知識を付与することは難しいのでRAG(Retrieval Augmented Generation)を使うことが望ましいという内容の論文を目にすることがあり、本当にファインチューニングでの知識付与は難しいのか？と疑問に思ったことがきっかけでこの検証を始めることにしました。 ２ 要約 弊社(データアナリティクスラボ株式会社)のHPの情報をQ＆A形式に整形した上で、大規模言語モデル(Swallow-MS-7b-instruct-v0.1)にInstruction Tuningによって学習させました。

はじめに はじめまして。データアナリティクスラボの力岡です。 私は日頃、テーブルデータの分析業務において、LightGBMをはじめとする勾配ブースティング系アルゴリズムを活用しています。ただし、その仕組みを十分に理解したうえで使いこなせているかというと、まだ自信が持てない部分もあります。そこで本記事では、自分自身の理解を深めるとともに、これから学ぶ方々にも役立つよう、勾配ブースティング決定木（GBDT）について体系的に解説していきます。 1. 勾配ブースティング決定木 勾配ブースティング決定木（Gradient Boosting Decision Trees、GBDT） は、複数の決定木（弱学習器）を組み合わせて高い予測精度を実現する、アンサンブル学習の一手法です。その名の通り、「勾配降下法」「ブースティング」「決定木」という3つの要素を組み合わせて構成されており、実務やKaggleなどの

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の平野です。 私は社内のラボチームに所属しており、生成AIに関する研究・勉強に取り組んでいます。 目的 昨今自分のローカルなPCやサーバー上で動かせるオープンソースのLLM（Large Language Model：大規模言語モデル）として様々なLLMがリリースされており、現状LLMで最高峰の性能であるChatGPTやGeminiに匹敵するほど性能が高いオープンソースのLLMも徐々に出てきています。 それに伴って、今後個人あるいは企業でオープンソースのLLMを利用したLLMシステム構築の需要が高まってくることが考えられます。 そこで、本記事ではオープンソースのLLM（以後ローカルLLM）を用いて一般的かつ簡易的なLLMシステムであるChatbot構築の手順をおさらいするものになります。 ※詳細記事 ・ローカ

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の力岡と申します。普段はデータサイエンティストとして、データ分析や機械学習モデルの構築、生成AIアプリの開発などを行っています。 今回は、社内で実施した「LLMファインチューニング勉強企画」についてご紹介します。本記事では、企画を主導した立場から、新技術を学ぶために工夫した点や企画の進め方について紹介していきたいと思います。データアナリティクスラボ株式会社に興味のある方や、これからLLMのファインチューニングを勉強してみたいという方はぜひご覧いただければと思います。 企画概要 目的 本企画の目的は、LLM（大規模言語モデル）のファインチューニング技術を習得することで、社員のスキル向上や会社全体の技術力向上を図ることです。また、普段は異なるクライアント先で業務を行う社員が多いため、本企画を通じて交流し、技術知

はじめに はじめまして。データアナリティクスラボ株式会社 データソリューション事業部の力岡と申します。普段はデータサイエンティストとして、データ分析や機械学習モデルの構築、生成AIアプリの開発などを行っています。 近年、AIの発展に伴い、自律的にさまざまなタスクを遂行するAIエージェントが注目を集めています。生成AIに関するシンポジウムやセミナーに参加すると、この「AIエージェント」という言葉を聞く機会が増えており、RAGに続いて次にバズる技術になるのではないかと感じ、今回キャッチアップしてみることにしました。 AIエージェントとは AIエージェントは技術分野によって定義が多少異なることがありますが、一般的には、環境と対話し、データを収集し、そのデータをもとに自律的にタスクを実行することで、特定の目標を達成するためのソフトウェアを指します。特に、今回焦点とするのは、LLM（大規模言語モデル

はじめに データソリューション事業部の宮澤です。 昨日Xにてポストされていた以下の記事を理解しようと思い、読んでみました。 概要 GPUメモリ節約のためによく使われる gradient_accumulation_steps の挙動にバグがあったとのこと。unslothおよびtransformersのライブラリでは修正されたと報告されています。 バグについて 事象 unslothの記事を見ると、gradient accumulationを使用すると、フルバッチトレーニングを使用する場合よりも損失が大きくなったことが示されたとのことです。実際に以下の図を見ると、バッチサイズ*勾配累積=16で固定したときに、勾配累積が大きいほうが損失が大きくなっています。 https://unsloth.ai/blog/gradient より引用 原因 原因として、①累積ステップで数値エラーが発生している　②損

はじめに はじめまして。データアナリティクスラボ株式会社データソリューション事業部の関田です。 私は普段の業務で量子コンピューティングを用いた最適化や数理最適化、そして深層学習などを扱っています。この業務経験をきっかけに、量子コンピューティングに興味を持ち勉強するようになりました。 そして先日、日本量子コンピューティング協会が実施する量子エンジニア資格検定に合格しました！ 今回は、量子エンジニア資格についての紹介をさせていただきます。 ※こちらの記事で紹介している内容は、2024年7月時点での情報です。講座や資格検定の内容は変更となる可能性があるため、興味を持たれた方は公式HP等で最新の情報を参照してください。 量子エンジニア資格検定とは 量子エンジニア資格検定とは日本量子コンピューティング協会が実施する資格検定で、ゲート式とアニーリング式の2種類あります。 ゲート式やアニーリング式という