ローカルLLMの受け入れ文字数を増やすことで起きる影響 | IIJ Engineers Blog

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を経て、ローカルLLMを中心としたAIソリューションを主軸に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、性的違和の治療に一歩足を踏み出しています。 こんにちわ。九州のとみーです。 前回の記事では、初めてファインチューニングの記事を載せました。 今回はそんな検証のさなかにふと気づいて取り組んだ検証のお話になります。 LLMの受け入れ文字数⇒コンテキストサイズ ローカルLLMに限らず、LLMには1つのメッセージのやり取りで使用可能な受け入れ文字数というのがあります。 厳密に言うと、入力文字を数値化した「トークン」という単位にはなるのですが、この長さの制限として「最大コンテキストサイズ」