ヒンディー語などローカル言語でGPT‐4を上回る大規模言語モデル開発へ、活発化するインドでの生成AI開発の取り組み | AMP[アンプ] - ビジネスインスピレーションメディア

活発化する各国における生成AI開発 ChatGPTのベースとなっているGPT‐3.5やGPT-4などの大規模言語モデルのほとんどは、英語中心のデータによってトレーニングされており、英語以外の言語を苦手とする場合が多い。 GPT‐3.5やGPT-4は比較的英語以外の言語に強い方だが、他のモデルに至っては、日本語などの非英語によるプロンプト（指示）を理解しないケースも多く、英語とそれ以外の言語におけるギャップを取り除くのが今後の大きな課題となっている。 たとえば、オープンソースの中で最も強力なモデルといわれるメタのLlama2のトレーニングデータの言語別内訳を見ると、英語が89.7％で最多、これに「その他」が8.38％と続き、他の言語データはすべて1％に満たない状況だ。他言語のうち最も比率が高いドイツ語でも0.17％にとどまり、日本語は0.1％のみ。日本語に対応させるには、Llama2に追加の

[misshiki]

“20以上の言語が話されているインド、現地語特化の大規模言語モデルが続々登場”

[attyan7639]

ファインチューニングとは？