タグ

ブックマーク / zenn.dev/dynagon (1)

  • オンプレミスで動かすLLM

    あらゆる産業で生成AIの活用が検討される中で、導入自体が難しい代表的な業界が製造業です。製造現場は基的に外部からネットワークが隔絶されており、GPTシリーズのようなLLM(大規模言語モデル)を利用することができません。従来であればエッジコンピューティングに代表されるようなオンプレミスでの運用も考えられますが、LLMは実行するコンピュータへのハードウェア要求が非常に高いため、研究室機関レベルのコンピュータを用意する必要があり、一般的な工場にそのような機器を導入することは現実的ではりません。 自然言語モデルには “スケーリング則” と呼ばれる原理が存在します。スケーリング則とは、自然言語処理モデルのパラメーター数・データセットのサイズ・トレーニングに使用される計算量の3つの変数が大きくなればなるほど、パフォーマンスが良くなるというシンプルなルールです。スケーリング則に従えばお金を投入すればす

    オンプレミスで動かすLLM
    sh19910711
    sh19910711 2024/06/07
    "phiシリーズ: オンプレミス環境で動かすことが期待される小型LLMの急先鋒でしたが、発表当初のライセンスは商用利用不可 + phi-2のライセンスがMITライセンスに変更され、商用利用が可能となった"
  • 1