大規模言語モデルOPTをM1/M2 Mac上のFlexGenで動かしてチャットする｜りん こうたつ人工知能技術の一分野である自然言語処理を利用したサービスChatGPTが2022年末から2023年に入っても話題となっています。無料で登録できますが、有料プランができたり、API提供が正式に始まって低価格を打ち出したりと、人の言葉を処理できる機能が急速に身近になっています。 前置きを省略するために、清水亮さんがFlexGenについて熱く紹介した記事をご覧いただければと思います。 つまり、自宅のパソコンで大規模言語モデル（LLM）を利用できる推論エンジンFlexGenを、私もMacを使って動かしたいというのが今回のテーマです。 準備するMac上で動かしてみる手順から紹介します。 ターミナルアプリの起動 Python導入 PyTorchのNightlyバージョン導入 FlexGen導入 チャットボットの準備 チャットボットの利用 Python導入Pythonを準備しておく必要があります。
