こんにちは!逆瀬川 (https://twitter.com/gyakuse)です! 今日は議事録の音声からの書き出しとサマリの自動生成を行います。 概要 会議音声(wavとかmp3ファイル)からWhisperを用いて書き出しを行い、GPT-3.5でサマリを自動生成します。 会議音声としていますが、べつにどんな音声でも大丈夫です。 Colab whisper.cpp版(処理に動画秒数×10倍程度の時間がかかりますがGPU不要です) whisper.fp16版(処理は動画秒数/4程度の時間で済みますがGPU必須です) 使い方 OpenAIのAPIキーを貼り付け ランタイム > すべてのセルを実行から実行し、最初の処理の下に出てくるファイル選択で録音ファイルを選択します ひたすら待ちます 実装 Whisperの軽量化 Whisperの軽量化としては、cpp実装のwhisper.cppがあります
![Whisper + GPT-3 で会議音声からの議事録書き出し&サマリ自動生成をやってみる! - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/170b4ad21bbffae7fadb5615a2846754ce430242/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9V2hpc3BlciUyMCUyQiUyMEdQVC0zJTIwJUUzJTgxJUE3JUU0JUJDJTlBJUU4JUFEJUIwJUU5JTlGJUIzJUU1JUEzJUIwJUUzJTgxJThCJUUzJTgyJTg5JUUzJTgxJUFFJUU4JUFEJUIwJUU0JUJBJThCJUU5JThDJUIyJUU2JTlCJUI4JUUzJTgxJThEJUU1JTg3JUJBJUUzJTgxJTk3JTI2JUUzJTgyJUI1JUUzJTgzJTlFJUUzJTgzJUFBJUU4JTg3JUFBJUU1JThCJTk1JUU3JTk0JTlGJUU2JTg4JTkwJUUzJTgyJTkyJUUzJTgyJTg0JUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJUVGJUJDJTgxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lN2YwZWNkNDYyMTA2MDgzY2FkZmQ0ZWU1MmM1NGYwYQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc2FrYXNlZ2F3YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YzhjNzVhMDZhN2Q1YThhY2QwYmM0ZjE0ZmVjMGZiODU%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D27f92e76497e4a86d7fc0eb403e2bb76)