外国語音声データ(silk形式)をWhisperで音声認識→機械翻訳しよう - Qiita

外国語音声データ(silk形式)をWhisperで音声認識→機械翻訳しよう。 経緯 かつてSkypeが開発した「SILK」形式は、音声通話などで使用されている音声圧縮形式のようです。 今回は、中国で主に使われているSNSアプリ「WeChat」のボイスチャットで、このSILK形式が使われており、それを上手いこと日本語に直せないかと試しました。 手順 silkファイルをwaveファイルに変換 waveファイルをwhisperで書き起こし＆英訳 英文をEasyNMT + Fugu-MTで和訳 silkファイルをwaveファイルに変換 最初にsilkファイルをwaveファイルに変換します。 変換にはsilk-v3-decoderおよびFFmpegを使用します。 ※ 注意 silk-v3-decoderのwindowsバイナリにはマルウェアが含まれています。ソースから自分でコンパイルしてください。