Hugging Face Pipelineを使ったお手軽AIプログラミング | IIJ Engineers Blog

地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 Hugging Faceってご存じですか？ AIを使用したプログラム・スクリプトを作る際、ゼロから起こす場合は以下のような部分を作り込んだり、Githubなどのリポジトリサイトからソースを入手したりする必要があったりします。 AIモデル トレーニングのためのロジック 評価・テストのためのロジック データローダ トレーニング・評価データを読み込むためのフォーマット、読み込み処理・変換処理など チェックポイントの書き出し Hugging Faceというサイトは、学習済みモデルやデータセッ

[misshiki]

“transformersでmBARTを使った翻訳機を作成してみる”

[knok]

https://huggingface.co/facebook/mbart-large-50-one-to-many-mmt mbert 英語から多言語翻訳するモデルが紹介されている

[yarumato]

“Hugging Faceというサイトは、学習済みモデル配布だけでなく、手軽に利用するライブラリも公開。例えば英日翻訳を簡単に実装できる。短い文章は4GBのVRAMで翻訳に1分半、長い文章も8GBで10分。翻訳精度はなかなかの”

[kagehiens]

面白かった。こういうレポート良いね。

[igrep]

すごい！ “学習済みモデルやデータセットなどを公開するリポジトリサイトであると同時に、これらを手軽に利用するためのインタフェースともいえるようなライブラリを公開しており、...”