WebAssemblyを用いてBERTモデルをフロントエンドで動かす - OPTiM TECH BLOG
はじめまして。R&Dチーム所属、20.5卒の伊藤です。 普段の業務では自然言語処理と格闘していることが多いです。 今回は自然言語処理モデルとして有名なBERTをWebAssemblyを使用してフロントエンドで動かしてみた話になります。 最近、自然言語処理ライブラリとして普段お世話になっているHugging Face社のTransformersのTokenizerがRustで実装されていることを知り、それならばWebAssemblyにコンパイルして動かせるのではないかと試したみたのがきっかけです。 Tokenizerのみ動かしても実用性に乏しいため、Tokenizerから得られた結果からBERTを用いた推論をブラウザで動作させるまでを行い、備忘録がでら手順をまとめました。 どなたかの参考になれば幸いです。 8/26追記 本記事内のコードを含むリポジトリを公開しました！Dockerを使用してブ
Pure な WebAssembly で推論処理をしてみる
こんにちは、NTT の森田です。 今月 Microsoft 社から、WebAssembly (WASM) を OS 上のサンドボックスとして Kubernetes で利用できるようになる Krustlet がリリースされました。新しい標準バイナリフォーマットとして、WASM の認知度がさらに上がったように思います。 ところで WASM で深層学習の推論処理を行おうとすると、どうすれば良いのでしょう？ TensorFlow.js や ONNX.js などは WASM バックエンドを持っていますが、JavaScript から実行することしかできません。今回、 JavaScript レイヤを必要としない、pure な WASM から推論処理を実行する方法を紹介したいと思います。 学習済みモデルから WASM ライブラリへコンパイルLLVM は 8.0 から WASM ターゲットに対応しているので
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
