エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
自然言語処理のサービスのAWS上での構成を考えてみる - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
自然言語処理のサービスのAWS上での構成を考えてみる - Qiita
目標 AWSサービスを効率的に使って、自然言語処理に関するサービスを構築する。 可能な限りローコストを... 目標 AWSサービスを効率的に使って、自然言語処理に関するサービスを構築する。 可能な限りローコストを目指す(特にアクセスしていない時の料金を減らす)。 もちろん高可用性構成。 マルチテナント構成を取る BERTを使って類似文章検索を行う。 転置インデックスを使用した全文検索を行いたい(単語での検索など)。ElasticSearchは値段高いのでパス。 前提 今回は、構成の考察。検証済みの部分もあり、未検証部分もあり。 実際の製品がこの構成を取っている事を示すものでは無いです(まだ検証段階です)。 その為、この構成を取った事によって何か問題が発生するかもしれない事はご了承下さい。 技術要件整理 データ 学習済み基本モデル 最近流行りの転移学習向けに、公開されている学習済みデータを使用する。サイズ的には1~数GBを想定。 ファインチューニング用コーパスデータ 転移学習でのファインチューニング