Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
【強化学習】クラウドサービスを利用した分散強化学習（GKE/有料編） - Qiita
この記事は自作している強化学習フレームワークの解説記事です。 この記事のコード場所：examples/kubernetes 続きです。 前回作成したk8s環境をGKEに作成します。 ※有料サービスを取り扱うので利用する場合は自己責任でお願いします 1：【強化学習】クラウドサービスを利用した分散強化学習（無料編） 2：【強化学習】クラウドサービスを利用した分散強化学習（kubernetes編） 3：ここ 全体イメージ(GKE) 今回作成する構成の全体イメージは以下です。 前回との違いは Trainer と Redis を同じPodに入れています。 Trainer と Queue は遅延をなるべく減らしたかったので同じ物理サーバにアサインされるように同じPodにいれました。 Google Kubernetes Engine (GKE) GKEはGoogle Cloud Platform(GCP
機械学習基盤をKubernetesで運用してきて - Qiita
この記事について この記事はKubernertes Advent calender 2018の8日目の記事です。 普段からオンプレのKubernetesクラスタを使った研究開発に携わっており、LANケーブルの配線から新バージョンのKubernetesやエコシステムの検証、構築、運用保守、独自ツールの開発に加えてフロントエンドのGUIをmaterial-uiで作ったりとほぼ全レイヤをやっています。 今回は機械学習の実行基盤としてKubernetesを運用してきたなかで得られた知見について書いていきます。 運用中のKubernetesクラスタについて 運用しているKubernetesクラスタはオンプレミスのCPUサーバとGPUサーバの混合構成で、さらにGPUサーバは複数の世代のGPUが混ざっています。 データサイエンティスト向けに内製した機能を持つことが大きな特徴ではありますが、用途は機械学習
AutoFM: 基盤モデルの学習・推論を自動化できるプラットフォーム
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog AutoFMという、基盤モデルの学習推論を自動化できるプラットフォームについて紹介します。 BERTの概略 近年、基盤モデル（Foundation Model）と呼ばれるモデルが注目を集めています。基盤モデルとは、テキストや画像などを含む大規模なデータから学習し、それを用いることによって質問応答や評判分析など、さまざまなタスクに利用できるモデルのことで、スタンフォードのグループが論文で提唱した言葉です。 基盤モデルには、言語処理のモデルである「BERT」や「GPT-3」、言語と画像のマルチモーダルモデルである「CLIP」などが含まれており、言語処理や画像処理の分野で大成功を収めています。今回はBERTにフォーカスして紹介します。
GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog
1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシングルノードで動かす 5. 次はマルチ環境で動かす w/ Docker リポジトリをクローン ssh/config を作成 authorized_keys を作成 hostfile を作成 Docker を build 6. つまずいたポイント 学習途中に出力したファイルを再利用するのでNFSが必要に NFSのリージョンを間違えて速度が出なかった 大量のGPUの調達はリソースを確保できないかもしれないので要サポート確認 コンパクトプレースメントポリシーは邪魔になりそうだった 7. 結果 8. まとめ
AWS ComprehendとLambdaを用いた問い合わせ自動対応チャットBOTの開発 | 株式会社ロジレス
こんにちは、株式会社ロジレスで業務委託として開発のお手伝いをしている山下です。週3でWebアプリケーションの機能追加・改善をしています。 本題の前にLOGILESSについて少し紹介させてください。 ECの市場が拡大していく中、ネットショップの運営は受注処理や在庫の管理、出荷作業など多くの業務を伴います。私たちはそれらの業務の効率化・自動化を行えるシステムを提供するスタートアップです。2020年8月末で物流会社約50社と提携し、240社以上の企業にご利用いただいており、LOGILESSを利用した1ヶ月間の出荷は90万件を超えます。 ところで、ヘッダーの画像のキャラクタは弊社のマスコットキャラ「ロジごま」で、LOGILESSで様々な業務を自動化した結果、自由な時間を過ごせるようになった二足歩行のゴマフアザラシです。表情や所作が愛くるしくて、ロジごまにはよく癒されています。ECの需要は伸びる一方
Vertex AI AutoML で作成した機械学習モデルを Cloud Run にデプロイする - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の機械学習サービスである Vertex AI の AutoML で作成した機械学習モデルを、サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしていきます。 Vertex AI および Cloud Run とは？ Vertex AI で作成したモデルのデプロイについて 当記事で Cloud Run にデプロイするモデル Vertex AI Model Registry からモデルをエクスポートする ローカルの Docker コンテナで予測を実行する Artifact Registry にモデルをアップロードする Cloud Run にモデルをデプロイする Cloud Run サービスに予測リクエストを送信する Vertex AI & Cloud Run Vertex AI および Cloud R
Deep Learning で音楽を作成するにはどうしたらいいの ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、AWS で機械学習ソリューションアーキテクトをしている卜部 (うらべ) です。皆さま、突然ですが良い音楽ライフを送っていますか !? 私は音楽を聴くのも演奏するのも大好きです ! ちなみに今はラモーンズ※ を聞きながらこの記事を書いています。最近は在宅ワークも多いですが、打ち合わせの合間に好きな音楽をかけて一人ヘッドバンギング※ をすると力が湧いて「全部私にまかせとけ !!!」という強い気持ちになれます。あくまで気持ちだけですが。。 近頃はいわゆる「巣ごもり需要」で楽器や DTM※ 関連の売り上げが増えたという話を聞きます。スマホやタブレットのアプリも充実しており、家で手軽に楽器演奏や作曲の機会が増えたのは非常に喜ばしいですよね。一方で、仲間と音を合わせたりライブや発表会で演奏したりする機会が減ってしまい寂しく感じています。仕方がないので、カラオケ音源やルーパー※ に合わせて一
13億パラメータの GPT モデルを GCP Cloud Run で動かす - Qiita
サーバレスプラットフォームである GCP Cloud Run で、Transformersのモデルを動かしてみました。 Transformersの汎用言語モデルを動作させるにはそれなりのスペックが必要になりますが、サーバレスと言うとメモリ等のリソースに厳しい制限があり大きなモデルを動かすようなことは難しい印象です。ですがCloud Runは結構メモリを積める1ので、実は普通に動かせてしまいます。 環境 Docker version 20.10.11, build dea9396 Docker Compose version v2.2.1 Google Cloud SDK 383.0.1 Cloud Run 第1世代 GCPのサービス内容は2022年5月14日時点のものになっています。 全体のソースコードは下記です。細かい依存関係などはこちらを参照してください。 実装 まずはCloud Ru
遺伝的アルゴリズムを用いてコンテナの配置を最適化する論文：「Genetic Algorithm for Multi-Objective Optimization of Container Allocation in Cloud Architecture」 - Fire Engine
ふとタイトルが目に入ってきて気になって読んでみた。私自身そんなにコンテナ技術を触ってないけど、前から遺伝的アルゴリズムが気になっていた。 ちょいちょい知識が足りずに理解しきれないところ出てきたけど、とりあえず最後まで読んだのでざっくりまとめを書いてみる。 読んだ論文 Genetic Algorithm for Multi-Objective Optimization of Container Allocation in Cloud Architecture pdfはダウンロードできなかったけど、ここからOnlineで読めた。 所感 先に論文を読んだ所感を書いておく。 コンテナのリソース割り当ての最適化問題を遺伝的アルゴリズム（GA）を使って解くというコンセプトが面白かった。Related Workとして多くの論文が挙げられていた（Table 1およびTable2）ので、この辺りは追っていく
ジョブ渋滞に機械学習でたちむかってみた 〜 広告レポート改善事例 #機械学習
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー広告 ディスプレイ広告の植木です。代理店様や広告主様に向けた広告効果のレポート機能のバックエンド開発を担当しています。 先日、 Yahoo! JAPAN Tech Conference 2019 in Shibuyaにて「YDNレポートジョブ渋滞に機械学習でたちむかってみた」というタイトルで、処理待ち時間を改善する取り組みの経緯について発表してきましたのでその内容をご紹介します。 取組みに至った経緯 レポート作成は数秒で終わるものもあれば、数時間に及ぶものまであるため、作成処理と作成リクエスト受付WebAPIとを分離し、Message Queueを用いた非同期の仕組みを採用しています。 特定の広告アカウント（広告
Task Queue と Token Bucket アルゴリズム - addsict's blog
GAE の Task Queue (Push Queue) は Queue に入れられたタスクを全て一気に実行するのではなく、あらかじめ設定しておいた実行レートに従って、バックエンドの App Engine インスタンスにリクエストを投げてくれます。この実行レート制御のベースとなっているのが Token Bucket というアルゴリズムです。 今回はその Token Bucket アルゴリズムと、Task Queue の設定値である bucket_size rate max_concurrent_requests にどのような関連性があるか、まとめてみたいと思います。 Token Bucket アルゴリズム Token Bucket はネットワークに流れるトラフィックを一定量以下になるように調整するアルゴリズムであり、Amazon EBS の IOPS のバースト制御 や Amazon A
Using GitHub Actions for MLOps & Data Science
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
マルチコンテナ構成による機械学習アルゴリズムとアプリケーションの疎結合化 - LIVESENSE Data Analytics Blog
こんにちは、Analyticsグループの田中です。 以前は主にデータ分析基盤を開発・運用していましたが、現在は機械学習基盤の開発に携わっています。 今回はレコメンドエンジンを題材に、コンテナ技術を活用した機械学習システムのアーキテクチャをご紹介します。 リブセンスでのレコメンドエンジン開発 リブセンスでは以前から機械学習を利用したレコメンドエンジン開発に力を入れています。 このブログの初回の記事でも社内で利用しているBPMFアルゴリズムについて解説しています。 この記事にもあるのですが、社内のレコメンドをとりまく状況は次のような点が特徴です。 複数のサービスでそれぞれのニーズに合わせたレコメンドエンジンを開発・運用している マッハバイト・転職ナビ・転職会議などの各メディアでそれぞれ独自のレコメンドエンジンが稼働している 主な事業領域である求人・不動産サービスでは、アイテムの件数は多くないが
BigQuery MLにAutoML Tables、XGBoost、DNN、ARIMAが来たのでおさらい - Qiita
はじめに 日本時間2020-06-17のリリースで、BigQuery MLにAutoML Tables、XGBoost、DNNが来ました。release-notes#June_16_2020 おさらいに、BigQuery MLで何ができるか再整理します。 追記: 日本時間2020-07-02のリリースで、BigQuery MLにARIMAも来ましたね。日本時間2020-06-28のリリースノートでエラーになってたのですが、リリース日がしれっと修正されてました。release-notes#July_01_2020 BigQuery MLでできること概要 BigQueryでStandard SQLを使って、機械学習モデルを訓練、推論できます。 データの移動を意識する必要がないため、開発スピードを向上と同時に、モデルの民主化を実現できます。 例えば、以下のようにして、1時間ほど待てば、AutoM
Apache NiFi + Tensorflow + Hadoop：�Big Data AI サンドイッチの作り方
This document discusses using Apache NiFi, TensorFlow, and Hadoop together for big data AI applications. It provides an overview of each technology and how they can be combined. Specifically, it describes how NiFi can be used to ingest and transport data to Hadoop, TensorFlow can be used to build and deploy machine learning models for real-time insights, and both can leverage Hadoop for storage an
Amazon SageMaker Operators for Kubernetes のご紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker Operators for Kubernetes のご紹介 AWS より、Amazon SageMaker Operators for Kubernetes をご紹介いたします。この新機能を使用すると、開発者およびデータサイエンティストは、Amazon SageMaker における 機械学習 (ML) モデルのトレーニング、チューニング、デプロイを、Kubernetes を介して簡単に行うことができます。Kubernetes クラスターに Amazon SageMaker Operators をインストールすると、Kubernetes API や “kubectl” といったコマンドラインの Kubernetes ツールをネイティブに使用して Amazon SageMaker ジョブを作成することが可能です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI時代に向けたクラウドにおける信頼性エンジニアリングの未来構想 / DICOMO2022 6A-1
GKE Autopilotで作るMLリアルタイム推論基盤 | PLAID engineer blog
GitHub - awslabs/multi-model-server: Multi Model Server is a tool for serving neural net models for inference
