概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの

クラウド王から生成AIの寵児へ、華麗なる転身だ。 クラウドインフラで世界最大手のアマゾン・ウェブ・サービス（AWS）の日本法人で12年にわたり社長を務めた長崎忠雄氏が、OpenAIが新たに開設した日本法人に移籍したことが東洋経済の取材でわかった。 生成AIの火付け役となった「チャットGPT」の開発会社であるOpenAI。4月15日にアジア初の拠点として、東京オフィスを開設する。日本での採用や法人セールス、カスタマーサポートなどを担うほか、AI活用をめぐる制度整備に向けた議論にも積極的に参加する方針だ。 長崎氏は3月12日付で、「OpenAI Japan合同会社」の職務執行者（合同会社の代表社員が法人の場合に選任が必要な、現実に職務を執行する者）に就任した。前職のAWSの日本法人でも職務執行者を務めており、業界関係者からは「実質的な社長の役割を務めるのでは」との声が上がる。 国内でのクラウド

SRE の田中 @kenzo0107 です。 社内版 ChatGPT を構築し、社内の ChatGPT 利用を促進した話です。 社内版 ChatGPT が必要だった理由 以下要望を実現する為です。 秘匿情報をクローズドな環境で OpenAI にポストしたい 社員誰もが最新のモデルやバージョンで高精度、且つ、パフォーマンスの高い ChatGPT を利用したい 構成 - Web 版 社内 ChatGPT Web サービスは AWS に配置 ALB を会社毎に分けて Google 認証する *1 ECS から Azure API Management 経由で Azure OpenAI Service に問い合わせ API Management は Azure OpenAI Service の監査ログを取得する為に配置している *2 Azure 側ではネットワークセキュリティグループで AWS N

本連載「松岡功の『今週の明言』」では毎週、ICT業界のキーパーソンたちが記者会見やイベントなどで明言した言葉を幾つか取り上げ、その意味や背景などを解説している。 今回は、AWSジャパン 執行役員 パブリックセクター技術統括本部長の瀧澤与一氏と、日本IBM 執行役員 兼 技術理事 AIセンター長の山田敦氏の「明言」を紹介する。 「Amazon QがAzure OpenAI Serviceと競合するかは分からない」 （AWSジャパン 執行役員 パブリックセクター技術統括本部長の瀧澤与一氏） 米Amazon Web Services（AWS）の日本法人アマゾン ウェブ サービス ジャパン（AWSジャパン）は12月6日、AWSが米国ラスベガスで11月27日～12月1日に開催した年次イベント「AWS re:Invent 2023」の発表内容について記者説明会を開いた。瀧澤氏の冒頭の発言はその会見の質

自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた はじめに 今回は、OpenAIのWhisper APIとAmazon Transcribeという2つの音声文字起こしサービスを試し、それぞれの精度を比較してみました。 Amazon Transcribeは、音声をテキストに変換する自動音声認識サービスです。 ストリーミングとバッチ処理のどちらでも文字起こしが可能です。 攻撃的な言葉を指定すると、Amazon Transcribeがそれらの言葉を文字起こしから自動的に削除する語彙フィルタリングなどの機能もあります。 Amazon Transcribeの詳細は、下記の記事をご参考ください。 OpenAIには音声をテキストに変換する「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び

はじめに こんにちは、クラウド事業部の葛城です。 今回は、AWS Lambdaを活用してS3にオブジェクトを配置した際に、ChatGPTを活用して自動で内容を分析してタグ付けするシステムを構築しました。 AWS LambdaとAmazon S3を初めて触る方や、コードを書いて少し格好良くシステムを構築したいAWS初学者向けの内容になります。 GitHubでコードを公開しています。 github.com こだわったポイントとしては、ChatGPTのAPIを試してみたかったので、s3のタグ生成の機能として活用しました。 また、AWSのインフラストラクチャをTerraformを使ってコード化したので、IaCにする際のTipsやAWSの IaCに興味ある方の参考になればと思います。 目次 はじめに 目次 1. AWSサービスの概要 AWS Lambda Amazon S3 2. 自動タグ付けアプリ

LLMのコスト表示、分かりづらくないですか？ 生成AIのモデル利用料金って、1kトークンあたりの単価かつドル表記なのでパッと見分かりづらくないでしょうか？ そこで、エンタープライズな環境で生成AIアプリケーションを開発する際に最も利用されると思われるAzure OpenAI ServiceのGPTシリーズとAmazon BedrockのClaude 2のコストを、イメージしやすい具体的なシナリオに基づいて月額コスト比較してみました。 比較するモデル 各社、今のところ利用リージョンによる価格差はないようです。 クラウド モデル トークン上限 入力コスト 出力コスト

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は Amazon Kendra と OpenAI ChatGPT を組み合わせてRAGシステムを構築してみます。 RAG とは Retrieval Augmented Generation （検索拡張生成） の略で、 ChatGPT に代表される LLM （大規模言語モデル）でユーザの質問への回答を生成する際に必要な情報（コンテキスト）を事前に検索などを通して取得してから、 コンテキストを踏まえた回答を生成する手法のことです。 言い換えると、RAG は検索そのものの処理ではなく、検索結果を解析し、その内容を分かりやすく要約するものです。 RAG を使用することで、

【Azure OpenAI×マルチクラウドTech Night】 リンクアンドモチベーション登壇資料（2023/07/13） 『AWSユーザがAI活用のためにAzureと共存させるために トライしたこととトライすること』 #HelloAOAI #リンクアンドモチベーション #リンモチ ============================================= 【イベント情報】 ■イベントページ https://msdevjp.connpass.com/event/287530/ 【株式会社リンクアンドモチベーション】 ■お問い合わせ engineer_pr@lmi.ne.jp ■Entrancebook https://note.com/lmi/n/n179505e048f4 ■テックブログ https://link-and-motivation.hatenablog.co

その1（リソースグループ / App Service / Cosmos DBを紹介） その2（OpenAI Service / Log Analytics / API Managementを紹介） → 本記事 OpenAIで開発するならAzureはマストになってきた ChatGPTを始めとする生成AI、特に大規模言語モデル（LLM）の勢いが止まりません。 もはや小回りのきくWeb系スタートアップに限らず、そろそろエンタープライズな組織でも「わが社もChatGPTを使ってなんか作るぞい！」的なムーブが広がっている頃ではないでしょうか。 大企業でシステムを作ろうとするとセキュリティやコンプライアンスの壁があるため、ChatGPTのようなSaaSを気軽に活用するのは大きなハードルになってしまいます。そこでプライベートな環境で安全にOpenAIのAPIサービスを活用できるMicrosoft Azu

その1（リソースグループ / App Service / Cosmos DBを紹介） → 本記事 その2（OpenAI Service / Log Analytics / API Managementを紹介） OpenAIで開発するならAzureはマストになってきた ChatGPTを始めとする生成AI、特に大規模言語モデル（LLM）の勢いが止まりません。 もはや小回りのきくWeb系スタートアップに限らず、そろそろエンタープライズな組織でも「わが社もChatGPTを使ってなんか作るぞい！」的なムーブが広がっている頃ではないでしょうか。 大企業でシステムを作ろうとするとセキュリティやコンプライアンスの壁があるため、ChatGPTのようなSaaSを気軽に活用するのは大きなハードルになってしまいます。そこでプライベートな環境で安全にOpenAIのAPIサービスを活用できるMicrosoft Azu