画像の回転などの変換処理が埋め込みベクトルに与える影響を確認してみた | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 今回は小ネタですが、画像の反転や位置の違いが埋め込みベクトルにどの程度影響を与えるのか知りたかったので、本記事で試してみたいと思います。 使用する画像 ネコの画像をいらすとやから拝借しました。 こちらに対して、以下のような変換を加えてみます。 サイズ変更 回転 位置替え モノクロ化 そしてネコ以外の画像も比較のため、以下のイヌの画像も使ってみます。 これらの画像データを Titan Multimodal Embeddings で埋め込みベクトルに変換して、コサイン類似度を比較してみようと思います。 埋め込みモデルについて 使用する埋め込みモデルは以下を用います。 Amazon Titan Multimodal Embeddings G1 model - Amazon Bedrock こちらはテキス
DeepARで複数系列の予測をする - ぱぐみの部屋
業務で時系列データの予測モデルを作る時、私は基本的にProphetを最初に選択します。なかなかの精度のモデルが、手早く簡単に作れるからです。 しかし、時系列データが数百系列あるような場合、いかにProphetといえどもモデルを数百個作成することになり、計算に時間がかかりますし、保守とか管理もめんどくさくなります。 (パラメータチューニングも考えるとなおさら) VARや状態空間モデルのような、多変量時系列の予測に使える手法もありはするんですが、さすがに数百系列のデータの適応するのには無理があります。 そこで、今回はDeepARという深層学習を使った時系列予測アプローチを使い、モデル1つで複数系列データを予測する方法をご紹介します。 DeepARとは？ DeepARは、Amazonが開発した時系列予測フレームワークです。論文はこちら。 ざっくり説明すると、目的値$z_{i,t}$そのものを予測
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
レコメンドで使用する類似アイテムをAmazon Bedrockとitem2vecで計算・比較検証してみた - コネヒト開発者ブログ
みなさんこんにちは。MLエンジニアのたかぱい（@takapy0210）です。 最近、久しぶりに機動戦士ガンダムSEEDを見直しました。（来年には劇場版の公開もあります） 地球連合軍第7機動艦隊に所属するパイロットであるムウさんの 「君は出来るだけの力を持っているだろう？なら、出来ることをやれよ」 というセリフが好きです。 相手をリスペクトしつつ、でもお前はもっとできるだろ？という期待も込もった、良い言葉だなと感じます。 さて本日は、レコメンドで使用頻度の高い類似アイテムの計算処理を2パターンで実施し、どんな差分がでるのか？を検証した結果をお話ししようと思います。 この記事はコネヒト Advent Calendarのカレンダー 10日目の記事です。 adventar.org 目次 背景 Amazon Bedrockの埋め込みモデルでベクトルを取得する item2vecで計算したベクトルを取得
AWS ComprehendとLambdaを用いた問い合わせ自動対応チャットBOTの開発 | 株式会社ロジレス
こんにちは、株式会社ロジレスで業務委託として開発のお手伝いをしている山下です。週3でWebアプリケーションの機能追加・改善をしています。 本題の前にLOGILESSについて少し紹介させてください。 ECの市場が拡大していく中、ネットショップの運営は受注処理や在庫の管理、出荷作業など多くの業務を伴います。私たちはそれらの業務の効率化・自動化を行えるシステムを提供するスタートアップです。2020年8月末で物流会社約50社と提携し、240社以上の企業にご利用いただいており、LOGILESSを利用した1ヶ月間の出荷は90万件を超えます。 ところで、ヘッダーの画像のキャラクタは弊社のマスコットキャラ「ロジごま」で、LOGILESSで様々な業務を自動化した結果、自由な時間を過ごせるようになった二足歩行のゴマフアザラシです。表情や所作が愛くるしくて、ロジごまにはよく癒されています。ECの需要は伸びる一方
Deep Learning で音楽を作成するにはどうしたらいいの ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、AWS で機械学習ソリューションアーキテクトをしている卜部 (うらべ) です。皆さま、突然ですが良い音楽ライフを送っていますか !? 私は音楽を聴くのも演奏するのも大好きです ! ちなみに今はラモーンズ※ を聞きながらこの記事を書いています。最近は在宅ワークも多いですが、打ち合わせの合間に好きな音楽をかけて一人ヘッドバンギング※ をすると力が湧いて「全部私にまかせとけ !!!」という強い気持ちになれます。あくまで気持ちだけですが。。 近頃はいわゆる「巣ごもり需要」で楽器や DTM※ 関連の売り上げが増えたという話を聞きます。スマホやタブレットのアプリも充実しており、家で手軽に楽器演奏や作曲の機会が増えたのは非常に喜ばしいですよね。一方で、仲間と音を合わせたりライブや発表会で演奏したりする機会が減ってしまい寂しく感じています。仕方がないので、カラオケ音源やルーパー※ に合わせて一
AzureとAWSの自動機械学習 - ecbeing labs（イーシービーイング・ラボ）
はじめに 初めまして。おとです。 ecbeingに入社して1年ちょっと、日々データサイエンスや機械学習について学びつつ業務に勤しんでおります。 機械学習について学び始めてから半年ほど経ちます。その中で、 ・Microsoftが提供するAzure Machine Learning ・AWSが提供するAmazon SageMaker 2つの機械学習サービスのチュートリアルを何度か行いました。 その中でも自動機械学習機能が機械学習初心者である私にとってとても便利だと感じたのでご紹介したいと思います。 はじめに 自動機械学習 Azure Machine Learning の自動機械学習 データの選択 ジョブの構成 タスクと設定の選択 検証とテスト 実験 モデルデプロイ エンドポイント Amazon SageMaker の自動機械学習 実験 モデル エンドポイント おわりに 自動機械学習 通常、機械
Amazon Lookout for Visionで青森認証やってみた - Qiita
不良品検出のAIサービス「Amazon Lookout for Vision」が先週25日(木)に東京リージョンでの提供開始が発表されましたが、27日(土)には早くも「AWSの基礎を学ぼう」コミュニティのハンズオンが開催され、実際に体験してみることができました。 AI、機械学習系のハンズオンということで待ち時間なんかもあるわけですが、そこにソラコムの @ma2shita さんの「Amazon Lookout for Vision 向いてるコト、使いどころと注意点」とかJAWS-UG名古屋の @nori2takanori さんの「画像ベース異常検知Amazon Lookout for Visionを使ってみよう」とかLTが入って、退屈する暇のない2時間でした。その中で出てきたスライドの一枚がこちら。 Lookout for Visionは不良品検知にしか使えないサービスじゃないぞ、と。アイデ
Amazon Rekognition Custom Labels で動きを認識できるか~猫パンチで試してみた - Qiita
はじめに AWS の AI サービスの中に Amazon Rekognition という画像認識サービスがありますが、さらにその中に Amazon Rekognition Custom Labels という機能があります。これを使うと、画像を用意するだけで、自分独自のシーン認識や物体検知モデルを作ることができます。以前 こちらの記事 で猫を見分けるモデルを作りましたが、今回はちょっとした動作なら Rekognition Custom Labels で認識できることをご紹介するために、猫パンチ動画のなかの猫パンチを認識するモデルを作ってみようと思います。また、Amazon SageMaker Ground Truth の動画ラベリング機能が非常に便利なので、そちらもご紹介します。 ゴールはこの動画を作ることです。元となる動画は こちらのサイト (mixkit) からお借りしました。 大まかな
Amazon SageMaker Operators for Kubernetes のご紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker Operators for Kubernetes のご紹介 AWS より、Amazon SageMaker Operators for Kubernetes をご紹介いたします。この新機能を使用すると、開発者およびデータサイエンティストは、Amazon SageMaker における 機械学習 (ML) モデルのトレーニング、チューニング、デプロイを、Kubernetes を介して簡単に行うことができます。Kubernetes クラスターに Amazon SageMaker Operators をインストールすると、Kubernetes API や “kubectl” といったコマンドラインの Kubernetes ツールをネイティブに使用して Amazon SageMaker ジョブを作成することが可能です。
Amazon Sagemaker 推論モデルを構築、テストし、AWS Lambda にデプロイする | Amazon Web Services
Amazon Web Services ブログ Amazon Sagemaker 推論モデルを構築、テストし、AWS Lambda にデプロイする Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォームです。ML モデルをデプロイすると、Amazon SageMaker は ML ホスティングインスタンスを活用してモデルをホストし、推論を提供する API エンドポイントを提供します。AWS IoT Greengrass も使用できます。 ただし、異なるターゲットへのデプロイを可能にする Amazon SageMaker の柔軟性のおかげで、AWS Lambda でモデルをホストするといくつかの利点が得られる場合があります。たとえば、GPU が必
EKSユーザーもSageMakerを使うと楽に機械学習に取り組める話 - Qiita
Amazon EKS #2 Advent Calendar 2019の24日目に出す予定だったの記事です。 はじめに re:Invent 2019が終わってはや3週間。 EKSのFargate対応やFargate Spotの登場など華々しいアップデートの影に隠れて、 Amazon SageMaker Operators for Kubernetesというアップデートがあったことは皆さんご存知でしょうか？ 普段はSageMaker[1]島に生息している身ですが、この度はEKS Advent Calenderの1枠を頂いて、まだまだ記事も少ない[2]こちらのアップデートについて少し深堀りしてみることにします。 Amazon SageMaker Operators for Kubernetesとは ドキュメントを引用すると、 Amazon SageMaker Operators for Kube
AWS Machine Learning Research Awards が提案書を募集 | Amazon Web Services
Amazon Web Services ブログ AWS Machine Learning Research Awards が提案書を募集 学術研究とオープンソースソフトウェア開発は、機械学習 (ML) 技術開発の最前線にあります。2017 年以降、 AWS Machine Learning Research Awards (MLRA) は機械学習の進化を目指し、革新的な研究への資金提供や、学生へのトレーニング、さらに研究者への最新技術の提供を行ってきました。MLRA は、MLアルゴリズム、コンピュータービジョン、自然言語処理、医学研究、神経科学、社会科学、物理学、ロボット工学などの分野において、100 件を超える最先端の ML プロジェクトをサポートしてきました。MLRA が支援するプロジェクトの多くが、メディアで取り上げられています。たとえば、「Researchers are Usi
Object2vecの新機能を使って文の分散表現を計算する - Ahogrammer
前回の記事では、日本語文の分散表現を計算するためのデータセットを作成した。 hironsan.hatenablog.com 今回は、先日、SageMakerのObject2vecに追加された機能を使って文の分散表現を計算する。追加された機能には、ネガティブサンプリングの自動化、重み共有、学習の高速化が含まれている。いったん分散表現を計算できると、それを使って文をクラスタリングしたり、分類や回帰といった下流のタスクで使うことができる。 ここで、Object2vecのアーキテクチャについて簡単に説明しておこう。AWSの公式ブログによると、Object2vecのアーキテクチャは以下のようになっている。 参照: https://aws.amazon.com/jp/blogs/machine-learning/introduction-to-amazon-sagemaker-object2vec/
Amazon Textractを試してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? これまで承認制だったAmazon textractがついに一般公開となりました。 現段階では日本リージョンには来ておらず、また、日本語にも未対応ですが、今後各種言語に対応していくとのこと。 Textractとは、伝票などの画像ファイルを渡すと、そこに書かれているテキストを読み取った結果を返してくれるサービスです。 通常のOCRのように、読み取った文字列をただ返してくれるだけでなく、顧客名、住所、合計金額などの意味までを読み取ってくれるのが特徴です。 この処理には、機械学習の技術を使っているとのこと。 今回はブラウザ上からデータを渡して結
Amazon SageMaker Object2Vec adds new features that support automatic negative sampling and speed up training | Amazon Web Services
AWS Machine Learning Blog Amazon SageMaker Object2Vec adds new features that support automatic negative sampling and speed up training Today, we introduce four new features of Amazon SageMaker Object2Vec: negative sampling, sparse gradient update, weight-sharing, and comparator operator customization. Amazon SageMaker Object2Vec is a general-purpose neural embedding algorithm. If you’re unfamiliar
Amazon SageMaker でモデルトレーニング中にメトリクスを簡単にモニタリングして視覚化する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker でモデルトレーニング中にメトリクスを簡単にモニタリングして視覚化する データサイエンティストおよび開発者は、Amazon SageMaker で機械学習モデルをトレーニングしながら計算されたメトリクスにすばやく簡単にアクセスし、モニタリングし、可視化することができるようになりました。追跡するメトリクスは、Amazon SageMaker の AWS マネジメントコンソールを使用するか、Amazon SageMaker Python SDK API を使用して指定できます。モデルのトレーニングが開始されると、Amazon SageMaker は指定されたメトリクスを自動的にモニタリングして、リアルタイムで Amazon CloudWatch コンソールにストリームし、損失曲線や精度曲線などの時系列曲線を可視化し
SageMakerでTensorFlow+Kerasによる独自モデルをトレーニングする方法 - Qiita
import os import argparse import pandas as pd import numpy as np import sys # モジュール配置先を読み込み対象として指定します。 # これにより通常と同じようにimport指定する事ができます。 sys.path.append('modules') import keras from keras.layers import Dense, Dropout, LSTM, Embedding, Reshape, RepeatVector, Permute, Flatten, Conv1D from keras.layers.wrappers import Bidirectional from keras.callbacks import LambdaCallback, EarlyStopping, ModelCheckp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Human-in-the-Loop 機械学習 / Human-in-the-Loop Machine Learning
SageMaker Neoの可能性について�- 第3回 Amazon SageMaker 事例祭り＋体験ハンズオン
