オライリー本「AWSではじめる生成AI」日本語版の宇宙最速レビュー🚀 - Qiita
ついにGenAI on AWSの日本語版が！ IT技術書で有名なオライリー社より、新刊「AWSではじめる生成AI」が来週8/2に出版されます。すでに予約可能。 AWSではじめる生成AI Chris Fregly、Antje Barth、Shelbee Eigenbrode 著、久富木 隆一 訳、本橋 和貴、久保 隆宏 技術監修 これは昨年11月に刊行された同社の洋書「Generative AI on AWS」の日本語版となります。 原著はAWSの米国拠点で生成AIを担当する3名のエキスパートによる書籍です。AntjeさんはAmazon Bedrock関連のAWS Blogでもよくお見かけしますね。 今回、日本語訳にあたって技術監修をご担当されたAWS Japanの本橋さんと久保さんより、ありがたいことに発売前の献本（ご恵贈）にあずかりましたので、読んだ感想を簡単にアウトプットさせていただき
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
AWS、生成AIアプリの開発を体験できる「Party Rock」公開 プロンプトで指示するだけ
プロンプトだけではなく、ブロックを組み合わせるノーコード開発のような形でもアプリを作成できる。利用できる大規模言語モデルは米AI企業Anthropicの「Claude」など5種類。どの機能も当面は無料で提供するという。作成したアプリはParty Rock上でのみ利用できる。 関連記事 Amazon、OpenAI競合のAnthropicに最大40億ドル投資 AWSでモデル開発 Amazonは、OpenAI競合のAnthropicと生成AI推進の戦略的提携を結び、最大40億ドルを投資すると発表した。AntrhopicはAWSでモデルの開発を行い、AWSの顧客に早期アクセスを提供する計画。 AWSが生成AIに本格参入 テキスト生成、文章要約、画像生成など API経由で利用できる「Amazon Bedrock」発表 AWSが生成AIに本格参入。API経由で生成AIを利用できる「Amazon Bed
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをもとに教師データを蓄積する処理も作りました。 デモ（ぼかしMAX） とてもわかりにくいですが、好みであろう作品がPOSTされているSlackの画面です。各メッセージについている「興味あり！」「別に…」ボタンを押すとLambdaが起動し、DynamoDBに新たな教師データとして保存されます。 なぜ作ったのか DLsiteが好き、以上。 ・・・ もう少し真面目に書くと、 会社でテキストデータに触れることが多いので、うまく扱えるようになりたい 音声作品はシチ
Amazon Sagemaker Studio Lab で無料で機械学習を学んでみよう！ #reinvent | DevelopersIO
こんにちは！森田です。 先日のSivasubramanian KeynoteでAmazon SageMaker Studio Labが発表されました。 この記事では、Sagemaker Studio Labに登録して、機械学習を無料で学ぶ方法をご紹介します。 Amazon SageMaker Studio Labとは Amazon SageMaker Studio Labとは、AWSが提供する無料の機械学習実行環境となっております。 （AWSが提供していますが、AWSアカウントは必要ではありません。） もちろん無料ですので多少の実行制限はありますが、機械学習を学び、実験する程度では問題ない環境が整っております。 初めて機械学習を学ぶ際には、実行環境構築の敷居が高くなってしまいがちですが、このSageMaker Studio Labであればそんな問題も解決され、誰でも簡単に機械学習を始めれそ
初学者向け「Amazon Rekognition」（AI画像／動画分析サービス）をPythonで利用するには
「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、AWSのAI画像／動画分析サービス「Amazon Rekognition」をPythonで利用します。以下、Amazon Rekognitionに用意されているメソッドを概観し、幾つかの使い方を紹介します。 「Amazon Rekognition」とは AWSには、事前トレーニング済みのAI（人工知能）を手軽に利用できる「AIサービス」が多数用意されており、その内容はコンピュータビジョンから言語、レコメンデーション、予測と多岐にわたります。 今回紹介するAmazon Rekognition（以下、Rekognition）は、深層学習を利用して画像と動画（一部ストリーミングを含む）を分析するAIクラウドサービスです。分析のタイプは「ラベル検出」「顔検出」「顔検索」「人
機械学習を簡単に試したい人向け、「Amazon Lookout for Vision」で画像データを使った学習、ラベル付け、精度向上の手順
機械学習を簡単に試したい人向け、「Amazon Lookout for Vision」で画像データを使った学習、ラベル付け、精度向上の手順：AWSチートシート AWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介する。 「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon Lookout for Vision」を使って、画像で簡単に異常検知を行う方法を紹介します。 「Amazon Lookout for Vision」とは 「Amazon Lookout for Vision」は、コンピュータビジョンを使用して視覚表現の欠陥や異常を発見するサービスです。Lookout for V
Amazon SageMaker で Detectron2 を使って物体検出する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker で Detectron2 を使って物体検出する この記事は、こちらの AWS blog を翻訳したものです。 深層学習は、さまざまな分野で機械学習（ML）を実装する際の最重要課題となっています。ニューラルネットワークの柔軟性の高さを背景に、コンピュータビジョン（CV）の物体検出タスクなどではニューラルネットワークが人間よりも優れた性能を発揮することが可能になってきました。 CVタスクの1つである物体検出は、医療、小売、農業など様々な分野で応用されています。たとえば小売業では、店舗の棚の画像からSKU（Stock Keeping Unit）を検出して、購買者の傾向を分析したり、商品の再入荷時期を特定したりしたいと考えています。物体検出モデルは、このような多様なユースケースを実現し、店舗内のオペレーションを自動化
マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 この投稿は株式会社ブレインパッドのエンジニアである 小杉 知己 氏に、自社で取り組まれた機械学習のための CI/CD パイプライン構築についてご紹介頂き、AWS 社員と共著したものとなります。 はじめに 機械学習 (ML) のビジネスにおける活用はますます加速しています。しかし、MLプロジェクトの初期段階における概念実証 (PoC) フェーズを乗り越え、MLを本番環境において運用するには多くの課題があることが知られています。例えば、運用中のデータの質の変化に対応するためにMLモデルの再訓練を行う必要が出てきたとき、さまざまなモデルのバージョンをいかに管理するかが課題となります。また、作ったモデルの本番適用可否の判断を効率的に行うためにはライフサイクルの管理が必要となりま
Amazon SageMaker Model Monitorを使って画像分類モデルの品質を算出する（2021/05） - Qiita
何の記事？ Amazon SageMaker JumpStartを使って作成した画像分類のモデルに対して、Amazon SageMaker Model Monitorを使ってモデル品質の指標(accuracy, recallなど)を算出してみた記事です。 背景 機械学習の画像分類モデルを作る際、トレーニングに使用する画像を変えてみたり、画像に対して様々な前処理をしたり、色々条件を変えて学習モデルを複数作ると思います。複数作ったモデルは、モデル毎のaccuracy, recall, F1 scoreなどモデルの品質を示す指標を比べて、モデルの良し悪しを判断します。 このaccuracy, recall, F1 scoreなどの指標ですが、Amazon Rekognitionカスタムラベルを使って学習モデルを作成した場合、Rekognitionが算出してくれます。 一方、Amazon Sage
AWS、アレクサと同様の会話理解力を持つ「Amazon Lex」日本語対応を発表。日本語で会話する音声ボットやチャットボットが開発可能に
AWS、アレクサと同様の会話理解力を持つ「Amazon Lex」日本語対応を発表。日本語で会話する音声ボットやチャットボットが開発可能に Amazon Lexを利用することで、「すべてのデベロッパーがAmazon Alexaに採用されている深層学習技術と同じ技術を利用できる」（Amazon Lexの説明文から）とされています。 Amazon Lexは、自動音声認識による音声からテキストへの変換機能と、テキストの内容からその意図を認識する自然言語理解機能を備えています。 つまり、電話やオンライン会議などを経由して日本語の音声をAmazon Lexに入力すると、いわゆる文字起こしのようにその内容をテキストに変換してくれます。 そしてこの音声から変換されたテキストや、Slackなどのテキストチャットなどで入力されたテキストの内容から、Amazon Lexはその意図などを理解し、会話の中から必要な
外観検査がこんなに簡単に！？Amazon Lookout for Visionで欠陥検出をやってみた - Taste of Tech Topics
皆さんこんにちは @tereka114です。 さて、今回は2020年の「AWS re:Invent」で紹介された「Amazon Lookout for Vision」を評価していきます。 ※記事公開の2021年1月25日時点ではプレビューサービスであるため、GAとなった時には結果が変わる、適用できないTipsもありますが、ぜひお試しください。 Amazon Lookout for Vision Amazon Lookout for Visionの検証方法 検証データセット 検証内容 検証 学習データセットの数量の追加 学習データセットの異常データ追加 その他便利な機能 トライアル検出を用いた再学習機能 最後に Amazon Lookout for Vision Amazon Lookout for Visionは画像が正常か異常を判定する、異常検知のサービスです。 2020年の「AWS r
Amazon SageMaker Model Monitor と Debugger を使って不正な予測を検知して分析する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker Model Monitor と Debugger を使って不正な予測を検知して分析する この記事は、Detecting and analyzing incorrect model predictions with Amazon SageMaker Model Monitor and Debugger を翻訳したものです。 畳み込みニューラルネットワーク（CNN）は、画像分類や物体検出などのタスクにおいて、最先端の結果をもたらします。自動運転において道路上の交通標識や物体を検出したり、ヘルスケアにおいて画像から異常部位をより正確に分類したり、小売業において在庫管理をしたりと、さまざまなアプリケーションで使用されています。 しかし、CNN はブラックボックスとなります。これは、どのような理由でその予測になったのか
新機能 – Amazon Lookout for Equipment でセンサーデータを分析し、機器の故障検出に役立てる | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon Lookout for Equipment でセンサーデータを分析し、機器の故障検出に役立てる 産業機器を運用する企業は、運用効率性の向上と、コンポーネントの故障による計画外ダウンタイムの回避に絶えず取り組んでいます。これらの企業は長年の間、機器の状態を監視し、リアルタイムのアラートを受け取るために、物理センサー (タグ)、データ接続、データストレージ、およびダッシュボードの構築に多額の投資を繰り返し行っています。主なデータ分析手法は、単一変数の閾値と物理学に基づくモデリングのアプローチであり、これらの手法は特定の故障タイプや稼働状態の検出には効果的ですが、各機器の多変量関係を導き出すことによって検出される重要な情報を見逃すことがよくあります。 機械学習の使用により、機器の履歴的なデータから学習するデータ駆動のモデル
入社後の振り返りとデータ分析基盤エンジニアになるために活用したおすすめセミナー | DevelopersIO
本エントリはクラメソビギナーズの圧倒的成長 Advent Calendar 2020の9日目の記事です。 どーもsutoです。クラスメソッドデータアナリティクス事業本部インテグレーション部にJoinして９ヶ月目となりました。これまで勤めてきた（正直に言うとヌルい）会社と違い、学びのスピードが違うため自分がスキルアップ出来ているという実感があります。 「オンプレNW設計、保守、運用」＋「SAAレベルに毛が生えた程度のAWS知識」しかなかった自分がどのくらい成長できたのか振り返っていきたいと思います。 入社してからの8ヶ月を振り返ってみる ネットワークの保守・運用、およびSIerだった自分が、やりたいと思っていたデータエンジニアへ転向することを決めクラスメソッドに2020年4月にJoinしましたが、これまでどのような仕事をして、何を経験し成長できたかを書いていきます。 データ分析基盤のインフラ
オンライン学習とバッチ学習 | DevelopersIO
こんにちは、小澤です。 当エントリは「Machine Learning Advent Calendar 2017」の22日目のエントリです。 今回は、具体的な手法の話ではなく概念的な部分になりますが、機械学習におけるオンライン学習とバッチ学習の話を書きたいと思います。 オンライン学習・バッチ学習とは 機械学習の手法を解説する時には、バッチ学習が前提となっていることが多いです。 バッチ学習は学習対象となるデータを全てまとめて一括で処理する方法になります。 一般的な教師あり学習を行う時の流れとして 現在weightの値で予測する 予測した値を元に損失関数を計算する 最適関数でweightの値を更新する という流れとなっていました。 例えば、2日目で紹介したロジスティック回帰では、 1のプロセス以下を求めます。 [latex] \hat{y} = \frac{1}{1 + \exp(-{\bf
Amazon SageMaker Studioを使って機械学習をやってみる | DevelopersIO
Introduction この記事は、初めてAmazon SageMakerにさわった自分が、Amazon SageMaker Studioを使って ↓の情報を参考に機械学習モデルの構築・トレーニング・デプロイして推論を実行したログです。 devio : Amazon SageMakerの予測APIをboto3から叩く Qiita : Amazon SageMaker Studio の導入と Autopilot について ＃２ Qiita : 流行りにのってAmazon SageMaker Studioを使ってみた！！ Qiita : [チュートリアル] Amazon SageMakerでの学習・デプロイ Amazon SageMaker 開発者ガイド これらの情報をみて、実際にAutopilotで機械学習モデル構築から推論まで動かしたことがあるなら、たぶん目新しい情報はないので注意。 W
Pythonを使って、画像認識や音声認識を学ぶ——リックテレコム、「使ってわかったAWSのAI」を刊行｜fabcross
本書はAWSのAIサービスについて、全体像を掴むことを目的とした解説書だ。 全5章構成。第1章で人工知能全般について、第2章でAWSの機械学習サービスについてそれぞれ解説した後、第3章「AIサービス」では、Pythonを使って画像認識（Rekognition）や音声認識（Transcribe）、自然言語処理（Amazon Comprehend）やドキュメント分析（Amazon Textract）など、各種AIサービスやSDKについて解説する。トレーニングデータを準備し、時系列予測のための予測モデルを作成するAmazon Forecastについても触れる。 また、第4章では完全マネージド型の機械学習サービス「SageMaker」の組み込みアルゴリズムの作成、第5章ではEC2環境を利用して深層学習フレームワーク「Deep Learning AMI」について解説する。 著者は井上研一氏。B4変型
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Machine Learning University
データレイクを基盤としたAWS上での機械学習サービス構築
