はじめに 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の20日目のエントリです。 昨日19日目のエントリはあべいかの『CloudWatch』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日20日目のテーマは『Amazon Machine Learning』です。 目次 Amazon Machine Learningとは 予測の種類 Amazon MLの使い方 データソースの作成 モデル構築 モデルの評価 予測結果の作成 あわせて読みたい 公式情報 Developers.IO関連エントリ その他関連エントリ さいごに
こんにちは。データサイエンスチームのhongsです。 この記事は、DataScience Advent Calendarの17日目の記事です。 この記事では、AWS GlueとAmazon Machine Learningを活用した 予測モデル作成について紹介したいと思います。 以前の記事(AWS S3 + Athena + QuickSightで始めるデータ分析入門)で 基本給とボーナスの関係を散布図で見てみました。 (基本給は年間の基本年収、ボーナスは年間ボーナスを意味します。) その結果、基本給とボーナスは比例していて強い関係性を持っているように見えました。 つまり、基本給が分かれば何となくボーナスがいくら出るか予測が出来そうです。 この何となくの部分をAWSのMachine Learningを使って予測モデル化してみたいと思います。 相関係数と異常値の確認 予測モデルを作成する前に
機械学習やディープラーニングというと、研究者や高度なエンジニアでなければ活用できないというイメージがあった。 しかし現在では、エクセルを使えるレベルのスキルがあれば、ディープラーニング(深層学習)によるデータマイニングを利用できる。 そこで今回は、『顧客ごとの成約率を機械学習で予測する』という例題を使って、Amazon ML(Machine Learning)による機械学習とデータ解析の方法を説明したい。 目次 目次 更新履歴 2016.12.18 手順4 はじめに Amazon ML(Machine Learning)について 機械学習について Amazon MLの仕組み Amazon MLによる簡単ディープラーニング実践 今回の例題 1.AWSに登録する 2.S3にデータを設置する 3.Machine Learningを起動する 4.機械学習モデル(MLモデル)を作る 5.特定データに
この記事は、SORACOMのSoftware Design誌巻頭特集記念リレーブログ 5/11分の記事です。 先日、AWS IoTがAmazon Machine Learningと連携できるようになりました。 それを受けて、Mobile BlogでAWS IoTとAmazon Machine Learningを使った予防保守という記事が公開されましたが、今回はこの記事を元にして、Raspberry Piで取得したセンサーデータをSORACOM Beamを使ってAWS IoTにデータを送信し、Amazon Machine Learningでリアルタイムに故障を予測するまでの一連の流れを追ってみたいと思います。 概要 Raspberry PiからセンサーデータをSORACOM経由でAWS IoTにデータを送信します。 Amazon Machine Learningでは、あらかじめセンサーのデー
Amazon Machine Learning (Amazon ML)で日本語のテキストデータを使うと精度が上がらないという記事を見かけたので、本当かどうか検証してみました。 ※筆者は機械学習に明るいわけではなので、詳しい方が読んで誤りに気づかれた場合は是非ご指摘ください。 はじめに結論 Amazon MLに日本語のテキストをそのまま入れると確かに精度が上がりにくいと思われます。 これは、Amazon MLが日本語テキストを分かち書きせず一塊のままインプットデータとして扱ってしまうためです。 Amazon MLはTEXTフィールドに対して空白区切りの単語uni-gramで変換を行い、モデルのインプットデータに使用します。 日本語のテキストを使用する場合は、事前に分かち書きをした上でデータソースとしてアップロードすると、精度が出やすいと考えられます。 検証内容 テストデータ テストには以下の
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
Amazon SageMaker Unified Studio は、分析や AI ですべてのデータやツールを使用するための統合エクスペリエンスを提供します。モデル開発、生成 AI、データ処理、SQL 分析用の使い慣れた AWS ツールを使用してデータを検出し、活用しましょう。統合されたノートブックを使用してコンピューティングリソースを処理したり、組み込みの SQL エディタでさまざまなデータソースを検出してクエリを実行したり、AI モデルを大規模にトレーニングしてデプロイしたり、カスタムの生成 AI アプリケーションを迅速に構築したりできます。データ、モデル、生成 AI アプリケーションなどの分析および AI アーティファクトを作成して安全に共有することで、データ製品をより早く市場に投入できます。 設計上安全な包括的な AI 開発機能セットを使用して、SageMaker の AI を有効利
※1: Amazon MLサービスがS3にアクセスするためのBucket Policyが必要になります。なお、マネジメントコンソールから操作する際は操作手順の中で自動的に追加することが可能です。 ※2: IAM PolicyでS3へのアクセス権限を付与するため不要になります。Amazon MLサービスがS3にアクセスすることは変わらないため、IAM PoilcyもしくはBucket Policyのどちらかでアクセス可能にしておく必要があります。 ※3: DatasourceとなるCSVファイルのスキーマ情報です。マネジメントコンソールから作成する際は画面上で設定できますが、AWS CLI(API)経由の場合はスキーマ情報の指定が必須になります。 ※4: 公式ドキュメントではMySQLのみ記述されているため、Auroraについては動作はするようですが保証はされていないようです。 詳細な手順に
We are no longer updating the Amazon Machine Learning service or accepting new users for it. This documentation is available for existing users, but we are no longer updating it. For more information, see What is Amazon Machine Learning. Tutorial: Using Amazon ML to Predict Responses to a Marketing Offer With Amazon Machine Learning (Amazon ML), you can build and train predictive models and host y
Amazon Machine Learning(Amazon ML)のリアルタイム予測をマネジメントコンソール上で試せるようになりました。 Try Real-time Predictions from the Amazon Machine Learning Console ということで試してみました。なお、この機能を使ってリアルタイム予測を行う場合は無料なので、お財布的にも安心です(モデルの作成には費用がかかります。念のため)。 リアルタイム予測を試す まずはモデルを作成します。手元にモデルがない方はチュートリアル(日本語の場合は弊社エントリーをご参照下さい)に沿って作成して下さい。このブログでもbanking.csvから作成したモデルを利用しています。 では作成したモデルの画面を表示して下にスクロールしてください。[Predictions]というエリアがあります。ここの[Try real
概要 Amazon API Gateway + Lambda + Amazon Machine Learningでユーザの購買(契約)予測が出来るWordPressプラグインを作ってみました。 Amazon Machine Learningでデータを機械学習させ、結果をAPI GatewayからWordPressへ返却、ユーザの購買(契約)予測を管理画面のユーザ一覧に表示させるまでを実施します。 この人のデータからは購入(契約)できそうだなとか、そうではなさそうだなというのを管理画面から可視化する仕組みです。 Amazon Machine Learningにてモデルを作る Amazon Machine Learningのサンプルをちょっとチューニングしてみるを参考にさせてもらいました。 こちらと全く同様のチューニングを行い、契約してくれそうな顧客を予測します。 サンプルデータはカリフォルニ
2015年4月に開催されたイベント「AWS Summit 2015 San Francisco」で発表されたアマゾン ウェブ サービス(以下、AWS)の機械学習に関する新サービス「Amazon Machine Learning」。発表当日から利用可能となっており、ビッグデータ系のサービスを使用していたユーザーなどには特に注目を浴びています。 『機械学習』というテーマが注目を浴びている一方で、いざ実践してみるとなるとどうすれば良いのだろうか、またこのテーマについては統計や分析に関する知識も求められる部分がありますので、気軽に触ってみる……というのもAWSの他のサービスと比べると少しハードルが高い印象があるかと思います。 そこで当連載では、機械学習について興味を持ってはいるものの、これまでそういった実戦経験がない(かくいう私もそんなステータスです)、そんな立ち位置の人が読み進め・実践し・理解で
Amazon Machine Learning(以下:Amazon ML)を始めるにあたっては機械学習や分析周りの用語に触れておく事がポイントかと思いますが、先日投稿したエントリの他にもその辺りの理解を深めるのに適した情報がありましたので併せて読んでみたいと思います。 目次 用語:データソース 用語:機械学習モデル 用語:評価 用語:バッチ予測 用語:リアルタイム予測 リージョンとエンドポイント Amazon Machine Learning関連リソース まとめ まずはじめに、Amazon MLは以下の様な概念・要素によって構成されています。以降トピックに基いて用語の解説を。 データソース:Amazon MLへのデータ入力に関連するメタデータを含みます。 機械学習モデル:入力データから抽出されたパターンを用いて予測を生成。 評価:機械学習モデルの品質を測定。 バッチ予測:非同期で生成、複数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く