AWS GlueとAmazon Machine Learningでの予測モデル | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
こんにちは。データサイエンスチームのhongsです。 この記事は、DataScience Advent Calendarの17日目の記事です。 この記事では、AWS GlueとAmazon Machine Learningを活用した 予測モデル作成について紹介したいと思います。 以前の記事（AWS S3 + Athena + QuickSightで始めるデータ分析入門）で 基本給とボーナスの関係を散布図で見てみました。 （基本給は年間の基本年収、ボーナスは年間ボーナスを意味します。） その結果、基本給とボーナスは比例していて強い関係性を持っているように見えました。 つまり、基本給が分かれば何となくボーナスがいくら出るか予測が出来そうです。 この何となくの部分をAWSのMachine Learningを使って予測モデル化してみたいと思います。 相関係数と異常値の確認 予測モデルを作成する前に
Deep Learning AMI for Ubuntu v1.3_Apr2017 now Supports Caffe2
You can now use Caffe2 with the AWS Deep Learning AMI for Ubuntu, available on the AWS Marketplace. The addition of Caffe2, a project led by Facebook, allows developers another choice of deep learning frameworks on the AWS platform. To learn more about Caffe2, you can check out the GitHub repository. The Deep Learning AMI v1.3_Apr2017 for Ubuntu was defined and designed to provide a stable, secure
Tensorflow 1.0でGPU利用 with AWS - Qiita
そろそろ春の足音がしだして、相変わらずの何もできてないっぷりに愕然とする今日このごろです。 さすがに何もしていないのはまずいので、以前触った TensorFlow を再び触り始めています。 相変わらずのGoogleクオリティで、APIが色々と変わっているような気がしますが、いろいろ忘れているので調度良いかなと。 何か一つ作ってみようと、作ってみている最中です（いずれ記事に・・・）が、DeepLearningとかコモディティ化してきていると言われているとはいえ、理解しながら作ろうとすると、もれなく数式とコンニチワするので、文字通りに頭の痛い日々です。でも楽しい。 Amazon LinuxでGPU利用する 今作ってみているものは、学習をCPUだけでやると時間がかかってしょうがない＋学習用データが大きすぎて洒落にならないため、GPUで実施したくなります。 GPUは一応部屋のPCについているとはい
re:Invent 2016 私的HPCまとめ - Qiita
AWS re:Invent 2016に参加してきました。他の誰もやらないであろうHPC的なまとめを私なりにしてみます。 AWS re:Inventについて 私が説明するよりもはるかに素晴らしい紹介コンテンツが山ほどあるので、そちらを参照ください。 毎年参照するのがクラスメソッド様の全セッションまとめです。毎年お世話になります。多謝。 http://dev.classmethod.jp/cloud/aws/reinvent-2016-matome/ KeyNote New Instance Type 新しいインスタンスタイプのリリース、skylake世代がAWSにやってきます。 c5, r4なんかはベンチマークが非常に楽しみです。i3なんかもClusterの共有ファイルサーバとしてI/Oが改善されているので非常に楽しみです。でもやっぱり一番熱いのはf1インスタんですかね。FPGAがAWSにや
【書評】モバイルエンジニア向けのAWS解説書『Amazon Web Services クラウドネイティブ・アプリケーション開発技法』の紹介 - Qiita
【書評】モバイルエンジニア向けのAWS解説書『Amazon Web Services クラウドネイティブ・アプリケーション開発技法』の紹介JavaScriptAndroidAWSiOSSwift 著者・監修の佐々木 拓郎さん、 高柳さん、および SB Creative さまより『Amazon Web Services クラウドネイティブ・アプリケーション開発技法 一番大切な知識と技術が身につく』をご献本いただきました。 昨今のモバイルアプリケーションには大抵の場合バックエンドも必要になりますが、たとえば僕はiOSアプリしかつくれません。そういう場合に、他のサーバーサイドエンジニアやインフラエンジニアと組む以外に、ちょっと前であれば Parse.com を利用してサクッと済ませてしまう、という選択肢もありましたが、来年にはサービス終了してしまうという悲しい事態になってしまった今、やはりモバイ
Apache Spark Now Available on Amazon EMR
Apache Spark is now supported on Amazon EMR. Similar to Apache Hadoop, Apache Spark is an open-source, distributed processing system commonly used for big data workloads. Spark utilizes in-memory caching and optimized execution for fast performance, and it supports batch processing, streaming, machine learning, graph databases, and ad hoc queries. With support for Scala, Python, Java, and SQL (usi
Amazon Machine Learningの前提知識
2015年4月に開催されたイベント「AWS Summit 2015 San Francisco」で発表されたアマゾン ウェブ サービス（以下、AWS）の機械学習に関する新サービス「Amazon Machine Learning」。発表当日から利用可能となっており、ビッグデータ系のサービスを使用していたユーザーなどには特に注目を浴びています。 『機械学習』というテーマが注目を浴びている一方で、いざ実践してみるとなるとどうすれば良いのだろうか、またこのテーマについては統計や分析に関する知識も求められる部分がありますので、気軽に触ってみる……というのもAWSの他のサービスと比べると少しハードルが高い印象があるかと思います。 そこで当連載では、機械学習について興味を持ってはいるものの、これまでそういった実戦経験がない（かくいう私もそんなステータスです）、そんな立ち位置の人が読み進め・実践し・理解で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing Amazon Rekognition, Amazon Polly and Amazon Lex
Cloud Computing Services - Amazon Web Services (AWS)
Coursera | Online Courses From Top Universities. Join for Free
AWS Training and Certification - Machine Learning
Amazon.co.jp: Machine Learning実践の極意 機械学習システム構築の勘所をつかむ! (impress top gear): Henrik Brink (著), Joseph W. Richards (著), Mark Fetherolf (著), 株式会社クイープ (翻訳): 本
Amazon.co.jp: :
Deep Learning Virtual Machine - AWS Deep Learning AMIs - AWS
Amazon.co.jp: Deep Learning (Adaptive Computation and Machine Learning series): Goodfellow, Ian, Bengio, Yoshua, Courville, Aaron: 本
https://jp.techcrunch.com/2017/01/31/20170130mxnet-accepted-to-the-apache-incubator/
Amazon.co.jp: さわってわかる機械学習 Azure Machine Learning実践ガイド（日経BP Next ICT選書） 電子書籍: FIXER, 大澤文孝, 日本マイクロソフト: Kindleストア
TF not compatible with AWS GPU instances? · Issue #142 · tensorflow/tensorflow
GitHub - threecourse/kaggle-coupon-purchase-prediction
GitHub - donnemartin/awesome-aws: A curated list of awesome Amazon Web Services (AWS) libraries, open source repos, guides, blogs, and other resources. Featuring the Fiery Meter of AWSome.
