YAP(achimon)C::Asia Hachioji 2016 mid
今回は天候データをAmazon Machine Learningに流し込み3つの方法(二項分類、多項分類、回帰分析)で天気予測をしてみます。 記事の目的 記事の目的は以下の3つです。 ・もっとも簡単な機械学習サービスであるAmazon Machine Learningを理解する ・同一データに対して3つの方法を利用することで3つの違いを掴む ・機械学習に対する属性情報の重要性を掴む 同じデータを複数の方法で利用することで、3つの違いや使い方がわかりやすく理解できると思います。 今回利用するデータは気象庁が提供する過去の天候データです。 http://www.data.jma.go.jp/obd/stats/etrn/ 項目が多く載っている東京都のデータを利用しています。 http://www.data.jma.go.jp/gmd/risk/obsdl/index.php Amazon Ma
Amazon Web Services(AWS)は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ
今年からAWS(Amazon Web Services)クラウドコンサルタントとして、中小規模のAWSデプロイの相談を受けています。その多くは典型的なWebアプリケーションです。ここで、ぜひ避けたい5つのよくある間違いを紹介します。 インフラストラクチャを手動で管理する。 Auto Scaling グループを使わない。 CloudWatchのメトリクスを分析しない。 Trusted Advisorを無視する。 仮想マシンを活用しない。 典型的なWebアプリケーションにおける間違いを防ぎたい人は、次に進んでください。 典型的なWebアプリケーション 典型的なWebアプリケーションは最低限次の要素で構成されているものを指します。 ロードバランサ スケーラブルなWebバックエンド データベース そしてこのアプリケーションは、次の図のような仕組みを持っています。 注釈:(左から)DNS、CDN、静
AWSアカウントを作成したら最初にやっておきたいことをまとめてみた。 あわせて読みたい 本記事の内容を含めた最新の手順は、下記の書籍にまとまっている。 クラウド破産を回避するAWS実践ガイド AWSアカウント(ルートアカウント)の保護 AWSアカウントが乗っ取られると詰むので、真っ先にセキュリティを強化する。 AWSアカウントへ二段階認証を導入 AWSアカウントでのログインは、AWSアカウント作成時のメールアドレス・パスワードだけでできてしまう。心許ないにもほどがあるので、まずは二段階認証を設定しよう。 IAMのページを開く https://console.aws.amazon.com/iam/home 「ルートアカウントのMFAを有効化」を選択して、「MFAの管理」ボタンをクリック 「仮想MFAデバイス」にチェックが入っていることを確認し、「次のステップ」ボタンをクリック 注意書きを読ん
AWS、SSL/TLS証明書を無償で発行するサービス「AWS Certificate Manager」を提供開始:まずはUS EASTリージョンで 米Amazon Web Servicesは2016年1月21日(米国時間)、SSL/TLS証明書を無償で発行・管理するサービス「AWS Certificate Manager(ACM)」を提供開始した。Amazon Trust Services(ATS)を認証局とする証明書の発行を受け、これをElastic Load BalancerあるいはAmazon CloudFrontに適用して利用できる。 米Amazon Web Services(AWS)は2016年1月21日(米国時間)、SSL/TLS証明書を無償で発行、管理代行するサービス「AWS Certificate Manager(ACM)」を提供開始した。現時点では米国東部(バージニア北部
Amazon Virtual Private Cloud (Amazon VPC) を使用すると、論理的に隔離されている定義済みの仮想ネットワーク内で AWS リソースを起動できます。仮想ネットワークは、お客様自身のデータセンターで運用されていた従来のネットワークによく似ていますが、AWS のスケーラブルなインフラストラクチャを使用できるというメリットがあります。 次の図表は、VPC の例を示しています。VPC には、リージョンの各アベイラビリティーゾーンに 1 つのサブネット、各サブネットに EC2 インスタンス、VPC 内のリソースとインターネットとの通信を可能にするインターネットゲートウェイがあります。 仮想プライベートクラウド (VPC) VPC は、お客様自身のデータセンターで運用されている従来のネットワークによく似た仮想ネットワークです。VPC の作成後、サブネットを追加できま
新規事業の立ち上げにAWSを選択する こういう状況はままあるでしょう。最安というわけではないけれど、将来どんな開発が必要になるか全く想像できない新規事業立ち上げフェーズにおいて、多種多様なPaaSを提供してくれるAWSはとても魅力的。 さて、いざ、EC2インスタンスを立ち上げてアプリケーションをデプロイするわけだが、みなさん、ちゃんとネットワーク設計していますか?まさかデフォルトVPCでサービス運営なんてしてないですよね? というわけでネットワーク設計をして、VPCを設定していくわけだが、何を作ればよいか決まっている事業フェーズならともかく、新規事業立ち上げフェーズでは「将来どんな機能が必要になるかわからない」という前提でネットワーク設計をしておかなければいけない。そこで、「例えばこんな設計はどうでしょう」という提案をしてみる。 IPレンジ設計 まずはVPCとサブネットを使ってIPレンジを
AWS Identity and Access Management ベストプラクティスは 2022 年 7 月 14 日に更新されました。 AWS のリソースを保護するには、AWS Identity and Access Management (IAM) を使用する際の以下のベストプラクティスに従ってください。 人間のユーザーが一時的な認証情報を使用して AWS にアクセスする場合に ID プロバイダーとのフェデレーションを使用することを必須とする 人間のユーザーとは、別名人間 ID と呼ばれ、人、管理者、デベロッパー、オペレーター、およびアプリケーションのコンシューマーを指します。人間のユーザーは AWS の環境とアプリケーションにアクセスするための ID を持っている必要があります。組織のメンバーである人間のユーザーは、ワークフォースアイデンティティとも呼ばれます。人間のユーザーには
こんにちは、せーのです。 今日はついに登場した新サービス「Amazon VPC NAT Gateway」をご紹介します。 AmazonマネージドのNATが登場 今までプライベートなサブネットに立ててあるEC2インスタンスからインターネットに出るにはパブリックなサブネット上に自分でNATインスタンスを立てる必要がありました。 NATが落ちるとプライベートにあるEC2群からは一切インターネットに出ることができなくなるのでNATは冗長化して複数構成にするのが常でした。その結果そんなに使うわけでもないNAT用のEC2インスタンスを最低でも2台立て、しかもこのNATがパフォーマンスのネックにならないようにとある程度大きめのインスタンスタイプを選ばざるを得ないこともあり、コストが大変かかるものでした。 NATが落ちた時の切替も自分でスクリプトを組んで行っていましたが完全なものではありませんでした。 今
概要 本基盤の果たす役割としては、「利用者が本基盤に向けてファイルをアップロードし、なんらかの(変換を含む)処理を行って利用サービス側に通知する」というものになる。 そこで、想定する利用イメージを大まかにでも理解してもらうため、抽象的なイメージを図示する。 ファイルをアップロードしたいユーザーは、まず本基盤の利用サービスに対してアップロード権限の発行を依頼する。 図では省略したものの、利用サービス側はその依頼を受けて、本基盤に対してアップロードチケットの発行を依頼し、取得した情報をアップロードしたいユーザーに対して返す。 アップロードユーザーはそれを受けて、本基盤に対してファイルのアップロードを行い、アップロード・バリデーション・変換が済んだものについては本基盤が利用サービスに結果を通知するというのが大まかな流れとなる。 次に、本基盤の持つ責務について簡単に解説したい。 本基盤は、メディア
TL;DR← 下記の2記事を読めば終わり。 EC2でCUDAを使いたい GPUインスタンス上でDocker使ってCaffeしたい はじめに どうも、情弱太郎です。 最近、ディープラーニングという言葉は持て囃されていますね。 昔のビックデータのそれを思い出しました。 その辺のオジサン(sucks)が部下に『ほら、最近パソコンがネコ分かるようになった、あー、あれ、ドープラーニングだっけ?アレでなんかできないの?』って言われたときに対応できるようにしておきたくなったので、ディープラーニングしてみることにしました。 ディープラーニング、いろいろ実装があるみたいです。 最近だと https://github.com/NervanaSystems/neon これも良さげですが、使い方が全く分からないです。 なんだかんだでCaffeってのがドキュメントちゃんとしてる風なので、Caffeをやってみることに
Immutable (不変な) Infrastructure は、サーバを一度セットアップしたら二度と変更を加えないという運用スタイルのことを指します。 クラウド環境では、必要に応じてすぐにサーバを用意し、不要になったら簡単に破棄することができます。Immutable Infrastructure は、このようなクラウドの特性を活かす運用スタイルとして、注目されつつあります。 背景 Immutable Infrastructure が提唱された背景にある技術として、 Auto Scaling や Blue-Green Deployment*1 などがあります。 Auto Scaling Auto Scaling は、負荷に応じて自動的にサーバ台数を増減させる技術で、 AWS では標準で提供されています。常に必要な台数だけ起動していればいいので、コスト削減になるというものです。 Auto S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く