アマゾンの“おすすめ”で鍛えた機械学習技術、AWSがサービス化
Amazon Web Services（AWS）は4月9日、マネージド型の機械学習サービス「Amazon Machine Learning」の提供を開始した。多額のインフラ投資をすることなく、AWSのストレージやデータベースに蓄積された大量のデータを使って、簡単に将来予測を実行できる。 機械学習（ML：Machine Learning）は、大量の過去データを「学習用データセット」として利用することで、ビジネス判断を支援する結果予測の方程式（予測モデル）を作成する技術。人間が予測モデルを作成する場合、数学統計やデータ分析に対する深い知識を持つ人材や、予測モデルを反復的に実行／修正する作業（トレーニング）が必要となるが、機械学習では大量のデータを自動処理することで、こうした負担を大幅に軽減する。 機械学習技術は、たとえば金融取引における不正トランザクションの検知や、商品の需要予測、カスタマーサ
Amazon Redshiftへのデータ投入からBIツールによる可視化までの手順
データの入手、整形 Amazon S3へのデータのアップロード Amazon Redshift：テーブルの作成 Amazon Redshift：データの投入 Amazon Redshift：SQLによるバッチ処理（ETL） BIツールからの接続確認 また、利用するBIツールはTableau社が提供している『Tableau Desktop』というデスクトップツールを利用したいと思います。文中『Tableau』という言葉が出て来た際はこの『Tableau Desktop』のことを示しているとご理解ください。 データの入手・整形 では分析を行いたいデータを準備するところから見ていきましょう。Tableau社では各種デモで用いることができるようなサンプルデータを公開していますが、今回はそのサンプルデータを利用したいと思います。 以下のリンクで公開されているものは、架空の店舗別・地域別売り上げデータ
初めてのAWS Lambda ～AWS Lambdaで始めるイベントドリブンアプリケーション
対象読者 Web系プログラマ AWSに興味のある方 必要な環境 AWSアカウント AWS Lambdaとは 「AWS Lambda」は、クラウド上でアプリケーションを実行する新たなプラットフォームです。AWS Lambdaを使えば何らかのイベントをトリガーに処理を実行することが可能です。Amazon Simple Storage Service（以下、Amazon S3）のバケットへのファイルのアップロード、Amazon Kinesisのストリームに届いたメッセージ、Amazon DynamoDBにおけるテーブルの更新といったイベントを受けて、事前に用意したコードを自動的に実行することができます。 従来であれば、こうしたイベントドリブンなアプリケーションの開発は非常に手間がかかりました。たとえば、変更を検知するためにポーリングし続ける仕組みや、変更を検知したらそれに応じた適切な処理を行う仕
TalknoteのAWS等にまつわる黒歴史
http://geechs-magazine.com/3839 http://geechs-magazine.com/4320
Amazon Linuxのcloud-init Tips集 | DevelopersIO
はじめに 皆さん、User-Dataを使っていますか？複数のEC2に同様の設定を適用してLaunchしたい時には便利な機能です。 このUser-Dataにはシェルスクリプトを直接書くか、あるいはcloud-init形式で記載することが出来ます。これは1行目が"#!"で始まっていればシェルスクリプト、"#cloud-config"で始まっていればcloud-init形式として処理されます。なおAmazon Linuxに導入されているcloud-initは元々のcloud-initをカスタマイズしたものであり、独自拡張がされていたり、一部のディレクティブが使えなかったりするので注意が必要です。 今回、このcloud-initを使った初期設定を色々と調べたので、まとめてみました。 Tips 設定及びログの確認 repo_update, repo_upgrade yum_repos package
AutoScale×ゲーム ~運用効率化への取り組み~
AWS Summit Tokyo 2014のTC-09セッションで発表した資料です。 こちらは後半部分です。 タイトル：TC-09「AutoScale×ゲーム ～運用効率化への取り組み～」について === イベント概要 === AWS Summit Tokyo 2014について 開催日：2014年7月17日（木）～18日（金） 9:15 ～ 19:00 会場：グランドプリンスホテル新高輪 （国際館パミール） 主催：アマゾン データ サービス ジャパン株式会社 サイトURL：http://www.awssummittokyo.com/ スケジュール：http://www.awssummittokyo.com/schedule.html セッション紹介：http://www.awssummittokyo.com/session.html#tc9 前半=>http://www.slideshar
これからAWSを始める人は一読すべき「AWS運用チェックリスト」を読んでみた | DevelopersIO
はじめに こんにちは植木和樹です。AWSでは各種ホワイトペーパーなどの資料を多数公開しています。 AWS アーキテクチャーセンター | アマゾン ウェブ サービス（AWS 日本語） 今回は上記ページからダウンロードできる「AWS 運用チェックリスト（PDFファイル）」を読んでみました。運用チェックリストという名前ではありますが、AWSを利用する方は一度目を通しておくのをお勧めする内容でした。 チェックリストは大きく3つ「ベーシック」「エンタープライズ」「セキュリティ監査」に分かれています。このうちベーシックは15項目程とコンパクトにまとまっていて、簡易チェックリストとしてお手頃です。 残念ながらまだ日本語訳がされていないようですので、今回ベーシック部分だけをザックリ読んで簡単なコメントを書いてみました。 ベーシック運用チェックリスト 原文は「我々は〜〜〜を設定しています（理解しています）」
会社にAWSを導入する人は一読すべき「エンタープライズAWS導入ガイド」を読んでみた | DevelopersIO
はじめに 4月にAPNパートナーの有志からエンタープライズAWS導入ガイド がリリースされました。日本語です。 実は迂闊にもそのことを気づいたのが最近でした。というわけで今更ですが読んでみた感想を書いてゆきます。 結論から言いますと会社にAWSを導入したいと考えている方、AWSの提案書を書かないといけない方であれば「must read or die」です。読むべし、です。 本書の最後に 「ユーザー企業によるエンタープライズシステムにおけるクラウドサービス導入の 一助となれば」とありますが、なります、なりすぎます。 エンタープライズAWS導入ガイド 以下、どんな点が参考になったか説明してゆきます。 まずは目次です。 1章 はじめに 2章 AWSサービス概要 3章 エンタープライズ構成例 4章 システム・運用要件 5章 移行 6章 調達 1から3章はわかりやすいのですが、この資料以
料理動画を支える技術 - クックパッド開発者ブログ
インフラストラクチャー部 星野(@con_mame)です。 少し前から、一部レシピページに料理動画を掲載していました。当初はYoutubeを使用していましたが、本日から自社配信に切り替わりました。現在はまだ掲載数は少ないですが、今後掲載数を増やしていきたいと考えております。 そこで、今回は、動画配信プラットフォームの裏側がどうなっているかという点を簡単にですがご紹介したいと思います。 構成図 構成図を見ていただくのが一番わかり易いと思うので、最初に掲載します。 見て分かる通り、今回は全てAWSのサービスを使用して構築しています。 今回使用したサービスは エンコード: Elastic Transcoder データストア: DynamoDB + DynamicDynamoDB ストレージ・配信: S3 + CloudFront エンコード通知など: SNS 今回、構築までの期間とエンコードや動
「クラウド本気で始めました」なSIerのChef活用と実践～Chefアンチパターンとの戦い～
Chef Casual Talks Sapporo Vol.1 映像→https://www.youtube.com/watch?v=zJ7pYVp5M7E&feature=youtu.beRead less
ビッグデータサービス群のおさらい & AWS Data Pipeline
This document provides an overview and agenda for a webinar on Amazon Elasticsearch Service (Amazon ES). It introduces Elasticsearch and Amazon ES, including the benefits of using the fully-managed service such as cost efficiency, high availability, security, and ease of deployment. The webinar will cover topics like log analysis, search capabilities, operations management, security, pricing and l
S3の現在の総保存量を計算するスクリプトを書いた | DevelopersIO
こんにちは。望月です。 S3は非常に安いストレージとはいえ、保存する量が数百GB〜TBになると、課金額もそれなりに多くなっていきます。 ですが、Management Consoleからは、S3全体でどれだけの容量を使っているのかを確認することは出来ません。 *1 なので、現在の保存容量を確認するためのスクリプトを書いてみました。今は全バケットの合計を表示するだけしかできませんが、近いうちにバケットごとや特定のprefix以下の容量なども取得できるように対応したいと思います。 5/1追記 : バケット毎のサイズ出力をするようにしました。 5/16追記 : 処理を高速化しました #!/usr/bin/env ruby require 'aws-sdk' require 'optparse' begin require 'aws/profile_parser' rescue LoadError;
IAMポリシーで特定のEC2インスタンスへの操作権限付与 - 雑多なインフラエンジニア日記
表題の通り、IAMポリシーで特定のEC2インスタンスのみに操作権限を付ける ことが可能になったみたいです。(2013/07時点) http://aws.typepad.com/aws_japan/2013/07/resource-permissions-for-ec2-and-rds-resources.html 以下のIAMポリシーは、全EC2インスタンスの参照権限 + インスタンスID1、2 への再起動、起動、停止の権限を付与した例です。 ActionとResourceが重要です！ { "Version": "2012-10-17", "Statement": [ { "Sid": "EC2DESC", "Action": ["ec2:describe*"], "Resource": ["*"], "Effect": "Allow" }, { "Sid": "EC2BOOT", "Ac
Sensuを使ってクラウド環境の監視を効率よく行おう - UNIX的なアレ
AWSなど様々な環境でサーバを管理してくると、すべて同一の監視ツールを使うのがなかなか難しくなってきます。そんなこともあり、私も定期的にいろいろな監視ツールを試しています。 http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/ nagiosとクラウドの相性が悪い！ 監視するには様々なツールがありますが、その中でも特に有名なツールはnagiosでしょう。古くから使われているツールで、プラグインも数多くあり様々な監視を行うことができます。 クライアント側にnrpeをインストールすることで、各ホストの詳細の状態まで監視することができますし、うまく活用すればかなり細かい監視までできます。 しかし、AWSのようなクラウド環境で使うには非常に使いづらいです。というのも、nagiosはサーバ側にどのホストを監視するのかという情報を持たなけ
Amazon Linux AMI 2014.03 Released! 早速ハマったこと (Perl・glibc編) | DevelopersIO
Amazon Linux AMI 2014.03 Released! 早速ハマったこと (Perl・glibc編) OpenSSLの脆弱性(CVE-2014-0160)が公開されました。 Amazon Linuxでは、openssl-1.0.1e-37.66 (参考：ALAS-2014-320) で対応済ですが、 この記事の手順でリポジトリをAmazon Linux 2013.09に固定している際は、提供されません。 /etc/yum.confで「releasever=latest」を有効にして、yum update opensslを実行することを強くお勧めします。 ただし、依存関係により、glibcが2.17へアップデートされますので、 十分に動作検証した上で本番適用することをお勧めします。 こんにちは、三井田です。 佐々木さんが『Amazon Linux AMI 2014.03 Rel
【イベント登壇レポート】JAWS DAYS 2014で、Miiverseの取り組みを弊社エンジニア渡辺が任天堂と共同で発表しました - Hatena Developer Blog
はてな システム開発本部 システムプラットフォーム部 チーフ 渡辺起2014年3月15日（土）に新宿で開催されたJAWS DAYS 2014に、弊社CTO 田中慎司（たなか・しんじ）と、システムプラットフォーム部チーフ 渡辺起（わたなべ・たつる）が登壇しました。 参考リンク：JAWS DAYS 2014 JAWS DAYSは、クラウドプラットフォームAWS（Amazon Webサービス）利用者のコミュニティJAWS-UG（AWS User Group - Japan）による全国規模のユーザーカンファレンスで、今年は総参加者が1,000人規模の大きなイベントとなりました。 世界で展開する新しいネットワークサービス「Miiverse」のAWS活用事例 7トラックが平行して実施されるうち、最も広いスペースで大規模事例やエンタープライズ活用を紹介するビッグトラックに、はてな渡辺と任天堂株式会社 竹
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
ELBのConnection Drainingの動作をテストする - okochangの馬鹿でありがとう
こんにちは＠oko_changです。 先日、ELBののConnection Draining機能がリリースされました。 Connection Drainingの機能については、こちらのブログに参考にして、動作テストはこちらのブログに記載されているように大きなダミーファイルを使えば良さそうです。 環境 リリースノートを見るとAWS CLIはConnection Drainingに対応しているようです。 1.3.2より前のバージョンをご使用の方はsudo pip install --upgrade awscliをして下さい。 AWS CLI 1.3.2 Amazon ElasticLoadBalancing CLI version 1.0.34.0 (API 2012-06-01) テスト環境の作成 まず最初にテスト用のELBを作成します。 $ aws elb create-load-bala
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドでのVPC移行について
opsworks本番前提でopsworksを使わないで開発する話 at #jawsug #chibadan
