Netflix: Deep LearningのインフラをAWS上で構築する - ワザノバ | wazanova
http://techblog.netflix.com/2014/02/distributed-neural-networks-with-gpus.html 2 comments | 0 points | by WazanovaNews ■ comment by Jshiike | 1日前 脳の神経細胞の仕組みを模したニューラルコンピューティングを利用した機械学習の分野であるDeep Learning (深層学習)は、Googleなども取り組んでいてホットなトピックですが、Netflixはその成果をどのように利用しようとしているかはまだ具体的に公表はしていません。パーソナライゼーション関係のようですが詳細は不明。しかし、そこはNetflixらしく今回は、Deep Learningを活用したい企業のために、AWSを利用したインフラ構築の取り組みを紹介してます。 従来の事例は専用のハードウェ
AWSのEBS Provisioned IOPSからEBSについて妄想する - プログラマでありたい
以前、EBSの内部構造を調べていて「結構知らないAmazon EBSの細かい話。主にEBSのネットワークの構造について」という記事を書きました。そこでEBSの性能はネットワークの帯域で制約される旨を書きました。すると、@namikawaさんに次のような指摘を頂きました。 このsh2さんのブログにも書いてあるけど、QEMUなりcgroupのレイヤでの制限に近いやり方なのかなぁと思っています。ただの想像ではありますが。d.hatena.ne.jp/sh2/20121217 確かにネットワークが性能の制約にはなりうるけど、ネットワークだけではProvisioned IOPSのようなIOPS単位での性能の制御は出来ないなぁと疑問に思っていました。気になったので、EBS絡みの性能測定や考察・Tipsを読んでみましたが、まだまだ解らない所だらけです。それでも、今回得た情報を元にProvisioned
Amazon Elastic Load Balancing (ELB)の内部構造および拡張・障害時の動き - プログラマでありたい
諸般の理由により、AWSの各サービスの挙動を改めて復習中です。まずは、Amazon Elastic Load Balancing 、通称ELBについてです。ELBの内部の動作については、公開されている公式ドキュメントが割とあります。是非一度しっかりと目を通しておくとよいですよ。少なくともAWSマイスターシリーズのELBについては、読んでおくべきです。簡潔にかつ詳しく説明されているので、理解が格段に進むでしょう。というところで、現段階で私が理解しているELBのアーキテクチャをまとめてみました。 ELBの内部構造 ELBは、ELBエンドポイントとELBインスタンス（仮称）によって構成されます。ELBインスタンス（仮称）の正式名称は知らないので、その名前で呼ぶことにします。ELBインスタンスには、グローバルIPが付与されます。ELBエンドポイントは、myLB-xxx.elb.amazonaws.
fluent-plugin-ec2-metadata という fluentd プラグインを書いてみた · takus's blog
前々から fluentd のプラグインを書いてみようと思っていたので、ec2 の metadata をレコードに追加するようなプラグインを書いてみました。 takus/fluent-plugin-ec2-metadata プラグインの書き方は @tagomoris 先生の “fluentdのためのプラグインをイチから書く手順(bundler版)” が大変参考になったので、プラグインを書いてみたい人は見るとよさそうです。 あとは、@sonots 先生の fluent-plugin-record-reformer をかなり参考にさせていただいたのと、Ruby 初心者なので“パーフェクトRuby”にもお世話になりました。 なにをするプラグインか？ ### Input foo.bar {"message":"hello ec2!"} ### Output web.foo.bar { "role_t
Amazon EC2で高速SSDを8つも搭載した新しいI2インスタンスのベンチマークをとってみた - 元RX-7乗りの適当な日々
AWS re:Inventで発表されていた、SSDによる高性能ランダムI/O用に最適化されたという、Amazon EC2の新しいインスタンスタイプ「I2インスタンス」が先日使えるようになりました。 インスタンスタイプとしては"i2.*"からはじまるやつです。 I2インスタンスタイプは、特にリレーショナルデータベース、NoSQLデータベース、およびトランザクションシステムによって生成されるI/O集約型のワークロードをホストするように設計されています。最も大きいサイズのI2インスタンスタイプは、4KBのブロックサイズでの計測で、秒間365,000を超えるランダムリードと秒間315,000を超えるランダムライトの性能を発揮します。4つのインスタンスサイズをご利用いただけますので、必要なストレージとI/O性能が高くなのに合わせて、小さくスタートし、スケールアップしていくことができます。 このインス
route53をAWS CLIで切り替える～マネジメントコンソールも使えないこんな世の中じゃ～ | Engineer's Blog
12/23（月） 16時前にただならぬアラートが来だした。 影響ドメイン等からcloudfrontの可能性を疑い、twitterで検索すると、やはりそうらしい。 急いで家に帰り、キャッシュのパージ等を試してみるも、復旧しない。 nslookupをすると、結果が返ってきたり、返ってこなかったり、遅かったり。 どうやら、cloudfrontのドメインがroute53で引けなくなっているようだ。 上司に相談し、cloudfront経由のドメインをオリジンサーバへ向けることにした。 しかし、AWSのマネジメントコンソールもcloudfrontを使っているらしく、死んでいる。画面が真っ白だ。 自分の頭も一瞬真っ白になった。 すこしうろたえたが、AWS CLIで切り替えればいいかと思いついた。 ちょうど自分のサーバにインストールしてあるし。 備忘も兼ね、簡単な使い方を残しておく。 ゾーンIDの確認
AWS News Blog
AWS Weekly Roundup – AWS Dedicated Local Zones, Events and More – August 28, 2023 This week, I will meet our customers and partners at the AWS Summit Mexico. If you are around, please come say hi at the community lounge and at the F1 Game Day where I will spend most of my time. I would love to discuss your developer experience on AWS and listen to your stories […] AWS Weekly Roundup – AWS AppSync,
Amazonクラウドへ、VMware ESX、Xen、Hyper-Vの仮想マシンがインポート可能に。クラウドへの移行やディザスタリカバリが便利に
AmazonクラウドのVM Import機能が新しくなり、VMware ESXやXen、Hyper-Vといった仮想マシンのイメージをAmazonクラウドへ移行することが可能になったと発表されています。 インポート可能になったのは、以下の仮想化ハイパーバイザのイメージファイル。 VMware - ESX and VMware Workstation VMDK. Citrix Xen - VHD Microsoft Hyper-V VHD Amazonクラウドへインポートした仮想マシンで利用可能なOSとして、以下のOSがサポートされています。 Red Hat Enterprise Linux 5.1 - 6.5 Centos 5.1 - 6.5 Ubuntu 12.04, 12.10, 13.04, 13.10 Debian 6.0.0 - 6.0.8, 7.0.0 - 7.2.0 そのほかの
広告ログ解析基盤にFluentdを使っている話 - すずけんメモ
これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したのでそれを貼っておきます。ざっというと、いい感じにいろんなログを受けいられるようにして、それらをモニタリングしながら整理して使えるようにする、という役割をもったプロダクトです。 Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp どこで使っているか ほぼ全てです。構成としては ログ収集サーバ | | out-forward (roundro
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
【AWS勉強会】CM re:Growth Developers.IO Meetup 01 を開催してきた #cmdevio ｜ Developers.IO
【AWS勉強会】CM re:Growth Developers.IO Meetup 01 - connpass 2013/12/10 CM re:Growth Developers.IO Meetup 01 #cmdevio - Togetterまとめ 弊社AWSコンサルチームは今年に入って都元ダイスケさんがJOINして以来、急速にチームのメンバーが増え、また体制を強化して参りました。2013年も暮れが押し迫ったこの日、ブログを御覧の皆様に日々の御愛読に対する感謝の意を込めて、チーム総出で *1これまでの成果、結果を発表すべく、計10本(x15分)のセッションを立て続けに発表する勉強会を開催して来ました！イベントタイトルの『re:Growth』については、下記告知エントリにもある『re:Invent』をリスペクトするという意味の他にも、『再び各々が成長出来るように』という思いを込めている部
Developers.IO MeetUp 01 Massive Messaging Platform Deployment in a Week.
Developers.IO MeetUp 01 Massive Messaging Platform Deployment in a Week.
VOYAGE GROUP エンジニアブログ : 【AWS re:Invent 2013 参加レポート】 AWSが切り開く大規模分散ストリームデータ処理の未来と、AWSを支えるエンジニアリング文化
2013年12月03日18:24 カテゴリ 【AWS re:Invent 2013 参加レポート】 AWSが切り開く大規模分散ストリームデータ処理の未来と、AWSを支えるエンジニアリング文化 adingoプラットフォーム本部エンジニアの @suzu_v です。11月12-15日にかけて米国ネバタ州ラスベガスにて開催されたAWS re:Invent 2013についてのレポートになります。 http://reinvent.awsevents.com/ re:Inventは年に一回開かれているAmazon Web Service(以下、AWS)のカンファレンスです。弊社でもAWSをサービス構築に利用しており、今後の展望や活用事例をヒアリングすべく、カンファレンスに参加してまりました。弊社からは私一人の参加となりました。 re:Inventは日本からの参加者向けにツアーが用意されております。このツ
2014年のウェブシステムアーキテクチャ - stanaka's blog
(Monitoring Casual Talk in Kyotoで発表してきたので、ブログエントリにまとめ直しました) 2013年はインフラ周りの技術的な進化が大きく、いくつかのエポックメイキングな概念と実装が産まれました。個人的には特に以下の2つが大きいと思っています。 AWSの本格普及期 DockerとImmutable Infrastructure これらを踏まえて、2014年のウェブシステムの進化の方向性を考えてみます。また、それによるモニタリングへの影響もあわせて考えます。だいぶ長くなってしまったので、急ぐ人は最後に結論をまとめましたので、そちらからどうぞ! 2013年という時代背景 AWSが本格普及期を迎えているのは、言わずもがなのことで、Re:Inventでの246件という膨大のセッション数などにその勢いが表われています。 また、DockerはLXC (LinuX Conta
ELBの挙動とCloudWatchメトリクスの読み方を徹底的に理解する | DevelopersIO
よく訓練されたアップル信者、都元です。ELBはAWSにおけるWebシステムを構築する場合、ほぼ確実に利用するコンポーネントとして不動の地位を確立しつつあります。 利用方法としては、ELBを作成して配下にWebサーバを配置するだけというお手軽さがあり、非常に利用しやすいのも大きなメリットです。しかし、ELBの詳細な挙動について、しっかり理解できているでしょうか。本エントリではいつも利用しているELBについて、ちょっと深く突っ込んでみました。 ELBのロードバランシング戦略 ELBの配下には複数のAZにまたがるようにインスタンスを配置するのが一般的です。（cf. AWSにおける可用性の考え方） ELBを作成すると、DNS名が付与されますが、クライアントがELBにアクセスする際、まずこのホスト名をIPアドレスに変換するDNSの正引きリクエスト（下図中の緑色の矢印）を行います。digコマンドを使っ
Stop Worrying about Prodweb001 and Start Loving i-98fb9856 (ARC201) | AWS re:Invent 2013
Stop Worrying about Prodweb001 and Start Loving i-98fb9856 (ARC201) | AWS re:Invent 2013 The document discusses old practices of managing servers individually and how they no longer apply in cloud environments. It advocates letting go of habits like naming servers and worrying about their individual status. Instead, it recommends taking advantage of cloud services like Auto Scaling that allow infr
AWS re:Invent と Immutable Infrastructure - 昼メシ物語
先日 Las Vegas で開催された AWS re:Invent 2013 に参加してきました。 非常に活気あふれる大規模なカンファレンスで、大変刺激を受けました。 今日は、いま何かと話題になっている Immutable Infrastructure に関連した発表を2つ紹介します。 Stop Worrying about Prodweb001 and Start Loving i-98fb9856 slideshare: Stop Worrying about Prodweb001 and Start Loving i-98fb9856 (ARC201) | AWS re:Invent 2013 AWS の Chris Munns 氏による発表です。タイトルからして面白いですね。エモいです。 この発表は以前から目をつけていたんですが、スケジュールの都合で出られず、残念でした。こうしてス
Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013
Infrastructure at Scale: Apache Kafka, Twitter Storm & Elastic Search (ARC303) | AWS re:Invent 2013 "This is a technical architect's case study of how Loggly has employed the latest social-media-scale technologies as the backbone ingestion processing for our multi-tenant, geo-distributed, and real-time log management system. This presentation describes design details of how we built a second-gener
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メタップスでの少人数 グローバルプラットフォーム開発について
6リージョン同時75万接続のメッセージ配信基盤をCloudFormationとCapistranoで3日で構築した話
