Secure AWS Users Meetup #1に行ってきた - まめ畑
AWS上でのセキュリティの現場の声が聞ける、Secure AWS Users Meetup #1に参加してきました。 http://connpass.com/event/11019/ セキュリティというところで、現場のシビアな実情が垣間見えて非常に参考になりました。セキュリティを日々どう守るかとかAWS上でどう安全な環境を作るかという視点は今後もっと大切になると感じました。 様々な要望やシステムを守るためにAWSにまだまだ足りない物事や、AWSの勉強会では普段聞けない話が続々とでてかなりハイレベルな勉強会でした！要望などは本当に伝えたいと思います！ キーワードは、認証情報の管理の仕方、しやすさだと感じました。運営の皆様、発表された皆様、ありがとうございました！ 次回もあるということで楽しみです！ メインセッション @kani_b (Cookpad): How to secure your
AWS Casual Talks#3に参加した - まめ畑
AWS Casula Tlaks#3に参加してきました。AWS Casual Talks #3 on Zusaar 2回目までは主催していたのですが、今回から主催をCookpadの星君に移して初めての開催でしたが、過去を超えてくる濃い・本気の内容ですごく良かったです。色々忙しい中ありがとうございます！ 簡単にまとめると メインセッション @yoshiori Elastic Transcoder でウキウキ動画配信 クックパッド料理動画 を作った話。オンプレ環境で大容量・高トラフィックな配信環境を作った時の話しとAWSで作った際の話。オンプレ環境で実現する場合はクリアしなければいけない課題をAWSのサービスでどうクリアしたかという話でした。Elastic Transcoderの実用事例を聞けた貴重な機会でした。 @myfinder 僕らの AWS 移行記 オンプレ環境からAWSに完全移行した
T2インスタンスがでたので簡単に性能をみてみた - まめ畑
昨日、EC2の新instance familyでT2シリーズが出ました。 今まで、t1.micro/m1.smallとか言われてたシリーズの現行版で、General Purposeにカテゴリも変更されています。 リリースは以下の記事 http://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instances/ http://aws.typepad.com/aws_japan/2014/07/low-cost-burstable-ec2-instances.html 置き換えは t1.microをt2.microへ m1.smallをt2.smallへ m1.mediumをt2.mediumへという感じです。 特徴としては、CPU(ECU)がバーストするということです。 リリースにも書かれている通りのアルゴリズムでバーストします。 また、
JAWS DAYS 2014で「これで最強のAWSに」のセッションをやりました - まめ畑
JAWS DAYS 2014のセッションとして、これで最強のAWSにというセッションをやりました。 Twitterなどの反応はこちらに2014/03/15 JAWS DAYS 2014 - 『これで最強のAWSに』セッション #jawsdays #最強のAWS - Togetterまとめ まとめて頂いています。各セッションの発表資料はタイムテーブルからリンクがあります。 このセッションは、普段AWSを使っている方々をお呼びして、使っているからこそわかるAWSのイマイチなところ、イケてるところ、バッドノウハウ、こうしたら・こうなったらもっと良くなるのにという話をして頂きました。当日はOFAのMilesさんと、AWS SAの大谷さんにもご参加頂き、直接要望や実際のところどうやったらいいのさ？という事を直接伝える場があったらなと思い企画しました。(企画の大本は実はre:Invent2013開催中
AWS Casual Talks#1を開催しました - まめ畑
AWS Casual Talks#1を開催しました。 参加登録自体は15分程で枠が埋まってしまい、最終的に210人の方に登録を頂きました。 発表して頂いた方、参加頂いた方ありがとうございました！アンケートも多く集まり次回開催の参考にしようと思います。 AWS Casual Talksは、カジュアルにAWSとかその周辺の普段はあまり出てこない深い(深淵な)事を話す会を作ろうと思ったのが最初で、少し時間が空きましたが1回目を開催出来ました。 AWSの深淵な話からMBaaS・SWFまで幅広い感じで普段あまり一緒にならないテーマでカジュアルな雰囲気で終えることが出来ました。きわどい話もあったのは秘密です。 ただ、参加者管理と懇親会周りでごたついてしまい迷惑をかけてしまったので、次回は改善します。 次回は年明け速いうちにやろうかと考えています。 形式は発表 or 俺の考える〜 かなぁと。 会場だけで
EC2・オンプレ環境のMySQLからRDSのマイグレーションがやりやすくなった - まめ畑
本日 Migrate On-Premises MySQL Data to Amazon RDS (and back) | AWS Official Blog Importing Data to an Amazon RDS MySQL DB Instance with Reduced Downtime - Amazon Relational Database Service の発表があり、RDSに対して、オンプレミス環境・EC2上で動いているMySQLとのマイグレーションが行い易くなりました。 ただ、常にレプリケーションさせてというわけではなく、移行時に使うという用途です。 オンプレミス環境・EC2上で動いているMySQLとRDSでレプリケーションが可能になりました。 ドキュメントには環境・データサイズ毎のマイグレーションについて書かれているのでご一読下さい。 つまり このような構成が取れる
ElastiCache Redis Engineのベンチマークともろもろ - まめ畑
Amazon Web Services Blog: Amazon ElastiCache - Now With a Dash of Redis で本日ElastiCacheでRedisが使えるようになりました。今まではmemcachedだけでした。 (同時にAmazon Web Services Blog: More Database Power - 20,000 IOPS for MySQL With the CR1 Instance も発表されています) 基本的なこと 機能 Replication GroupsによるRedisレプリケーションのサポート Replication Groupsは1ノード毎にSlaveとなる、Endpointは各ノード毎にアサインされる Masterへは統一のEndpoitが与えられ、Read replicaをmasterにpromoteしてもendpoin
RedshiftのIAM PolicyとWLM - まめ畑
先日、Redshiftの管理面 - まめ畑 でRedshiftの管理周りをざっくり書いたのですが、その中でIAM Policyの事も書いていました。 今日、IAM Policyの「Redshift readonly access」ではManagement ConsoleでQuery情報が取得できなくなっていました。 Query情報は の様な、PerformanceタブやQueriesタブの中で、リソースの使用状況や実行計画、クエリ毎のリソース使用状況を確認出来るものです。 もともと、redshift:Describe* ではQuery情報を見ることが出来ず、redshift:get*を与えなければいけなかったのですが、急に「User: arn:aws:iam::xxx:user/xxx is not authorized to perform: redshift:ViewQueriesIn
Redshiftの管理面 - まめ畑
最近Redshiftの需要が高まっていますが、管理面のことをあまりみないので、簡単にまとめておきます。 ドキュメントは Amazon Redshift 接続するには postgresqlクライアントを使います JDBCで接続する場合のdriverは: http://jdbc.postgresql.org/download/postgresql-8.4-703.jdbc4.jar を使います(バージョン指定です。8.4) public access RedshiftはVPC内やClassic環境からのアクセスの他にPublic Accessを許可できます。インターネット側からアクセス出来る経路を開けますが、SGでアクセス元を絞れます。また、こちらの設定は後で変更可能です。 クラスタの起動・削除時間 双方ともに約5-10分(node数などによってそれ以上かかることもあります) クラスタの削除で
S3のStatic WebSite Hostingでエラー時にリダイレクト - まめ畑
S3のStatic WebSite Hostingは静的ファイルをホストするにはとても便利な機能です。 S3のバケットにたいして、Static WebSite Hostingを有効にして、バケットポリシーで全公開するだけで、Webサーバなどを用意することなくサイトが公開出来ます。 S3のアクセスに対するキャパシティは非常に大きく、イベント告知やTV放映時の着地サイトなどに使うことで安く簡単に大量のトラフィックを受け止める事が可能になります。 このあたりのことは、よく書かれているのですが、実はもう1つ便利な機能があります。それは、特定の条件にマッチした時に、指定した条件でリダイレクトをさせるというものです。 特定のファイルに関しては、ファイルのプロパティでMetaタグとして、「Website Redirect Location」を設定し、リダイレクトするパスを設定します。 こちらはファイルが
AWS Summit Tokyo2013でLTしてきました - まめ畑
AWS Summit Tokyo2013 2日間フルで参加して来ました。 Techセッションばかり出ていたのですが、会場も立ち見が出るくらいの盛況で、改めて、AWSへの関心の高さを感じました。 HPCインスタンスやRedshiftのTokyoリージョンでのサービスインも発表されて、中々盛り上がったとおいもいます。 また、JAWS-UGのイベントでも、LTをさせていたただ来ました。 油断もすきもならないECU from Yutaka Hoshino Video streaming by Ustream Video streaming by Ustream また、AWSウルトラクイズで3位入賞したり、AWS認定ソリューションアーキテクト- アソシエイトレベル合格なども個人的なイベントとしてありました。 今年のAWSウルトラクイズの問題は https://docs.google.com/spre
PXEBootとKickstartとPuppetで自動化してみる - まめ畑
PXEBootとPuppetでOSのインストールといろんな設定を自動化・省力化しようと思って試行錯誤中です。 試行錯誤のメモ やること PXE Boot+Kickstart+Puppetを使用してサーバの自動設定 PXE Boot (CentOS5.5) yum install tftp tftp-server /etc/xinetd.d/tftp service tftp { socket_type = dgram protocol = udp wait = yes user = root server = /usr/sbin/in.tftpd server_args = -c -u root -s /tftpboot disable = no per_source = 11 cps = 100 2 flags = IPv4 only_from = 192.168.147.0/24,12
AWS ElastiCache と twemproxyを使ってみた - まめ畑
このエントリの最後の方で書いてあるtwemproxyの変更ですが、pull requestを出して、本体にマージされました。2012/12/31時点でまだリリースバージョンが切られていないので、githubからcloneしてビルドして下さい。 先日のAWSの発表で、VPCにもElastiCacheがやって来ました。 (http://aws.amazon.com/jp/about-aws/whats-new/2012/12/20/amazon-elasticache-announces-support-for-amazon-vpc-1/) さらに、オートディスカバリ機能も少し前に発表されています。 オートディスカバリを使えば、Configuration Endpointに対して config get cluster コマンドを発行することで、そのClusterで有効なnodeの接続情報リスト
4,000IOPS EBSのベンチをとってみた - まめ畑
今日、Amazon Web Services Blog: Provision Up to 4,000 IOPS per EBS Volume, New Marketplace Supportで発表があったとおり、EBSで設定できるIOPSが4,000IOPSまで、Disk容量も1TBまで使えるようになりました。 今までは、2,000IOPSが最大値でしたが、2倍のIOPSまで使えるようになりました。 そこで、簡単ですが、通常のEBS・2,000IOPS EBS・4,000IOPS EBSでベンチを取ってみました。 実際に使用したベンチマークは後でまとめたいと思いますが、とあるサービスの本番データを使ったMySQLのベンチマークでは2,000IOPS EBSよりも良い結果になりましたが、1.5倍程度の向上に落ち着いていました。あくまで、参考ということで。 また、 Amazon EBS の性能
今一度Provisoed IOPS EBSのベンチをとってみた - まめ畑
4,000IOPS EBSのベンチをとってみた - まめ畑 の記事で4,000IOPS EBSのベンチマークを簡単にとってみました。 他の高IOPS EBSと比較するとどうだろうということで、久しぶりにベンチマークをとってみました。 IOPSはBlock Size 16kでの性能ということになっています。 今回は前回のエントリ同様 m2.4xlarge (EBS Optimized Instance)を使用しました。 ファイルシステムは ext4 fioでDIRECTIOをONにして測定しました fioのパラメータは bs=4k,8k,16k,32k size=5G numjobs=64 runtime=16でIOPS性能を測定しました。 結果 Read Standard 1000 2000 4000 4k read 17000 1909 3797 7353 8k read 9979 19
ElastiCacheとELBとtwemproxy - まめ畑
redis / memcachedをスケールする方法として、アプリケーションで分散アルゴリズムを実装する方法や、ライブラリを使う方法などありますが、 Twitterが作っているtwemproxy(https://github.com/twitter/twemproxy)というものがあります。 これは、redis / memachedの前段に置くことでキャッシュクラスタを構成することが出来ます。様々な分散アルゴリズムや、故障ノードの切り離しなどの機能もあり、 キャッシュノードが不具合で接続できなくなったとしても自動でサービスアウトしてくれます。 開発も盛んに進んでいて、今、ノード追加時にプロセスの再起動が必要ですが、gracefulの実装も見えて来ました。 詳しくは以前書いたこちらの記事を参照して下さい。http://d.conma.me/entry/20121227/1356596553
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
conma.me
conma.me
conma.me
conma.me