Lv1から始めるWebサービスのインフラ構築2014年9月9日開催の"AWS Cloud Storage & DB Day"で使用した講演資料です。 以下のURLからもダウンロードすることができます。 http://iy-h.com/03/aws-storage-day-2014-09-09.pptx
Amazon EC2(Linux)のネットワーク設定でハマったときに見るメモ | DevelopersIO
ども、大瀧です。 LinuxのEC2インスタンスでちょっと変わったネットワーク設定をしようとすると、思う通りに動かなかったり設定が見えなかったりと、オンプレミスとは雰囲気の異なる振る舞いをすることがあります(本質的にはオンプレミスとなんら変わらないのですが)。自身で経験したケースをメモ書きとして残しておきます。 想定するLinux OS : Amazon Linux, CentOS 6.x, RHEL 6.xなどRed Hat系ディストリビューション /etc/resolv.confを変更したのになぜか元に戻ってしまう DHCPクライアントによるものです。DHCPクライアントは定期的にIPアドレス更新の問い合わせをDHCPサーバーに行いますが、そのときに付随するDNSの情報を元にデフォルトで/etc/resolv.confファイルを上書きします。これを無効にするためにNICの設定ファイル/
AWS Cloud Design Pattern for Enterprise
大量のデータ処理や分析に使えるOSS Apache Spark入門（Open Source Conference 2021 Online/Kyoto 発表資料）
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
Kinesisってなんじゃ？（Java実装編） | iret.media
memorycraftです。 前回からの続きです。 このストリームをつかってイベント処理を行うアプリケーションを実装します。 Kinesisを扱うには、現時点でJavaのSDKとKinesisのクライアントライブラリ(KCL)が利用可能です。 今回のサンプルとなるシステムですが、以下のように定義してみました。 Producerはユーザーの出発地点（0, 0）からの到達位置（x, y）を日時ごとにJSONとしてストリームに入力していきます。 ConsumerAではストリームからデータを受け取り、ログとしてS3のバケットに保存していきます。 ConsumerBでは同じくストリームからデータを受け取り、ユーザーごとの総移動距離をDynamoDBにインクリメント保存していきます。 これを、限定公開用にKinesis対応されたJavaのSDKとKinesisのクライアントライブラリ(KCL)を使って
Consistent Hashing
I've bumped into consistent hashing a couple of times lately. The paper that introduced the idea (Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web by David Karger et al) appeared ten years ago, although recently it seems the idea has quietly been finding its way into more and more services, from Amazon's Dynamo to memcached (courtesy
AmazonのDynamoの論文を読んでみた(1/3) - 工場長のブログ
Amazonが社内で開発し、サービスで利用しているDynamoというストレージサービスがあるのだけど、これについての論文が公開されていたので読んだのでまとめてみる。 この論文を書いたメンバーにはAmazonのCTOであるWerner Vogelsや、AWSでDynamoDBやElastiCache、SQS、SNSなどの製品のマネージメントをしているSwami Sivasubramanianらが含まれている。 Dynamoをひとことで表すと分散型でKey Valueストレージで、データの一貫性に関しては結果整合性を保証するサービスだ。なお、AWSで提供されているDynamoDBとは別物なので注意。 原文はこちらから参照できる。今回のポスト中の引用(図や文問わず)はすべてこちらから引用している。 また、既に日本語訳をされている方もいらっしゃるので原文をそのまま日本語でよみたい人はこちらを参照の
AWSサービスの各種上限値一覧 | DevelopersIO
2015/11/13追記：現行のサービスにおける上限値や制限値については下記のAWS公式ページに情報がまとまっているようです。サービス毎の状況を確認される場合はこちらをご参照ください。 - AWS Service Limits - Amazon Web Services - AWS サービス制限 - アマゾン ウェブ サービス AWSでインフラ構築作業を行っていると、規模によってはあっという間に(定められている)要素数の上限に達してしまいます。後述する『上限緩和申請』を行えばその上限は増やす事が出来るのですが、実際に構築を行う前にその辺りの申請はスムーズに済ませておきたいところ。と言うわけで、現在AWSで利用上限が定められている要素とそれらの上限を増やす(上限緩和申請)ための依頼フォームの情報を個人的学習目的及び今後の備忘録として整理してみました。 AWS Service Limits(A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 世界で闘うプログラミング力を鍛える150問 ~トップIT企業のプログラマになるための本~: Gayle Laakmann McDowell (著), Ozy (翻訳), 秋葉拓哉 (翻訳), 岩田陽一 (翻訳), 北川宜稔 (翻訳), 秋葉拓哉 (監修), 岩田陽一 (監修), 北川宜稔 (監修): 本