MediaStoreをS3よりも整合性の強いストレージとして理解する | DevelopersIO
はじめに 清水です。「MediaStoreって動画用のストレージらしいから使う機会なさそうだよな…」などと思っていませんか？ MediaStoreは「メディア向けに最適化されたAWSストレージサービス」ですが、S3よりも強いデータ整合性モデルを提供しつつ、S3と同様のセキュリティおよび耐久性を持つオブジェクトストレージサービスとも捉えることができます。そのため整合性の観点でS3の使用が難しい場合、MediaStoreを候補に検討することができるのではないかと考えます。本エントリではそんなAWS Elemental MediaStoreとAmazon S3をデータ整合性モデルの面で比較してみたいと思います。 Amazon S3のデータ整合性モデル まずはAmazon S3のデータ整合性モデルです。 新しいオブジェクトのPUTは書き込み後の読み込み整合性(read-after-write co
AWS再入門2018 セキュリティチェック編 | DevelopersIO
こんにちは。池田です。本州からは梅の便りが届いていますが、札幌はまだまだ雪景色です。 最近になり周囲で「今度はEchoの招待が届いた！」とか「2回目のEcho Dotの招待が届いた！」とか「2台目ゲット！」とか聞こえてきました。我が家にEcho Plusを迎え入れる日はいつになるのでしょうか。 早くスマート家電を声で制御する生活を体験したくてワクワクしています。 はじめに 今年に入ってからAWS再入門シリーズと題して勉強を進めているのですが「たまにはAWSホワイトペーパーを読んでみよう」と思い立ちいくつか読んでいた中でAWS_Security_Checklistという資料を見つけました。 内容は非常に簡潔ですが、各項目はそれぞれ関連するAWSドキュメントへのリンクが設けられていました。 そこで今回は資料からの各リンク先ドキュメントを基に筆者が整理したチェックポイントなどを「AWS再入門20
AWS CLIがS3とのトラフィックを帯域制御できるようになりました | DevelopersIO
AWS CLI単体でS3とのトラフィックを帯域制御出来るようになったため、早速使ってみました。 3行まとめ クライアント OS に依存せず AWS CLI 単体で帯域制御可能 インバウンド・アウトバウンドで同じ値を適用 設定コマンド $ aws configure set default.s3.max_bandwidth 50MB/s やってみた 環境 EC2(m4.xlarge)のAmazon Linux AWS CLI:1.14.8 S3転送に利用するオブジェクトの作成 1 GB のオブジェクトを作成します。 $ fallocate -l 1G test.dat AWS CLIの初期設定値 帯域制御用に追加された s3.max_bandwidth を除き、AWS CLI の設定値はデフォルトのままとします。 特に、s3.multipart_threshold は 8MB のため、今回試
Amazon Route 53 Auto Namingでサービスディスカバリを実現する | DevelopersIO
ども、大瀧です。 先日Amazon Route 53 Auto Namingがリリースされ、Route 53のDNS基盤によるマイクロサービスの切り替えやサービスディスカバリが利用できるようになりました。 試してみた様子をレポートします。 Route 53 Auto Namingとは Route 53はSLA 100%を誇る高い可用性とスケーラビリティを備えたマネージドDNSサービスです。Auto Namingはサービスディスカバリ向けに、特定のDNS名へのレコード追加、削除のための専用APIを持ちます。サービスディスカバリ機能として提供されるのは従来からあるRoute 53のマルチバリューレコードとその個別ヘルスチェックなので、IAMとしてはAuto Naming APIの権限に加えてRoute 53 Hosted Zoneおよびレコードセットに関する権限が必要です。 設定手順 現時点で
[新機能] AWS Direct Connect Gatewayで世界中のAWSリージョンとプライベート接続する | DevelopersIO
ども、大瀧です。 AWSクラウドとオンプレミスを閉域で接続するAWS Direct Connectに大型アップデートがあり、新しい機能としてDirect Connect Gatewayが追加されました。 New – AWS Direct Connect Gateway – Inter-Region VPC Access | AWS News Blog 何ができるようになったのか、既存の接続をどう切り替えるのかなど解説してみます。 Direct Connect Gatewayとは 今回利用できるようになったDirect Connect Gatewayは、Direct Connectの構成のうち、仮想インターフェース(以下VIF)とVPCの仮想プライベートゲートウェイ(以下VGW)の間に追加する新たなコンポーネントです。 Direct Connect Gatewayには以下の特徴があります。
![[新機能] AWS Direct Connect Gatewayで世界中のAWSリージョンとプライベート接続する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/afce305e9996bbe7923ae9fb5a250fcdfbb1fb29/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F02%2Fdirect-connect-eyecatch.png)
[新機能] ALBのターゲットにIPアドレスを指定可能になりました | DevelopersIO
こんにちは、菊池です。 またまた大きなアップデートです。ALB（Application Load Balancer）のターゲットにIPアドレスを指定可能になりました。 Elastic Load Balancing: Application Load Balancer now supports load balancing to IP addresses as targets for AWS and on-premises resources IPアドレスターゲット ALBで受け取ったHTTP/HTTPSのリクエストは、ターゲットグループに設定されたターゲットにルーティングされます。これまで、ターゲットにはEC2のインスタンスIDを指定していましたが、今回のアップデートにより、IPアドレスを指定することもできるようになりました。 Target Type | Elastic Load Bala
![[新機能] ALBのターゲットにIPアドレスを指定可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b87e732c82c8791fc86eac4689996b0481f8d3db/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F02%2Felb.png)
Amazon AthenaでELBのログを調査するときに使ったSQL | DevelopersIO
はじめに 今まではログの調査の際にはS3にあるELBのログをローカルに落としてgrepしたりしてましが、 Athenaを使ってログを解析してみましたので今回は調査のときに使ったSQLをご紹介します。 ご紹介するSQLを使えばあとは少し変えるだけでいろいろな調査が可能かと思います。 Athenaデータベース、テーブルの準備 Athenaを使用する際の手順は以下ブログを参考にしてください。 Amazon AthenaでELBログをSQLで解析する #reinvent 調査に使用したSQL ELB毎のリクエスト数を調べる SELECT elb_name, count(*) AS request_count FROM elb_logs GROUP BY elb_name ORDER BY request_count DESC; 特定の時間内でのリクエスト数を調べる SELECT elb_name,
１台のEC2でもELBを使うメリットについてまとめてみました | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 ELB（Elastic Load Balancing）はその名の通りロードバランサーなので、負荷分散のイメージが強いと思いますが、 ここではWEBサーバが１台でも前段にELBを置いた方がいい理由についてまとめたいと思います。 WEBサーバが１台でもELBを置いた方が良い理由 インスタンスの差し替えが容易 運用が開始した後、EC2に対して修正を行う必要がでた場合、インスタンスの差し替えが容易になります。 DNSの変更を行うことなく、バックエンドの切り替えが可能です。 ELBのヘルスチェックで監視 ELBのヘルスチェックを利用してWEBサーバの死活監視を行うことができます。 CloudWatchアラームを組み合わせて通知が可能です。 HTTPSのSSL終端をELBへ SSLを利用する場合、EC2でSSLを終端させるとOpenSSLなどの管理が発生します。 一
AWS Database Migration Serviceで圧縮したりファイル形式を指定してS3に出力する | DevelopersIO
AWS Database Migration Service(以下、DMS)ではターゲットにS3を選択できます。デフォルトではCSV形式、未圧縮の状態でS3にファイルが置かれますがTSV形式にしたりGZIP圧縮したかったので方法を調べました Management ConsoleでDMSのエンドポイントの設定画面を開いて、[アドバンスト]-[追加の接続情報]のところに設定を追加します。 区切り文字を設定したい場合はcsvDelimiterで形式を指定しています。今回はTSV形式にしたかったのでcsvDelimiter=\tとしました。 次に圧縮したい場合はcompressionTypeで形式を指定しています。GZIPにする場合はcompressionType=GZIPとしました。ドキュメントを見た感じGZIPしかまだないようです。複数属性を指定する場合は;(セミコロン)で区切ります。 これ以
Apache Arrow勉強会に参加しました #osaka_arrow | DevelopersIO
はじめに 2017/05/28 クラスメソッド大阪オフィスにてApache Arrow勉強会が開催されました。たまたま先日の勉強会から引き続き、大阪に滞在していたため、こちらに参加してきました。そのレポートになります 開催概要 日時: 2017/05/28 10:00~ 場所: クラスメソッド株式会社大阪オフィス Apache Arrow 大阪勉強会 GoでApache Arrowをやってみた話 西田さん＠クラスメソッド株式会社のLTです。結果として最後までできませんでしたが、どこで詰まったか、どのように試行錯誤したかを七転八倒している様子を交えつつの発表でした。 Goのネイティブ実装はバインディングはない C++のバインディングを利用するとGoでArrowが使える Go-gir-generatorでグルーコードを吐き出す OSXだとどうしても動かない部分があった Docker+Ubunt
新しいストレージ最適化インスタンス I3 でNVMeをベンチマークしてみました | DevelopersIO
大栗です。 先日新しいストレージ最適化インスタンスとして I3 ファミリーが利用可能になりました。旧世代の I2ではSATA接続のSSDでしたが、I3ではNVMeとなっています。SATAと比較したNVMeの違いとして並列アクセスに強いという部分があるので並列度を変えてベンチマークを取得してみました。 「i3」新しいストレージ最適化インスタンスが利用可能になりました ベンチマークの環境 EC2環境 リージョン: 東京（ap-northeast-1） OS: Amazon Linux AMI 2016.09.1.20170119 x86_64 HVM GP2 (ami-56d4ad31) インスタンスタイプ i3.xlarge i2.xlarge ファイルシステム: ext4 ベンチマークツール 使用ソフト: fio アーキテクチャ: x86_64 バージョン: 2.1.5-1.5.amzn1
「i3」新しいストレージ最適化インスタンスが利用可能になりました | DevelopersIO
並列度の高い書込性能は「i2」が優れる可能性がありますが、「i3」帯域の広さなどが予測される結果となりました。 「i3」の上位インスタンスでは、ストライピングによりIO性能の向上が期待できる事が確認できました。 環境 OS: Windows_Server-2016-Japanese-Full-Base-2017.01.11 (ami-574f3330) ツール: CrystalDiskMark 5.2.1 x64 測定条件: 32GiB × 3回測定 結果 i2.xlarge ----------------------------------------------------------------------- CrystalDiskMark 5.2.1 x64 (C) 2007-2017 hiyohiyo Crystal Dew World : http://crystalmark
[AWS] Elastic Load BalancingがIPv6に対応しました！(5年ぶり2回目) | DevelopersIO
ども、大瀧です。 本日、AWSのロードバランササービスであるELBのIPv6対応がリリースされました。試してみた様子をレポートします。 5年ぶり2回目のElastic Load BalancingのIPv6対応 ご存じの方がごく一部いるかもしれませんが、ELBのIPv6対応は5年前の2011年5月に一度リリースされています。 Elastic Load Balancing Announces Support for IPv6, Zone Apex Support and Security Group Integration 再度リリースが出るとはどういうことでしょうか？それは、対応するロードバランサとネットワーク環境の組み合わせに差異があります。以下の表にまとめました。 ロードバランサのタイプ ＼ ネットワークのタイプ EC2 Classic VPC 注意しなければならないのは「×」マークの
東京リージョンで「r4」インスタンスが利用可能になりました | DevelopersIO
相対的なCPU性能を示すECU、「r4」が「r3」を若干上回ります。(8xを除く) 「r4」は「r3」の同等クラスと比較し、約20%オフの価格設定です CPU CPU情報(/proc/cpuinfo)の差分は以下の通りでした r3.large --- < model : 62 < model name : Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz < cache size : 25600 KB --- < flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx rdtscp lm constant_tsc rep_good nopl xtopology eagerfp
AWSアカウントを跨いでSQSのメッセージを送信するパターン集 | DevelopersIO
大栗です。 多数のシステムを運用するときは、システムに応じてAWSアカウントやVPCを分けて配置することを検討します。システム間で疎結合にメッセージを交換するためにSQSを多用しますが、AWS構成は色々と考えられます。パターンによってメリット・デメリットがあるのでまとめてみました。 参考：AWSアカウントとVPC、分ける？ 分けない？: 分割パターンのメリット・デメリット AWSアカウントを跨ぐSQS使用で検討すべきこと AWSアカウントを跨いでSQSでメッセージを送信する場合には、以下の様なことを検討する必要があります アクセス権限は？（送信元アカウントと送信先アカウントの権限） SNSを使う？使わない？ どっちのアカウントに配置する？（送信元アカウントと送信先アカウント） アクセス権限 AssumeRoleによる異なるアカウントの権限の取得 アカウントを超えて一般的なAWSリソースにア
Amazon Kinesis StreamsのリシャーディングがAPI一発で行えるようになりました | DevelopersIO
Amazon Kinesis Streamer の皆様こんにちは。 リシャーディングのあまりの面倒くささから、ピークに合わせてシャード数を固定してストリーム運用したり、シャード数変更の際は同じ名前でシャード数だけ変えて作り直してきたという方が多いのではないでしょうか。 2016/11/16のサービスアップデートにより、ストリームのリシャーディングが API 一発で実行出来るようになりました。 トラフィックに合わせてシャード数をダイナミックにオートスケールさせるなど、夢広がる API です。 早速試してみました。 旧方式のリシャーディング:SplitShard API 編 Amazon Kinesis Streams のストリームはシャードを束ねたものであり、シャード1本辺りの性能上限が決まっているため、ストリームのキャパシティを増やしたければ、シャード数を増やすことになります。 AWS B
［レポート］サーバレスアーキテクチャで実現した『M-1グランプリ2015』敗者復活戦投票システム #AWSRoadshow | DevelopersIO
［レポート］サーバレスアーキテクチャで実現した『M-1グランプリ2015』敗者復活戦投票システム #AWSRoadshow はじめに こんにちは、中山です。 2016年11月22日(火)ハービスホールにて行われたAWS Cloud Roadshow 2016 大阪に参加してきました。本エントリでは15:00から導入事例トラックで発表されたサーバレスアーキテクチャで実現した『M-1グランプリ2015』敗者復活戦投票システムというセッションの内容についてレポートしたいと思います。 資料 ※ 資料がアップされ次第反映いたします。 スピーカー 小南 英司さま 朝日放送株式会社 技術局 開発部 サーバサイドからアプリ開発まで幅広く担当 アジェンダ 朝日放送について M-1グランプリ敗者復活戦について 開発当時の状況 システムの概要 サーバーレスアーキテクチャを採用した理由 Kinesis/Kines
[AWS値下(53回目)] 2016年12月以降のEC2費用を試算してみた | DevelopersIO
はじめに AWSチームのすずきです。 2016/12/1以降のEC2費用について、AWSより最大25%オフになるとのアナウンスがありました。 EC2 値下げ (C4、M4、そしてT2インスタンスで) 東京リージョンも！ EC2 Price Reduction (C4, M4, and T2 Instances) 今回予告された値下率を元に、AWSの東京リージョンで2016年12月以降のEC2料金(オンデマンド、Unix)について試算する機会がありましたので、紹介させて頂きます。 試算表 2016年11月時点のEC2料金、スペックは、公式ページAmazon EC2 料金より抜粋 1時間料金は、AWS東京リージョンのUnixオンデマンド費用 1ヶ月料金は、1ヶ月730時間連続稼動したものとして計算 値下アナウンス対象 t2, m4, c4 インスタンス 一般的な目的 – 現行世代 vCPU E
Tips：RDSでのIOクレジットバランスの考え方（汎用SSDボリューム） | DevelopersIO
ベルリンの半瀬です。 はじめに RDSのI/Oクレジットバランス周りで調べ物をしたときのメモです。 ボリュームタイプとI/Oクレジットバランス（I/Oクレジット）の基本 RDSは、データベースとログのストレージとして EBSボリュームを使用している。 ボリュームタイプに汎用SSDを利用している場合、サイズに比例するI/Oのベースラインパフォーマンスが決まっている ベースラインパフォーマンスを超えたI/Oリクエストを受けることは可能 ベースラインパフォーマンスを超えたI/Oリクエストを受けている場合、超過分のI/Oクレジットが消費される（バースト） ボリュームの初期作成時に、5,400,000 I/Oクレジットが割り当てられる I/Oリクエストがベースラインを下回った（バーストが終わった）場合、I/Oクレジットは補充されていく I/Oクレジットの補充速度はボリュームサイズに比例して速くなる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon CloudFront の デフォルト上限値が更に大幅にアップしました！(2016秋) | DevelopersIO
