Python boto3 でAWSを自在に操ろう ~入門編~ - Qiita
Boto3 とは AWS (Amazon Web Services) を Python から操作するためのライブラリの名称です。 S3 などのサービス操作から EC2 や VPC といったインフラの設定まで幅広く扱うことが出来ます。 Boto3 は AWS が公式で提供しているライブラリのため、APIとして提供している機能をほぼ Python から使えるようになっています。 今回はこの Boto3 の使い方と活用例を紹介したいと思います。 ちなみに Botoという名称は ボート ではなくイルカ の名前から来ているそうです。 https://reboooot.net/post/why-boto/ セットアップ Boto3 のインストール pip からインストールすることができます。 Python の 2 系は 2.6.5 から、3 系は 3.3 からサポートされてます。 AWS の API
AMI を定期的に取得して世代管理する - Qiita
※ 2020/2/25 追記 2020年1月、ようやく EC2 の バックアップ/リストア を支援する AWS Backup EC2 が リリースされた。 私も、これまでこの自作バックアップを使っていたけど、AWS Backup EC2 へ移行した。 AWS Backup EC2 を実運用へ導入したときのあれやこれや 概要 EC2タグ "AMI-Backup-Generation = n(世代数)" が付いている EC2インスタンスのイメージ (AMI+Snapshot) を定期的に作成する。 AMIの作成と登録解除を行なうLambda (関数名： ec2-image-backup)と、登録解除されたAMIのスナップショットを削除するLambda（関数名：delete_snapshot_after_ami_deregister）の２つを作成して動かす。 設定した世代数よりも古くなった AM
EC2のスナップショットを自動的にAWS Lambdaで作成する - Qiita
AWS Lambda? サーバレスでプログラムを実行できるようなもの 1 か月 1,000,000 リクエストは無料 今回のような１日１回動かす程度なら無料でずっと使えます 詳しくは → https://aws.amazon.com/jp/lambda/faqs/ やりたいこと Lambdaのスケジュールイベントを使って自動的にEBSのスナップショットを作成する 今回使用する言語はPython スナップショットの対象は、EC2インスタンスのタグに「Backup-Generation」が付いているものとする Backup-Generationの値には、0以上の数字を指定する スナップショットの保存件数は、Backup-Generationの値とする 0のときはスナップショットを作成しない スナップショットの保存件数を超えた場合は、作成日付の古いものから削除する 作成したスナップショットのDe
VPC Peering先からPrivate IP Addressに名前解決できるようになりました | DevelopersIO
西澤です。先日、VPC Peering先から、Public DNS hostnameをPrivate IP Addressとして名前解決する機能がサポートされるようになった、というリリースがありました。今回のリリースで何ができるようになったのか確認してみたいと思います。 Announcing DNS Resolution Support for VPC Peering Public DNS hostnameのおさらい まずは何も設定していない状態で、vpc-a内のec2-a(ip-10-0-0-201)から、vpc-b内のec2-b(ip-10-1-0-51)から、それぞれvpc-a内のEC2インスタンスのPublic DNS hostnameの名前解決を試みます。 ec2-a(ip-10-0-0-201)での名前解決 こちらはプライベートIPアドレスが返されます。Public DNS h
Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
AWSインテグレーション - SQS - Mackerel ヘルプ
MackerelはAWSインテグレーションにてAmazon Simple Queue Service (SQS)のメトリック取得や監視に対応しています。AWSインテグレーションで連携を行なった場合、課金対象として1キュー = 1マイクロホストと換算します。 AWSインテグレーションの設定方法や対応AWSサービス一覧についてはこちらのページをご確認ください。 AWSインテグレーション 取得メトリック AWSインテグレーションのSQS対応で取得できるメトリックは以下の通りです。 メトリック の説明に関してはAWSのヘルプをご確認ください。 最大で11個のメトリックが取得されます。 グラフ名 メトリック Mackerel上のメトリック名 単位 Statistics Oldest Age ApproximateAgeOfOldestMessage sqs.oldest_message.age in
運用してわかった Amazon RDS のパフォーマンスを上げる 3 つのコツ
本番環境で RDS を運用して数ヶ月。いろいろ試して RDS のパフォーマンスを上げるコツがわかってきたのでまとめたいと思います。 ここで取り上げるコツは以下を前提にしています。 データベースは PostgreSQL (Multi-AZ 配置) Read よりも Write が多い 夜間のバッチ処理がピーク 1 レコードは小さいが、一度に書き込むレコード数は多い アプリケーションの特性によっては当てはまらないこともあるでしょうし、他の RDBMS では結果が違ってくると思います。そこを踏まえたうえで参考にしてください。 Availability Zone はどちらかに寄せる RDS の Multi-AZ は耐障害性を上げるために欠かせない機能で、本番環境では Multi-AZ 配置が推奨されています。 Multi-AZ 配置にすると物理的に独立した AZ (Availability Zon
TechCrunch | Startup and Technology News
The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…
s3fs を使って EC2 に S3 の Bucket をマウントする - Qiita
お仕事の絡みで、タイトルの要件が必要になりそうだったので備忘録も兼ねて。 前提 EC2 の Distribution は Amazon Linux インスタンスは AutoScale によって増えたり減ったりする やること S3 Bucket の準備 IAM の準備 IAM User で対応する場合 IAM Role で対応する場合 s3fs のインストール s3fs の設定・起動 やりかた S3 Bucket の準備 まぁ、普通に Management Console から追加するだけ。 ログとかはご随意に。 IAM の準備 二通りのやり方があるので、お好みで。 IAM User で対応する場合 このケースは、EC2 起動時のオプションとして IAM Role を 割り当てたくない(られない) 場合に使うと良いか？ IAM Management Console で Create a Ne
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
AWS SDK for PHPを使ってS3にファイルをアップロードする
以前にrubyからちょろっといじったことがあったのですが、phpからやったことがなかったのでやってみます。 本当はCakePHPから使う予定なんですが、実験的に動かしてみる場合、なるべく原始的な使い方から入る方が理解が深まる気がしてる。 事前準備 ではやっていきますね。 まずはAWSコンソールからテスト用のbucketを作っておきます。ここは難しいことはないので説明は省略。s3phpって名称で作りました。 次にAPIアクセス用にAccess KeyとSecret Access Keyを取得します。 「Create New Access Key」を選択すると新しいKeyが生成されてキー文字列が表示されるのでどこかにコピペしておきましょう。ん？あとからSecret Access Keyを確認しようとしたら見当たらない。 一度しか見れないということだろうか。まあ一度deleteすればまた新しいの
Amazon Route 53に多数の新機能が追加されてた | DevelopersIO
AWSの管理するDNSサービス Amazon Route 53を使いたいためにAWSアカウントを新規に作成する人も多いという鉄板サービスのRoute53です。今回は、そんなRoute53に新機能が多数追加されていた件について色々振り返りたいと思います。 ヘルスチェックおさらい 登録したドメインが指定するホストから期待する応答がない場合に異常な状態としてアラート飛ばしたりセカンダリーにDNSフェイルオーバーすることができます。そして、正常な状態に戻ったら振り先が戻ります。 フェイルオーバーの仕組みは3つ（Active-Active、Active-Passive、Active-Active-Passive & Other Mixed）ありまして、ルーティングの仕組みと組み合わせることで色々できます。 Active-Activeは、正常時はアクティブなリソースレコードセットを返す動作をしますが、
知っているようで知らない、リザーブドインスタンスの話 - プログラマでありたい
ちょっとリザーブドインスタンスの仕様の確認をしていたので、ついでにまとめてみました。AWSを使ったことがある人であれば、高確率で聞いたことがあると思います。でも、実際に使ったことがある人は、結構少ないのではないでしょうか？。一度使ってみれば、特に難しくもなく簡単ということが解りますので、一読して試していただければと思います。 リザーブドインスタンスのモデル そもそもリザーブドインスタンスとは、どういうものなのでしょうか？簡単に言うと、予約金を最初に払うと期間内の時間あたりの料金が安くなるというモデルです。オンデマンドインスタンスに比べ、ある一定以上使うと積算料金が安くなるというのがリザーブドインスタンスです。 リザーブドインスタンスは、使用率により３つのタイプの買い方があります。期間中にどれくらいの割合で立ちあげておくかで、タイプを考える必要があります。 年間100%利用した場合 何%利用
Windows Server on AWSにCALは必要か確認した | DevelopersIO
Windows Serverにアクセスするユーザーとライセンス 最近、Windows Serverに触れる機会が増えてきました。特にAWS上で動くWindows Serverが増えています。そこでこんな質問を受けました。 「CALの購入が必要だよね？」 答えから言います。 「CALの購入は必要ありません。なぜならばAWSがSPLAだからです。」 これから書く内容は私の個人的な意見であり、一切の保証はありません。おそらく、誰に聞いても同じ回答が返ってくると思います。 SPLA SPLAとは、第三者にASPなどのサービスを提供するときのライセンス体系です。特徴として、ホスティングができて、社内利用ができて、CALの購入が不要で、最新のバージョン利用が可能です。 ライセンス早わかりガイド サービス プロバイダー向けライセンス AWSはSPLAです 「SPLAのお客様のサポートは、AWSによるSP
基幹業務をAWSクラウドで実現する勘所 ～高可用性システム/バックアップのためのアーキテクチャ設計～
基幹業務をAWSクラウドで実現する勘所 ～高可用性システム/バックアップのためのアーキテクチャ設計～ Kiyonori Kitasako Solutions Architect Wifiは全セッション会場 展示会場にて、ご利用いただけます。 SSID: awssummit #awssummit 自己紹介 • 名前 北迫 清訓 • 所属 アマゾンデータサービスジャパン ソリューション アーキテクト • 経歴 ハードウェアベンダーにて通信・メディア系のお客様を中心に、システムコンサルから 構築、プロジェクトマネージメントを担当 基幹業務システムとは？ • 企業の情報システムのうち、業務内容と直接に関わる販売や在庫管理、 財務などを扱うもの。あるいは、単に、業務やサービスの中核となる 重要なシステム。 • 扱うデータの大半は定型的なもので、扱う人間も事務員や発注担当者 など操作に慣れているものが
アマゾン、アプリやゲームをクラウドからストリーミングできる『Amazon AppStream』を公開 | gamebiz
アマゾンは、3月12日、アプリやゲームをクラウドからストリーミングできる『Amazon AppStream』の公開を発表した。同社によれば、『Amazon AppStream』を使うと、AWS上でPC、スマートフォンなどのマルチデバイスのアプリデータをクラウドで管理でき、膨大なストレージを活用できる。また、2D・3Dグラフィックなどの高品質な画像データのGPUのレンダリングも可能。 ＜以下、公式サイトより＞ メリット デバイスの制約の排除 AWS の処理能力を利用すれば、ローカルデバイスでは GPU、CPU、メモリ、または物理ストレージの制約のために通常は不可能とされているエクスペリエンスを提供できます。
AWSサービスの各種上限値一覧 | DevelopersIO
2015/11/13追記：現行のサービスにおける上限値や制限値については下記のAWS公式ページに情報がまとまっているようです。サービス毎の状況を確認される場合はこちらをご参照ください。 - AWS Service Limits - Amazon Web Services - AWS サービス制限 - アマゾン ウェブ サービス AWSでインフラ構築作業を行っていると、規模によってはあっという間に(定められている)要素数の上限に達してしまいます。後述する『上限緩和申請』を行えばその上限は増やす事が出来るのですが、実際に構築を行う前にその辺りの申請はスムーズに済ませておきたいところ。と言うわけで、現在AWSで利用上限が定められている要素とそれらの上限を増やす(上限緩和申請)ための依頼フォームの情報を個人的学習目的及び今後の備忘録として整理してみました。 AWS Service Limits(A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon redshiftのご紹介
【AWS】EC2でローカルインスタンスかEBSのどちらを選ぶべきか | 遊びとお勉強の村
いまさら聞けない Amazon EC2
