moto で boto3 を使ったツールやライブラリのテストをするぞ（moto チュートリアル 壱） - ようへいの日々精進XP
どうも、モト春樹です moto example リポジトリ チュートリアル環境 ec2.py tests/ec2_test.py setup.py テスト coverage coverage run coverage report coverage html Stand-alone Server Mode Python 以外の言語ライブラリからも利用可能 Stand-alone Server Mode インストールと起動 boto3 からアクセスしてみる 以上 参考 どうも、モト春樹です 尊敬するモト冬樹さんのブログ、「ツルの一声」というタイトルでグッと身近に感じたかっぱです。 ameblo.jp モト春樹と名乗らせて頂きたいと思います。 moto 昨年後半から今年にかけて boto3 や aws-sdk for ruby を使って、ちょっとしたツールやライブラリを書かせてもらう機会が増え
Datadog APM の Python 用クライアント dd-trace-py をざっくりチュートリアルする 〜 botocore 編〜 - ようへいの日々精進XP
引き続き ソースコードやドキュメントの端々に botocore とは ということで ddtrace-run x botocore Patch ということで 引き続き github.com を弄っています。 ソースコードやドキュメントの端々に ドキュメント には、以下のように… DATADOG_PATCH_MODULES=module:patch,module:patch… e.g. boto:true,redis:false : override the modules patched for this execution of the program (default: none) ソースコードには… ... # Default set of modules to automatically patch or not PATCH_MODULES = { 'boto': False, 'b
Boto3(AWS SDK for Python)でSQSに送信したメッセージをLambdaでポーリングして受信してみた | DevelopersIO
こんにちは、みかみです。 さくら缶だと中身もおいしく感じる不思議..（近頃スーパードライの消費率上がってます。。 はじめに やりたいこと boto3 で SQS を操作してみたい スケジュールイベントで実行される Lambda関数 をつくってみたい SQS に保持されたメッセージを Lambda でポーリングして受信したい 確認環境（local） Python(3.6.0)インストール済み AWS CLIインストール＆設定済み（AWS CLI のインストールと設定） boto3 を pip install 済み SQSの準備 キューの作成＆メッセージ送信 Boto3(AWS SDK for Python)を使って、SQSにキューを作成＆メッセージを送信します。 Boto3ドキュメント > A Sample Tutorial send_msg.py import boto3 name = '
CloudWatchのログをBoto3(AWS SDK for Python)でローカルファイルに出力してみた | DevelopersIO
こんにちは、みかみです。 au 金曜日クーポンで、沖縄だったらブルーシールアイスがもらえるんですって（いいなーｖ はじめに AWS管理コンソールからCloudWatchのログ確認してたのですが、長くなるとスクロールするたびロードで待たされてつらい。。 S3にエクスポートできるものの、パーミッション設定必要だったり、gzipなのでWindowsだと地味にめんどくさかったり。。 ログデータを一括で Amazon S3 にエクスポートする やりたいこと CloudWatch のログをS3を経由しないでローカルにファイル保存したい boto3 の CloudWatchLogs で取れるものを確認してみたい 前提条件 Python(3.6.0)インストール済み AWS CLIインストール＆設定済み（AWS CLI のインストールと設定） boto3 を pip install 済み やってみよう ロ
boto – AWS関連ニュースまとめ
ポイントは、インプット(文字起こししたいメディア)とアウトプット(文字起こしテキスト)が異なる AWS アカウントの S3 バケットに保存される点です。 ユーザーの管理する S3 バケットに文字起こししたいメディアをアップロードし、このメディアを Amazon Transcribe が読み取れるように、バケットポリシーを変更します。 文字起こし後の … 続きを読む → さらに表示： aws lambda python, looking f, aws emr hadoop hamburg freelancer, aws emr oozie, python html include html, aws emr, aws ses python, aws boto python code, looking emr, python aws s3, aws python jobs, looking p
boto3を使ってEC2のCloudWatchアラームを一括設定する | DevelopersIO
こんにちは、菊池です。 EC2の基本的な監視として、CloudWatchのアラームを使うことはよくあると思います。EC2のステータスチェックや、CPU利用率などを監視して閾値超過時にSNSへ通知することなどは、マネージメントコンソールからも簡単に設定可能です。 しかし、EC2のインスタンス数が増えてくると、1つ1つアラートをマネジメントコンソールから設定するのは面倒になりますので、一括で設定するPythonスクリプトを作成しました。 設定内容と事前準備 今回設定するアラームは以下の2つです。 StatusCheckFailed_System 5分ごとにチェックし、2回連続で検知したらアラート発生 SNS Topicへの通知と、AutoRecoverによる復旧を行う CPU_Utilization 5分ごとにチェックし、2回連続で80%を超過したらアラート発生 SNS Topicへの通知を行
EC2上でvirtualenvを使ってpython3.4 with Boto3の独立した環境を作成する | DevelopersIO
小ネタです。 Amazon EC2上でPythonを使う際、状況に拠ってはPython3系を用意したいという場合があるかと思いますが、現行新規に作成したEC2(Amazon Linux AMI)の場合は環境がPython3系ではありません。 この環境に手を加えてPython3系の環境を準備する手段は幾つかあるかと思いますが、AWSプレミアムサポートのナレッジベースのページに、virtualenvを使った非常にシンプルな環境準備の方法が展開されていましたのでサクッとご紹介してみたいと思います。 Create an isolated Python 3.4 environment with Boto 3 on EC2 using virtualenv まずはじめにEC2環境を用意します。起動時点でのAmazon Linux AMIを選択し、インスタンスを起動。 サーバにログインし各種更新作業を行
ansible・packer・CloudFormationを用いてDjango環境を構築してみよう | Tech-Sketch
ライトウェイトでフルスタックなWebフレームワークといえば Ruby on Rails が有名です。しかし統計処理や機械学習に関連するライブラリにはPython製が多いこともあり、これからは Django のようなPython上で動作するフルスタックWebフレームワークを利用する場面も増えていくことでしょう。 しかしDjangoには独自のルールがあり、 AWS ELB や AWS RDS と共に利用するためには、少し工夫が必要です。今回は ansible と packer 、及び AWS CloudFormation を用いて、AWS上に下図のような耐障害性の高いDjango環境を構築してみます。 ※私事ながら、筆者の松井はこの度 株式会社 Elvez のCTOに就任いたしました。 株式会社Elvezは、社会性を持つAIで世界を幸せにする会社です。今回紹介したAWSとDjangoも、El
Boto3でEMR - /var/log/laughingman7743.log
最近HiveでETL処理とかするためにEMRをよくさわっています。Boto3からクラスタ起動したりステップ追加したりしています。 Boto2だとクラスタ作成時にセキュリティグループの設定等をapi_paramsに追加する形になり非常にわかりにくいです。 Boto3だとJSONライクな指定ができていろいろと捗ります。 日次でクラスタを起動してETL処理するようなスクリプトのサンプルです。AirflowでDAGを作って実行すると良いですね。 https://gist.github.com/laughingman7743/5c675c9b1d9ed02539e6 クラスタの起動 クラスタ起動時にステップも指定できますが、どうも追加される順序がバラバラだったりするので、起動してから順に追加するような形が良さそうです。 Hiveメタデータストアの指定 ConfigurationsにRDSの接続先を指
Python botoでS3を操作してみたログ - くろのて
S3の操作をPythonから行った練習ログです。 個人的な備忘録で目新しいことは書いていないはずなので、見てもあんまり意味ないかもしれません。 AWSのIDやKEYの取得方法は 別の記事 を参照してください。 バケットを用意する バケットはそんなに頻繁に作成するものではないはずなので最初はGUIで作成していきます。 S3の管理トップ画面→ Create Bucket ボタンを押すとバケット作成画面がモーダルで起動します。 ここでは testbucket-cro というバケットを作成します。リージョンは東京にしました（適当。 S3へコンテンツを登録する 基本となるコンテンツ登録から。 >>> import os >>> from boto.s3 import connection, key >>> ACCESS_KEY_ID = 'XXXXXXXXXXXXXXX' >>> SECRET_AC
Ansible で EC2 インスタンスを起動して、Route53 に Public DNS を登録する
Home > Ansible | AWS > Ansible で EC2 インスタンスを起動して、Route53 に Public DNS を登録する Ansible は、構成管理ツールとして認知されていますが、AWS 関連のモジュールが多数実装されており、各コンポーネントの起動や設定ができます。 このエントリでは、Ansible で、検証環境用の EC2 インスタンスを起動して、その Public DNS をRoute 53 に登録してみます。 以前書いたこのエントリの内容 を Ansible で自動化するイメージですね。 準備 今回は、AWS を操作するので、Python の AWS SDK である boto をインストールしておきます。boto は、pip なり、yum なりでインストールできます。 OSX $ pip install boto RHEL / CentOS $ rpm
Kinesis編～Kinesisを試してみる①～
こんにちは！ JQです。 前回は『ElastiCache編～Redisを試してみる②～』と題して、ElastiCacheで構築したRedisをpythonとphpで試してみました。 今回は『Kinesis編～Kinesisを試してみる①～』と題して、Kinesisを試してみたいと思います。 Amazon Kinesisとは 大規模なストリーミングデータをリアルタイムで処理する事が出来る完全マネージド型サービスになります。 大容量のストリーミングデータを受信し、提供することができる出来ます。 また、Amazon Simple Storage Service（Amazon S3）、Amazon DynamoDB、Amazon Redshift などのさまざまなサービスに容易にデータを送信することもできます。 Kinesisの立ち上げ 1.Streamの作成 AWSコンソールからStreamを作
Kinesis編～Kinesisを試してみる②～
こんにちは！ JQです。 前回は『Kinesis編～Kinesisを試してみる①～』と題して、Kinesisを試してみました。 今回は『Kinesis編～Kinesisを試してみる②～』と題して、BotoからKinesisを試してみたいと思います。 環境準備 1.IAM Role付与インスタンスの起動 Botoから操作するためのインスタンスを起動します。 RoleにてKinesisの許可を与えておきます。 ※詳細は以前の記事をご確認ください。 ■Amazon EC2編～IAM roles for EC2インスタンスを立ちあげてみよう！～ スクリプト 2.スクリプトの作成 簡単な動作確認スクリプトを作成します。 下記では到着した新しいレコードからスタートします。 getdata.py #!/usr/bin/python # -*- coding: utf-8 -*- import boto.
python boto + Capistranoで変態ちっくなEC2用デプロイスクリプト
EC2用に、ちょっと変態的(?)なデプロイスクリプトを組んだのでGithubに置いてみた。画面キャプチャーと一緒にご紹介します(・ω・)ﾉ https://github.com/wgkoro/ec2helper ※各キャプチャクリックで拡大します このスクリプトでdeployを実行すると 1.指定したNameを持つインスタンスを探して、起動しているかチェック。 Stopしていればたたき起こす。 起こした後、デプロイ実行していいか尋ね、ＯＫであればCapistranoでデプロイ実行。 2.デプロイが終了したらスナップショットを作成。 ということを行います。 Capistranoのrollbackもできます。 1.指定Nameのインスタンスの起動チェック、ロールバック実行。 2.以前作成したスナップショットも一緒に削除(削除実行前に確認アリ)。 ※スナップショット作成/削除機能はbotoを使っ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - EverythingMe/fabric-aws: fabric AWS integration