Infrastructure as Codeのホープ、Pulumiを試す - サーバーワークスエンジニアブログ
AWSにおけるInfrastructure as Codeツールと聞いて皆さんは何を思い浮かべるでしょうか？ 多くの方はCloudFormationもしくはTerraformあたりを想像するのではないかと思います。 しかし！実は昨年、Pulumiという第三の選択肢がリリースされていました。 このツール、ずっと気になってはいたのですが、GW中にようやく試すことができたのでご紹介します。 何かがきっかけで人気急騰するポテンシャルを秘めたツールだと個人的には思っています。 ツールの概要 Pulumiの特筆すべきところは何と言っても プログラミング言語で展開リソースの定義を実施できる ことです。 CloudFormationもTerraformも、実態としてはInfrastructure as Yaml(or JSON）だったわけですが このツールは正真正銘のInfrastructure as C
AWS SDK for Python (Boto3)の エラーの再試行について ｜ DevelopersIO
API 呼び出しは様々な要因で一時的に失敗することがありますが、AWS SDKは自動再試行ロジックを実装しています。今回は、AWS SDK for Python (Boto3)でのリトライ回数の変更方法をご紹介します。 リトライ処理やエクスポネンシャルバックオフについてはAWSドキュメント AWS でのエラーの再試行とエクスポネンシャルバックオフ もご参照ください。 Boto3におけるリトライ処理、エクスポネンシャルバックオフ 自動でリトライ処理が実装されていますが、AWS SDK for Python (Boto3)ではデフォルトで5回エクスポネンシャルバックオフによるリトライ処理が実施されるようです。 Boto 3 Documentation | Config Referenceより 'max_attempts' -- An integer representing the maxim
Lambda (Python) をローカル環境で実行できる python-lambda-local を試した - kakakakakku blog
Lambda (Python) のローカル環境を整えるため，python-lambda-local を試した．python-lambda-local を使うと，Python コードを Lambda にデプロイすることなく動作確認ができるようになる．Apex を使っていれば apex invoke でお手軽に実行することもできるけど，やはり Lambda に依存せず，単独で実行したいという要件はある．Lambda のローカル環境は誰に聞いても困っている印象がある． github.com 前提 インストールは pip を実行するだけで良い．また，今回紹介するディレクトリ構成は Apex で Lambda をデプロイする前提にしている． $ pip install python-lambda-local BluePrint : hello-world-python まずは AWS に依存せず，P
EMR上でPython3系でpysparkする - Qiita
概要 機械学習・データサイエンスといえばpython（numpy/iPython/scikit-learn）なのでpythonで書いていきたい。 しかし、仕事柄大規模なデータを扱うことになるので、分散できるsparkのAPIで取り扱いたい。 ということで（EMR）クラスタ上でpysparkを動かしてみます。 今からpython学ぶなら３系だろうということで３系（Anaconda3-4.0）で動かします。 不安だったので確認したけど、sparkは1,4からpython3系に対応してますね。 手順 基本的にこちらの記事を参考にしました。丁寧に書かれていて素晴らしいです。 Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編) スクリプト準備 EMRクラスタ立ち上げ iPython Notebook起動 動作確認 スクリプト準
AWS SDK for Python (Boto3) で Amazon Athena にクエリする | DevelopersIO
こんにちは、藤本です。 現地時間 5/19 に Amazon Athena の API が公開され、各種言語の AWS SDK や、AWS CLI でのアクセスもサポートされました。今までプログラムから扱う場合に JDBC しかなかったため、Java 以外の言語でクエリすることができませんでした。（OSS ツールなどでやっている方もいるようですが。）それが AWS SDK を利用するだけで簡単に各種言語のプログラムからアクセスできるようになりました。 Amazon Athena adds API/CLI, AWS SDK support, and audit logging with AWS CloudTrail 弊社ブログエントリでも AWS CLI を利用したクエリの使い方が早速エントリされました。 新機能 AWSCLIから Amazon Athena のクエリを実行する API や流
Serverless Framework ＋ Lambda(Python) を使ってChatworkにCloudWatchのアラートを投稿 | DevelopersIO
Serverless Framework ＋ Lambda(Python) を使ってChatworkにCloudWatchのアラートを投稿 どうも！AWS歴、数週間の西村祐二＠大阪です。 AWSの勉強のために EC2で発生した障害をCloudWatchで検知、監視結果をLambdaのトリガーに設定したSNSを経由して Chatworkに投稿するというのをserverless frameworkを使ってやってみます。 あまりAWSに触れたことのない方の参考になれば幸いです。 概要図 ゴール 障害検知したらChatworkにアラート通知が来るようにします。 事前準備 Serverless Frameworkの環境構築 以下のページがとても参考になります。 今から始めるServerless Frameworkで簡単Lambda開発環境の構築 ChatworkのAPIトークン、ルームIDの取得 以
【Python3.6】AWS Lambdaでツイッターを検索して自動リツイートする - 歩いたら休め
先程の記事に引き続き、AWS LambdaでPython3.6が使えるようになったので、過去にPython2.7で書いたバッチ処理のレガシーコードをLambdaに移行しています。 まずは、下の記事で書いた「ツイッターを検索した結果を自動リツイートする」コードを移行します。今見るとけっこうコード酷いですね。 kiito.hatenablog.com Pythonのコードを書き直す AWS Lambdaの流儀に従ってコードを書いていきます。 ここではlambda_function.pyにlambda_handlerという関数を用意して、実行するように設定することとします。 後述しますが、アクセストークン等は環境変数で渡しています。 import os import time from datetime import datetime import twitter TARGET_TERMS =
AWS Lambdaのloggerのフォーマットを変更する (Python 3.6) | DevelopersIO
こんにちは、虎塚です。 AWS LambdaのログをCloudWatch Logsに出力している場合、ログをフィルタリングして利用することがあります。ログをアドホックに検索するだけなら気にしなくてもよいのですが、ログのレベルやメッセージ内容をもとに大事な後続処理を動かしたい場合は、デフォルトのログフォーマットを整形してから使います。これは、もし処理系の設定が変わってしまっても、Lambdaを組み込んだシステムが問題なく動くようにするためです。 この記事では、Lambda関数をPythonで書くときに、loggerのフォーマットを変える方法を記述します。 設定と動作確認 AWS Management Consoleにログインして、AWS Lambda Dashboardを開きます。Lambda関数一覧の画面で、［Create a Lambda function］ボタンをクリックします。 Bl
Lambda PythonでSQLAlchemyを使ってWarm Start時だけでもConnection Poolingする - サーバーワークスエンジニアブログ
こんにちは。先日、サーバーレスおじさん担当を拝命したわけですが、ちょっと久しぶりにMySQLの話ばっかりしている状況が楽しい照井@さっぽろです。RDSのIAM認証が来て、LambdaからRDSを使いやすくなったので、しょうがないということにしておきましょう。 さて、IAM認証の登場によってオンライン処理でLambdaからRDSを使う際の一番の課題であった、セキュリティと遅延のトレードオフである「VPC Lambda 10秒の壁」（参考）が一定の解決をみたわけですが、依然としてLambdaからRDSを使う際の課題は残っています。 今回の課題 それは、RDSへのコネクション数の増大と接続遅延です。コネクション数の増大はトラフィック量によっては問題になりませんが、新しいコネクションを繋ぐ際の接続遅延はできるかぎり避けたい所です。 前提知識 Lambdaの実体はコンテナです。特定の言語ランタイムと
AWS Lambdaをつかって、CloudWatchが監視した値を超えたら、slackに通知する仕組みをつくろう on Python - Qiita
AWS Lambdaをつかって、CloudWatchが監視した値を超えたら、slackに通知する仕組みをつくろう on PythonPythonAWSCloudWatchlambda はじめに 社内で「らむだが〜らむだが」と話していて、元C#の僕からするとプログラミング言語の何かかな？と思っていましたが、違いましたね。（C#にはラムダ式というのがある。） 社内では、AWS Lambda上にnode.jsランタイムを配置して、slack通知していましたが、nodeのversionが古くてそろそろサポートやめるよ、と言われたので、Pythonに切り替えることにしました。（nodeより、Pythonのほうが知っている人が社内にいたので） AWS Lambdaでは、よくあるような処理はテンプレートとして用意されているので、結構簡単にできます。手順をまとめてみます。 設定手順 おおまかに下記の手順で
Visual Studio CodeでPython使って、AWS Lambdaを動かしてみる - サーバーワークスエンジニアブログ
こんにちは。技術３課の森です。 昔使ってたThinkPadのUSBキーボードをMacに繋いでます。が、MiddleClick + TrackPointでスクロールしなくて悩んでます。ご存知の方、教えてください。 やってみた動機 ServerworksにジョインしてからPythonを書き始めたのですが、いろんな関数や構文を覚えるためにTerminalでViを使っていました。 そろそろ補完機能を使えるエディタを使ってみようかなと思い立ち、特に探してはないですが、Visual Studio Codeに決めました。 VSCodeをインストール それでは、インストールしていきます。実施したスペックと使うモジュール類も記載します。 スペック PC: Mac Book Pro Late 2016 13inch OS: macOS Sierra(10.12.4) モジュール 利用するモジュールは以下の通り
【全世界待望】Public AccessのRDSへIAM認証(+ SSL)で安全にLambda Pythonから接続する – サーバーワークスエンジニアブログ
こんにちは。てるい@さっぽろです。 先日、Serverlessおじさん担当なるものに任命されました。かねてからトイレIoTの元祖として名を馳せ、イケてるIoT事例を連発しているIoTお兄さん担当に負けないよう頑張っていきたいと思います。 さて、先日(2017.04.25)に全世界待望のRDSへのIAM認証(IAM Database Authentication)がリリースされました。リリース時にはSDKのIAM認証を行うための署名を作る機能が後追いとなっており試すに試せない状況でしたが、今朝(2017.04.27)ついにIAM認証に対応した新バージョンのSDKがリリースされたので、さっそく検証してみようと思います。 全世界待望？ 「LambdaからRDSに繋ぎたいと思ったことはありませんか？」 全世界はかなり言い過ぎですが、ある程度の規模の開発をServerless(API Gateway
[新機能] Amazon Rekognitionに追加されたImage ModerationをAWS SDK for Pythonから使ってみました | DevelopersIO
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 Amazon Rekognitionに新しくImage Moderation機能が追加されました。 新機能紹介を書こうとしたところ一足先に書かれてしまったので、この記事ではAWS SDK for Pythonから使ってみたいと思います。 機能紹介については、下記を参考にしていただければと思います。 【新機能】Amazon RekognitionにImage Moderationが追加されました！ AWS SDK for PythonでImage Moderationを動かしてみる 新機能だしどうかなとは思ったのですが、PythonのSDKの機能を実装しているboto-coreのdevelopブランチにはすでに実装されてそうです。 api-change:rekognition: Update rekognition client
![[新機能] Amazon Rekognitionに追加されたImage ModerationをAWS SDK for Pythonから使ってみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c28e36fbe026ea7ddf86a79d0bd771931c98f171/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2017%2F01%2Feyecatch-rekognition.png)
AWS LambdaがPython3.6に対応したのでpyenvとpyenv-virtualenvで環境構築してみた | DevelopersIO
こんにちは、臼田です。 LambdaがPython3.6に対応しました！ https://aws.amazon.com/jp/about-aws/whats-new/2017/04/aws-lambda-supports-python-3-6/ というわけで使ってみたいのですが、私の環境はmacデフォルトのPython2.7なので、Pythonの複数バージョンを切り替えて使えるpyenvと、それをより使いやすくするpyenv-virtualenvを入れて環境構築したいと思います。 pyenvとpyenv-virtualenvとは pyenvは、Pythonの複数バージョンを管理して同時に利用するためのツールです。 https://github.com/pyenv/pyenv 特に、Pythonでは2.7系と3.x系のどちらも利用することがあり、派閥争いが激しい状況なので複数のバージョンを利
AWS LambdaをPython3.6とChaliceで試す - 偏った言語信者の垂れ流し
AWS LambdaがようやくPython3に対応したそうなので試してました。 AWS Lambda Supports Python 3.6 Lambdaを使う際、Pythonランタイムだとchaliceというフレームワークを使うと楽なのですが、Python3サポートに合わせてchaliceもバージョンが上がっていました。 GitHub - awslabs/chalice: Python Serverless Microframework for AWS ChaliceのREADMEも3.6になっていたので、これを試してみました。 手順通りで特に問題なく動いたので、説明は割愛。 コードだけ少し変更してPythonのバージョンを表示させてみることにしました。 app.py: import sys from chalice import Chalice app = Chalice(app_na
Python + ELK でJAWS DAYS 2017のツイートを簡単に可視化してみた - Qiita
Elasticsearch色々試そうと思っていたところ、自分もツイートしていたJAWS DAYS 2017のツイートログを使ってみよう、と手を動かした記録。 前提 Pythonは2.7系を利用 ELKは5.2.2を利用 Twitterからのログ検索 こちらに作成したソースコードをのせました。アクセスキーを入力することで利用可能です。 （事前準備としてTwitter APIへの登録などは済ませる必要があります。） ソースコード自体はとても単純です。 3000件という数字は適当に決めたものです。（それくらいのツイート数だろうと思って適当に指定した値） ちなみにTwitter APIを利用する際には利用回数に制限があるので（リセットされる）注意が必要です。 import twitter from twitter import Api import sys import os import tim
stream2es で大量データをサクッと Amazon Elasticsearch Service に放り込む 〜 もう bulk API を操作しなくても良いかもしれない 〜 - ようへいの日々精進XP
検証の為に 放り込む 放り込む前に csv から json データにする インデックスの作成 ここで真打ち stream2es の登場 ひとまず 以上 stream2es を使えば stream2es ヘルプ 検証の為に 大量データを Amazon Elasticsearch Service に放り込みたいです。 データは github.com こちらを利用させて頂きます。 また、 qiita.com 上記の記事を参考にさせて頂きました。ありがとうございます。 放り込む 放り込む前に csv から json データにする 上記の記事を参考にさせて頂いて Python で書いてみました。標準入力から csv を読み込もうと試行錯誤しましたが、とりあえず csv ファイルを読み込む体でいきます。 # -*- coding: utf-8 -*- import csv import json im
[Python] スクレイピング in AWS Lambda - Qiita
Javascriptありのサイトに対応するため、下記のスタックでスクレイピングする環境を整える Phantomjs Selenium 必要ライブラリ ローカル実行 pip install python-lambda-local デプロイ pip install lambda-uploader サクッと試したい方は下記のリポジトリで https://github.com/akichim21/python_scraping_in_lambda 実行スクリプト selenium(driver: phantomjs)でjs実行済みのhtmlを生成して、タイトルを抜き出すということをやってます。最後にclose(), quit()してphantomjsをkillするだけのスクリプト。 #!/usr/bin/env python import time # for sleep import os #
![[Python] スクレイピング in AWS Lambda - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b46c9829da2c9a970bccadf2feb2e42060b81c41/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJTIwaW4lMjBBV1MlMjBMYW1iZGEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWZhODZiOTE1MzAxYmM5NDg1ZDFiMThiZDJkZWNhYWZk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBha2ljaGltMjEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTczMWViMTU3ZDc0M2JjZDI2YjA2MzE3NzE5MzdmYmM0%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da2e0e804ed2506cbc2f46ede720a196a)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
doruby.jp
how-to-build-opencv3.0.0-for-aws-lambda.md
