【AWS Lambdaの基本コード その1】 S3からのファイル取得とローカル保存
大柳です。 最近、お客様のシステムや社内システム向けにAWS Lambdaでコードをよく書いています。 S3への読み書きなどの操作、ファイルの圧縮など、基本的なコードをまとめておくと調べる手間も省け、コード品質も一定に保てると考えて、社内へのナレッジとして整理したので、「AWS Lambdaの基本コード」シリーズとして公開します。 使い勝手と個人的な趣味からPython3系のコードでの紹介となりますが、AWS Lambda構築の手助けとなれば幸いです。 第1回目はAWS LambdaでS3上のファイルを取得しローカルに保存するコードを紹介します。 今回の構成 S3へのファイル格納をトリガーにLambdaが起動、S3に格納されたファイルを取得し、ローカルに保存します。 Lambdaではローカル保存先として/tmpディレクトリに対してファイルを読み書きできます。 LambdaでS3から取得した
『API GatewayにCloud Frontを紐づけ、WAFでIP制限をかけてみる』
こんにちは！ナレコム新兵の松永です。 名の通りプログラミング歴約1か月の『ド』のつく初心者の僕の成長日誌とも言えるAWSレシピ記事をAWS入門を 試みている皆さんに向けて(とか言って一番は自分のためなんじゃないのか？笑）綴って行きます！！ 記念すべき初投稿は『API GatewayにCloud Frontを紐づけ、WAFでIP制限をかけてみる』です。 では早速。。。 そもそも Cloud Frontとは… ・AWSが提供する高速コンテンツ配信サービス。 ・CDN(Contents Delivery Network)を利用しCloud Frontを通すことでより高速なコンテンツの配信が実現できる。 WAFとは… ・Web Application Firewall はWabサイト上のアプリケーション用に特化したファイヤーウォールのことです。 ・Web Application の脆弱性を無害化で
AWS IAM編～サポートセンターへのアクセスを制限するポリシー～
こんにちは！Narimasaです！ 今回は、AWS IAMのインラインポリシーを使ってサポートセンターへのアクセスを制限する手順について紹介します。 サポートセンターへのアクセス制限をする意義 IAMユーザーの管理ポリシーを使って「AdministratorAccess」や「PowerUserAccess」の権限を設定している場合、 サポートセンターへの問い合わせに対して制限がかかっていない状態となります。 その為 「部署毎にIAMユーザー割り振っているけど、問い合わせ管理用ユーザーは別に作りたい」 「協力会社にPowerUserAccess権限を渡しているけど、勝手にサポートへの問い合わせをされると困る」 というように、PowerUserAccess等にしているけど、問い合わせは制限したい場合に有効です。 設定手順 制限をかけたいIAMユーザーの管理画面を開き、画面下部の「インラインポリ
Amazon SNS編～unsubscribeリンクを無効化させてみよう！～
こんにちは！新人のKです！ 今回はSNS通知メールのunsubscribeリンクを無効化させる方法をご紹介いたします。 SNSからメールを受信したことのある方はご存知かと思いますが、SNS通知メールの文末に、下記のようなリンク（unsubscribeリンク）があるかと思います。 このリンクをクリックし、ブラウザで下記のようなメッセージが出力された場合・・・ 以降、SNSからメールを受け取る事が出来なくなってしまいます。 CloudWatchでStatus check等を行なっており且つSNS通知メールの設定をしていた場合、最悪インスタンスの障害発生に気づかないという危険性があります。 このような事態に陥らないよう、今回ご紹介する方法でunsubscribeリンクを無効化させておきましょう。 AWS CLIインストール 1. Unsubscribeリンクの無効化は、CLIで行ないますので、ま
CloudFormation編～CloudFormationでVPCパート③～
「Mappings」はAmazonLinuxのAMIになります。 CloudFormationの「Metadata」を利用してパッケージのインストールと起動にphpinfoファイルの作成を行っております。 ※「UserData」で上記のトリガーが行われます。 成功した場合には「Outputs」で次の項目が出力されます。 { { "AWSTemplateFormatVersion" : "2010-09-09", "Description" : "AWS CloudFormation Template : Build to instance. AmazonLinux. ", "Parameters" : { "InstanceType" : { "Description" : "WebServer EC2 instance type", "Type" : "String", "Default
Serverspecでサーバ情報をファイルに保存してテストする方法
こんにちは！beardです！ Serverspecでファイルにテスト対象のサーバ情報を記述しておきたい場合、ちょっとした工夫が必要でした。 今回は、テストするときにファイルを指定してServerspecを実行する方法をご紹介します。 Serverspecのインストールと基本的な操作については、過去の記事『Amazon OSS編～Serverspecパート①～』をご覧ください。 1. 今回テストする環境 例としてServerspecから2つのサーバのグループをテストします。 グループAに2台のサーバ、グループBに1台のサーバとしています。 今回はファイルを分けてサーバ情報を記述することを目的としているので、テスト内容は時刻が日本時間になっていること確認するだけです。 テスト対象のサーバをグループごとにymlファイルにまとめます。 テスト項目のディレクトリ構成は『Serverspecで複数のサ
EC2インスタンス間でSSHパスワードなしでログインする方法
こんにちは！beardです！ 今回はAmazonLinuxのインスタンスから別のインスタンスへパスワードなしでSSHでrootでログインする方法を紹介します。 インスタンスが別のインスタンスに対して操作を行うことができます。 考え方としては、以下の図のようにローカルマシンのWindowsからEC2インスタンスへ接続し、さらに別のEC2インスタンスへログインすることになります。この操作は後々紹介するServerspecを使用する上で必要になってきます。 まずSSHクライアント側のインスタンスでRSA鍵を作成して、出来上がった鍵を表示させます。 コマンドは以下の通りです。 $ sudo su - $ ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh
Amazon Glacier編～Glacierを使ってみよう！パート②～
こんにちは！Rookieです。 前回のレシピに引き続き、今回もAmazon Glacier編です！ 前回は「Amazon Glacier編～Glacierを使ってみよう！パート①～」と題して、Amazon Glacierを利用してデータを保存するのに必要な「ボルト(Vault)」を作成しました。 今回のパート②ではAmazon S3のGlacier自動アーカイブ機能を利用してみたいと思います。 以前のレシピ「Amazon Glacier編～Glacierとは？～」で少しお話したかと思いますが、Amazon S3のGlacier自動アーカイブ機能は頻繁に使用するデータはS3に保存しておき、ルールを設定して自動的に古くなったデータをGlacierのストレージにアーカイブするといったことが可能になる機能です。 このAmazon S3とGlacierの組み合わせによって、データの運用がよりスムーズ
Fluentd編～ログ収集ツール～
こんにちは！ JQです。 前回は『chef-solo編～パート③～』ということで、nodeに対してrecipeを適用してみました。 今回は『Fluentd編～ログ収集ツール～』と題して、Fluentdをインストールしてみたいと思います。 ※Amazon Linuxを利用します。 Fluentdとは FluentdとはOSSのログ収集ツールです。 Rubyで実装されており、トレジャーデータの開発者やコミュニティメンバーにより活発に開発が進められています。 また、S3連携のPluginなどもデフォルトで実装されております。 Fluentdのインストール yumリポジトリの追記 Fluentdには様々なインストール方法が提供されています。 1. 最初にyumリポジトリの設定を追記します。 # vi /etc/yum.repos.d/td.repo [treasuredata] name=Trea
“Elasticseach ” の検索結果 – ナレコムAWSレシピ | AIに強い情報サイト
こんにちは！ JQです。 前回は『OSS編～Fluented & Elasticseach & Ki […]
Amazon Redshift編～パフォーマンスチューニング まとめ編～
Sortkeyを設定することで、Sortkeyを設定した項目の値順に並ぶようになります。 2013年1月～6月の上半期のデータの抽出を行う場合、2012年12月以前のデータや2013年7月以降は除外され、必要な部分のみ検索を行うことが出来ます。 この機能により、IDや期間などで絞り込みを行うカラムに対して設定を行うことで、高速化する事ができます。 Distkeyについて Redshiftの強力な仕組みとして、複数のノードに対して分散して処理する仕組みがあります。 その分散処理を最適に利用するための設定がDistkeyとなります。 例えば、4ノードに対して100万行のデータを保存した場合、各25万行が保存される様になっております。 全体の20万行の値を取り出して集計処理を行う場合、ケースによっては以下のようになってしまう場合があり得ます。 こうなってしまった場合、複数のノードで処理しているに
Amazon ElastiCache編～ElastiCacheを使ってみよう！パート①～
こんにちは！Rookieです。 前回までのレシピでは「Amazon Glacier編」と題してお話していたかと思いますが、今回からのレシピでは「Amazon ElastiCache編」ということでAmazon ElastiCacheの設定と接続方法について2回にわたって簡単に説明します。 その前に、Amazon ElastiCacheに関する情報をご紹介しましょう！ 先日、今回のレシピで記述するAmazon ElastiCacheにオートディスカバリ機能が追加されたと、AWSより発表がありました。 後ほど詳細に説明しますが、Amazon ElastiCacheを使用するにはキャッシュクラスタを立ちあげる必要があります。 このキャッシュクラスタは、ノード(Amazon EC2のインスタンスタイプのようなもの)等を設定することで構成されるのですが、今までだとそのノードを変更したいとなった場合ノ
OSS編～Fluented & Elasticsearch & Kibanaパート②～
こんにちは！ JQです。 前回は『OSS編～Fluented & Elasticseach & Kibana パート①～』ということで、Fluented & Elasticseachをインストールするところまで試してみました。 今回は『OSS編～Fluented & Elasticseach & Kibana パート②～』と題して、Kibanaをインストールして実際にログ解析を試してみたいと思います。 それではやってみましょう！ Kibanaのインストール 4.Kibanaのインストール gitコマンドを利用してKibana をインストールします。 # git clone --branch=kibana-ruby https://github.com/rashidkpc/Kibana.git Cloning into 'Kibana'... remote: Counting objects
Amazon EC2編～ELBでAuto Scalingをしてみよう！パート③～
こんにちは！Rookieです。 前回のレシピでは『Amazon EC2編～ELBでAuto Scalingをしてみよう！パート②～』と題して、Auto Scalingをおこなうのに必要なAPIツールのセットアップ方法について記述しました。 今回も引き続き『Amazon EC2編～ELBでAuto Scalingをしてみよう！パート③～』ということで、今回のレシピでは実際にパート②にてセットアップをおこなったAPIツールを使ってAuto Scalingの設定を試していきたいと思います。 なおAuto Scalingの設定をおこなう際、ELBの起動とAMIの作成が必要になりますので用意をされていない場合は、下記のレシピを参照していただき事前準備をおこなっておいてください。 ■ Amaon EC2～ELB設定編～ ■ Amazon EC2編～SnapshotやAMIを使ったバックアップと運用パー
Amazon Redshift編～接続方法（ODBC/JDBC/PG接続）別パフォーマンス比較～
こんにちは！中の人です。 前回までのレシピではAmazon Redshiftへの様々な接続方法を紹介しました。 ※ Amazon Redshiftへの接続編のレシピは、以下を参照してください。 ■Amazon Redshift編～プログラムからRedshiftを操作してみよう！（ODBC接続）～ ■Amazon Redshift編～プログラムからRedshiftを操作してみよう！（PG接続）～ 今回は『Amazon Redshift編～接続方法（ODBC/JDBC/PG接続）別パフォーマンス比較～』と題して、前回までのレシピで紹介したそれぞれの接続方法でパフォーマンスが異なるか検証してみました。 約8千行 約60万行 約4000万行 のテーブルを用意して検索してみました。 RedshiftはXL ノードをシングル構成での検証です。 クエリ1：select COUNT(*) from TAB
Amazon EC2編～EC2インスタンスからメールを送る場合には(送信制限解除について)～
Amazon EC2からのメールの送信についてお話をする前に、少しAWSに関する情報をご紹介します。 先日、米アマゾン・ウェブ・サービスは、AWSが「SAP Business Suite」の実行環境として認定されたと発表しました。 SAP Business Suiteとは顧客管理関係ソフトのことで、企業の方が業務で利用するソフトをAWSで稼動できるようになったというものです。 これにより、EC2インスタンスなどでも顧客管理をおこなえるので、より業務が効率的に進むことと思います。 さて、ここから本題に入ります。 今回は、作成したAmazon EC2インスタンスからメールを送信したい！ そんな場合にやっておくべきことについてお話します。 AWS上のEC2インスタンスからSMTPサーバを稼動させてメールを送信する場合、デフォルトの状態だとメールの送信数に制限がかけられています。 さらにそのままの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OSS編～Ansibleでサーバ構成管理 パート①～
OSS編～Fluented & Elasticsearch & Kibanaパート①～