(更新あり)AWS LambdaでCommon Lispを動かす - Lambdaカクテル
[追記]IPv6を無効化することによりうまく動作させることができました．詳細は記事下方を参照してください． いやー来ましたね．AWS Lambdaで新言語・・・あれ？？ aws.amazon.com ナンダテメッコラー！！Lambdaの名前を冠しておきながらAWS LambdaでCommon Lispが動かないとはどういうことなんだ． 幸いにもLambdaにはCustom Runtimeという仕組みがあり，自由な言語を動かすことができるようになりました． というわけでAWS Lambda上で動くCommon Lispプログラムを実装してみました． 俺だってLambdaを冠したブログやってるからな．責任がありますよ責任． Let Lambda over Lambda over Lambdaじゃん． docs.aws.amazon.com というわけで後学のためにもLambdaでCommon
GitHub Actionsを使ってAWS Lambdaへ自動デプロイ (詳説＋デモ手順付きver) - Qiita
前置き ソースコードの管理をGitHubで行なっているのでCI/CDもGitHubに統一できたら楽だな〜と思って、GitHub Actionsを色々検証したり、実際にステージング・本番環境へデプロイするのに使ったりしています。 そこで今回はAWS Lambdaへの自動デプロイ方法を説明したいと思います。 今回例として使用するデモアプリはこちらに置いてあります。 概要 CDにはタイトル通りGitHub Actionsを使用 デプロイにはServerless Frameworkを使う ただデプロイするのは簡単なので、GitHubのSecretsからLambdaの環境変数に値をセット GitHub Actionsとは GitHubのリポジトリ上でビルド、テスト、デプロイなのでCI/CDを完結できる CI/CDを実行する環境を選択できる jobを並列実行可能 (制限はある) Price 自動デプロ
Amazon Athena ユースケースで学ぶデータ分析環境のCTASクエリ活用 | DevelopersIO
CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をParquetに変換するヘビーな検証実施しました。 はじめに 先日はダイアログベースでCTAS（CREATE TABLE AS）クエリを自動生成して、テーブル作成する方法をご紹介しました。CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をPa
Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略 ｜ DevelopersIO
はじめに 先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング
Dockerコンテナの作成からECSの動的ポート＋ALBでロードバランスするまで【cloudpack大阪ブログ】 - Qiita
概要 Dockerコンテナをローカルにつくり、ECRにプッシュ、ECS+ALBでロードバランスするところまでやってみます。 以前はECSをELBでロードバランスする際、EC2ホストとコンテナのポートを静的にマッピングする必要があり、1ホストに1コンテナしか実行できませんでした。ALBで実装された動的ポートマッピング機能を使い、EC2ホストの複数ポートをコンテナのポートと動的にマッピングすることで、1ホストに複数コンテナの環境をロードバランスすることができるようになりました。 環境はこんな感じです。 1. コンテナの作成 ローカルでDockerコンテナをビルドし、動かします。 環境 Docker for Mac https://docs.docker.com/docker-for-mac/ Docker for Windows https://docs.docker.com/docker-f
Amazon Athena のクエリ結果を SPICE にインポートして、 QuickSight で可視化する ｜ DevelopersIO
こんにちは、藤本です。 先日、QuickSight のデータセットに Amazon Athena の対応が追加されました。弊社ブログでもせーのが紹介しました。 Amazon QuickSight adds support for Amazon Athena 【新機能】Amazon QuickSightがAmazon Athenaをサポート！ この機能を使って、昨日、ELB のアクセスログをいくつかの視点から可視化して、解析した時の知見です。 Amazon Athena と QuickSight の連携 まず、前提として、ELB のアクセスログのような非構造化データを QuickSight で可視化したい場合、一度、構造化データにした上で、QuickSight のデータセットに取り込む必要があります。そこで AWS re:Invent 2016 でリリースされた Amazon Athena
新機能 AWSCLIから Amazon Athena のクエリを実行する ｜ DevelopersIO
昨日、以前から要望の多かった AWSCLI から Amazon Athena のクエリ実行する機能がリリースされましたので、早速試してみました。 Amazon Athena adds API/CLI, AWS SDK support, and audit logging with AWS CloudTrail 今回のリリースでは、AWSCLIの他に Java, .NET, Node.js, PHP, Python, Ruby, Go, 及び C++ で利用可能な AWS SDK を使用して、REST API 経由で Amazon Athena からもクエリを実行できるようになりました。詳細については、APIリファレンスおよびCLIガイドを参照してください。 サポートされた機能 ペタバイトクラスのクエリ実行も想定した Amazon Athena なので、クエリ実行は、「クエリの非同期実行〜ク
AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog
こんにちは。業務委託の@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S3にあるログをAWS Athenaから閲覧できるようにしてほしい S3にあるJSON形式のログを列指向型のフォーマット(Parquet)に変換してほしい ログは順次取り込み（毎朝、昨日分のログが見れるようにする） すでにログはS3にあったのでログ収集は終わっています。 データ分析基盤の構成 今回作成したデータ分析基盤はAWSのマネージドサービスで完結してます。 今回構築したのはGlueの部分です。 Glueの構成や初期構築の手順は以下のドキュメント通りです。 https
Glueの使い方的な⑤(パーティション分割してるcsvデータをパーティション分割したparquetに変換) - Qiita
パーティション分割csv->パーティション分割parquet ジョブの内容 ※"Glueの使い方①(GUIでジョブ実行)"(以後①とだけ書きます)と同様のcsvデータを使います "パーティション分割されたcsvデータを同じパーティションで別の場所にparquetで出力する" ジョブ名 se2_job4 クローラー名 se2_in1 se2_out3 全体の流れ 前準備 ジョブ作成と修正 ジョブ実行と確認 出力データのクローラー作成、実行、Athenaで確認 別のカラムでパーティション分割 ※①のGUIで作成したPySparｋスクリプトに最小限の変更を入れる形で進めます 前準備 ソースデータ(19件) 内容としては①と同じデータで、year,month,day,hourのパーティションごとに分けたcsvファイルを配置します。 year,month,day,hourのカラムは削除しています。
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
Kinesis Firehose & s3 & Athenaでビッグデータ処理！ - Qiita
背景 ユーザーから送られてきた大量の位置情報ログをpostgresqlに保存するのがつらくなってきたのでs3に投げて処分するようにしたい。 けれどもfluentdを入れたaws-ec2をログアグリゲータにしてスケールさせるのは面倒。 けれども、実証実験や営業資料の作成のニーズが多いためs3に投げたログは引き続きRDBMSのような何かで気軽に検索＆集計できるようにしたい。 構成 以下のように、サービスから投げたログをKinesisFirehoseが受け取ってs3に保存し、Athenaで検索するようにしました。 実装とハマりどころ KinesisFirehose ログ処理に特化したサービスで、流し込んだデータを塊にし圧縮してredshift、s3、elastic searchのいずれかに投げることができる。特徴は負荷に応じた同時実行数やインスタンス数の上限等を調整する必要がなく、使用者がスケー
Amazon Athenaのパーティションを理解する #reinvent | DevelopersIO
コンニチハ、千葉です。Amazon Athenaを利用する上で重要になってくるパーティションについて書きたいと思います。 パーティションの重要性 Athenaでパーティションを指定することで、各クエリで特定の領域に対するスキャンを実行できるようになります。例えば、S3上のデータがs3://applog/YYYY/MM/DD/HHのような形でS3へ保存するとします。 パーティションを指定することで、検索時に特定の日付配下のデータだけスキャンすることができるので、パフォーマンスが向上します。また、スキャンするデータ量も減るため、コストも削減できます。 パーティションを設定する パーティションを設定するには、テーブル作成時にPARTITIONED BYを指定して分割するキーを指定します。パーティションを追加する場合、以下の2つのシナリオがあります。 S3上に格納されているデータが既にHiveフォ
【AWS】5分で分かるAWS CodeDeploy - ニクニクドットミー
久々にAWSのサービスを触ってみました。というのもデプロイの仕組みをカイゼンしたいなーと考えていて、社内でもどうしよか？と話をしていました。 現状はfabricというPython製のツールを使っているのですが、fabricを動かす為に環境を整えてあげる必要があったり、依存しているライブラリのバグが影響して、デプロイができない時があったりと、深刻な状況です。 AWS CodeDeployであればマネジメントコンソールから実行もできるので、環境構築の手間が省けるので、良いのではと思い軽く触ってみました。 触ってみた感想と、CodeDeployを簡単に説明したいと思います。 ※5分は釣りです^^; AWS CodeDeployとは AWS CodeDeployはEC2,AutoScaling,オンプレミスに特化したデプロイサービスです。 たしか2014年11月ぐらいに登場しました。ただ、サービス
CircleCIとCodeDeployの連携による開発自動化の実践（続） - Qiita
こちらの記事ではCircleCIとCodeDeployの、基本的な連携しかたを紹介しました。この記事では、ステージング環境と本番環境のデプロイを分離する手順を紹介したいと思います。 考え方 作成しやすさとセキュリティのバランスを配慮した結果、最初の記事で作成した以下を使いまわします。 IAMロール CodeDeployのアプリケーション CircleCIがデプロイを行うためのIAMユーザ 一方、以下は新しく作成します。 リビジョン保存用のS3バケット CodeDeployのアプリケーション内のデプロイグループ（deploy_group） また、インスタンスとブランチの関係は以下。 本番環境 → 今まで使用したインスタンスを使いまわす ステージング用の環境 → 新しく作成 GitHubのproductionブランチ → 本番環境用ブランチ GitHubのmasterブランチ → ステージング
CircleCIとCodeDeployの連携による開発自動化の実践 - Qiita
今回は上記の図の中に、オレンジ色の枠線に囲まれている部分の設定方法を紹介したいと思います。 CircleCIからHerokuにデプロイする作業が非常に楽で、「PROJECT SETTINGS」の「Heroku Deployment」に従ってやれば基本的に問題ありませんが、AWS CodeDeployの場合、かなり面倒いです。 S3側 リビジョンを保存するバケットを確保します 出来れば新しいバケットを作った方が楽ですね。 ロケーション(Location)は「s3://<バケット名>/」ですので、 仮にバケット名をdummyにすれば、「s3://dummy/」になります。 IAM(Identity and Access Management)側 CodeDeploy用のIAMロールを作ります CodeDeployが出来ることは、S3上のリビジョンを特定の条件（某タグがある）を満たす全てのEC2
AWS CodeDeployを使ってPHPアプリケーションをデプロイしてみた - Qiita
AWS CodeDeployを使って、お手製デプロイシェルやJenkinsおじさんから卒業しよう！というお話です。 今回はPHPアプリケーションをS3経由でデプロイしてみようと思います。 AWS CodeDeploy is 何 Q: AWS CodeDeploy とは何ですか? AWS CodeDeploy は、Amazon EC2 インスタンス、およびオンプレミスで稼働するインスタンスを含む、さまざまなインスタンスへのコードのデプロイを自動化するサービスです。AWS CodeDeploy を使用すると、お客様はアプリケーションの複雑なアップデート処理、デプロイ中のダウンタイムの回避、新規機能の迅速なリリースが容易になります。AWS CodeDeploy を使用すると、エラーを起こしやすい手動操作やインフラストラクチャのサービススケールの必要性を排除しながら、デプロイの自動化を行うことが可
S3アクセスコントロール - Qiita
S3に対するアクセス制限方法についてまとめました。 今回の環境について S3バケット名は、「hogefuga」として説明させて頂きます。 1.特定S3バケットの中身を、全てのユーザーに見せる 下記の設定をする事により、hogefugaのS3バケット内にあるものは全て外部から見る事ができます。 S3バケットのWebホスティングを有効にしている場合などで利用します。 { "Version": "2012-10-17", "Id": "Policy1450760425940", "Statement": [ { "Sid": "Stmt1450760424377", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": "s3:GetObject", "Resource": [ "arn:aws:s3:::hogefuga/*" ]
Clojure + AWS Lambda + API GatewayでJSON APIを作る - Qiita
aws lambda create-function \ --function-name hello \ --handler hello.core \ --runtime java8 \ --memory 512 \ --timeout 10 \ --role arn:aws:iam::YOUR_AWS_ACCOUNT_ID:role/YOUR_ROLE \ --zip-file filed://./target/hello-0.1.0-SNAPSHOT-standalone.jar これでClojureコードがAWS Lambdaで動かせるようになっているはずです。 API GatewayからLambda Functionを呼び出す APIを作成 API Gatewayコンソールから新しくAPIを作成します。 Resourceの追加 "Create Method"ボタンをクリックすると"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EC2デプロイのためにCodeDeployを導入する - Qiita
amazonica/README.md at master · mcohen01/amazonica
