データをテーブルにインサートされると、バーチジョブが実行される(cfn) - Qiita
目的 以下のRDS->lambda->AWSbatchという流れで実行したい 実現したいのはデータをテーブルにインサートしたら INSERT INTO batch_order_data VALUES (NULL, 'item_001'); 結果：hello worldなどpythonのスクリプトが実行される。 前提条件 （追加の手順があるため、必須ではない） ECR URLが既にあること以下の図だとpipeline1で作られていた。 ci/cdのやり方だとpipeline1とpipeline2も事前にあること しかしci/cdでなくても、実現できるので必須ではありません。 手順 1.事前にContainerImageを準備する必要があります。 dockerfileでcicd デプロイする方は以下のdockerfileをご参考に //もととなるコンテナイメージをpull $ docker p
CloudFormationを使ってVPCを構築する - Qiita
AWSTemplateFormatVersion: "2010-09-09" Description: VPC and Subnet Create Metadata: "AWS::CloudFormation::Interface": ParameterGroups: - Label: default: "Project Name Prefix" Parameters: - PJPrefix - Label: default: "Network Configuration" Parameters: - VPCCIDR - PublicSubnetACIDR - PublicSubnetCCIDR - PrivateSubnetACIDR - PrivateSubnetCCIDR ParameterLabels: VPCCIDR: default: "VPC CIDR" PublicSubn
CloudFormationを使ってNAT Gatewayを構築する - Qiita
AWSTemplateFormatVersion: "2010-09-09" Description: NAT Gateway Create Metadata: "AWS::CloudFormation::Interface": ParameterGroups: - Label: default: "Project Name Prefix" Parameters: - PJPrefix - Label: default: "NATGateway Configuration" Parameters: - NATGatewayACreate - NATGatewayCCreate ParameterLabels: NATGatewayACreate: default: "NATGatewayACreate" NATGatewayCCreate: default: "NATGatewayCCre
CloudFormationを使ってVPCフローログを設定する - Qiita
はじめに 本記事では、AWS CloudFormation管理コンソールを使って、VPCフローログを設定する手順を説明しています。（初心者向け） 本記事で掲載しているテンプレートの最新版は、下記に置いてます。 https://github.com/okubo-t/aws-cloudformation 出力先をS3に設定する手順は、下記を参照して下さい。 CloudFormationを使ってVPCフローログを設定し出力先をS3に設定する [https://qiita.com/okubot55/items/fbb1ae40bd8104958102] 構成図 前提条件 下記の記事の構築手順で、VPCを構築していること。 [CloudFormationを使ってVPCを構築する] (https://qiita.com/okubot55/items/b18a5dd5166f1ec2696c) PJPr
CloudFormationを使って最新のAmazonLinuxのAMIでEC2を構築する - Qiita
AWSTemplateFormatVersion: "2010-09-09" Description: EC2 Instance Create Metadata: "AWS::CloudFormation::Interface": ParameterGroups: - Label: default: "Project Name Prefix" Parameters: - PJPrefix - Label: default: "EC2Instance Configuration" Parameters: - KeyPairName - EC2InstanceName - EC2InstanceAMI - EC2InstanceInstanceType - EC2InstanceVolumeType - EC2InstanceVolumeSize - EC2InstanceSubnet - S
Google・Microsoft・AWS・IBMが提供するJupyter Notebook サービスのまとめ
はじめに データ分析及び機械学習ですっかりおなじみになったJupyter Notebook(以下、Jupyter)ですが、昨年(2016年)あたりからGCP(Google)・AWS・Microsoft Azure・Bluemix(IBM)といった主要なクラウドベンダーからJupyterのホストサービスが登場するようになってきました。その中には無料で使えるサービスもあるため、ローカルの環境構築を意識しないでPythonやデータ解析・機械学習等のコードを動かしたり共有できるようになり、勉強会やハンズオンの敷居も低くなっているように感じられます。 今回は勉強会で環境構築に困った際にこういう選択肢もあるよという意味で、各ベンダーが提供するJupyter環境をまとめてみました。 サービス一覧 Google / GCP Colaboratory Cloud Datalab Microsoft Azur
AWS PrivateLinkが登場 EC2やELBでどのように使うか - Qiita
AWS Private link について 先日 AWS Private linkという機能が発表されました。 https://aws.amazon.com/jp/blogs/aws/new-aws-privatelink-endpoints-kinesis-ec2-systems-manager-and-elb-apis-in-your-vpc/ これまでの方式(DynamoDB,S3)はエンドポイントのゲートウェイ経由で各サービスのAPIに接続する形でしたが 新しい方式ではエンドポイントがENIに紐付き、VPCのプライベートIPを持つかたちになります。 この方式のメリットとしては ・セキュリティグループでエンドポイントへのアクセスを管理できるようになる ・エンドポイントにDirect Connectを介してアクセスすることができる というのが大きいかなと思います。 Private li
HTTPSの静的コンテンツをホストするならs3よりNetlifyが俺の求めていたものだった - Qiita
事の発端 社内から静的コンテンツをホストしてHTTPS使える環境が欲しいんだよねー。と要望を受けた。 私はAWSが得意なので考えた。 「静的コンテンツならs3か」 「s3でHTTPSならs3の前段にCloudFrontでSSL証明書入れるか（ちょっと面倒だな）」 「CloudFrontにSSL入れるなら無料のACMだな」 「ACM使うならメール認証だしSES要るな（面倒くせぇ）」 「SESでメール受信するならs3・・・・・・・・・・」 ガシャーン！（ちゃぶ台の音） 「俺がしたいのはこれじゃない感」 ということで 何か上の環境を一発で作れるツールあるかなぁ。と調べているとNetlifyというサービスが引っかかった。 Netlifyってなに？ どうも静的コンテンツをホストしてくれて、SSLが使えるとな。Githubと連携して？ ふむふむ。使ってみよう。 ということでGithubにリポジトリを作
AWS上でHoloLensのSharingServiceを動かす - Qiita
作成ボタンクリック キーペアのダウンロード 超重要ファイルです！失くさないように気をつけましょう！ Elastic IPの作成 EC2にパブリックIPを設定します。 リモートデスクトップからアクセス Windowsサーバーでの処理 リモートデスクトップにアクセスした後、 インターネットエクスプローラーを起動して SharingService.exe をダウンロードします ダウンロード後は適当なフォルダに保存しましょう ※最新のSharingService.exeだとうまく動きませんでした。。。 2016年8月のSharingService.exeをオススメします。 ファイアウォールの設定 コントロールパネルを起動してください Windowsファイアウォールを介したアプリまたは機能を許可をクリック 別のアプリの許可をクリック パブリックにチェックを入れてください サービスを起動して、Shar
AWS SESをちゃんと使うためにやるべきこと - Qiita
AWS SESをちゃんと使う AWS SESは安価で簡単にメールの送信／受信トリガーが実現できるサービスです。AWSを使っているサービスの場合、けっこう使うことになると思います。が、ハマりどころや注意すべき所があるため、サービスの特性を理解して使ったほうが良いと思い、まとめてみました。 やること SESの制限解除申請をする DKIMに対応する／逆にSPFは対応しなくてOK バウンスと苦情の対応をSNS/SQSなどを使い自動化する 25番ポートは使用せず、465/587を使用する 配信メトリクスを監視する SESの制限解除申請 新規AWSアカウントの場合、SESはサンドボックスモードになる サンドボックスモードだと、検証済みEmail/ドメイン宛にしか送信できない 24時間あたり200通までの送信制限 / 1秒あたり1メッセージの受信制限 サンドボックスモードを解除するには申請する 制限はリ
Highly available and scalable Kubernetes on AWS #builderscon - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Table of contents A bit of context About this presentation Overview of Kubernetes on AWS Detailed guide for kube-aws A bit of context Kubernetes AWS Why Kubernetes on AWS Why they matter to you Kubernetes in a nutshell An open-source system for automating deployment, sca
Highly available and scalable Kubernetes on AWS for Kubernetes users 日本語版 - Qiita
本スライドは「Kubernetes Meetup Tokyo #3」の登壇資料です。 Highly available and scalable Kubernetes on AWS TL;DR; 「高い可用性とスケーラビリティを確保したKubernetesクラスタを、AWS上で本番運用するにあたって得られた知見」を共有します 「コンテナベースのインフラをAWSで本番運用したい方」向けに話します KubernetesやAWSについてはある程度わかっている前提 自己紹介 twitter/github/slack.k8s.io: @mumoshu (むもしゅ) 数十人くらいの規模のWeb企業でインフラエンジニアとして働いています 半分仕事で、kube-awsというOSSの唯一のメンテナをしています kube-aws: https://github.com/coreos/kube-aws アジェン
ElasticCache典型的な利用構成 - Qiita
AWSのElasticCacheに関する基本的な内容をまとめてみたものです。ElasticCacheに関する、Web上にすでにある解説コンテンツをまとめたサイトの抜粋です。 [ElasticCache 典型的な利用構成] (https://www.techcrowd.jp/elasticcache/configurations/) [Stateシェアリングパターン] (https://www.techcrowd.jp/elasticcache/configurations/) ロードバランサーを使って複数のWebサーバーやAPサーバーを動かしている場合は、障害発生時にステート情報が消失してしまうことがある。 このようなステート情報の消失を防ぐためには、個々のサーバーに情報を格納するのではなく、共有のデータストアにステート情報を持たせるState Sharingパターンが有効です。 AWSで
✔ Rails ☓ AWS 環境構築 タスクリスト φ(・・*) - Qiita
├── Gemfile # `gem "itamae"` ├── Gemfile.lock ├── README.md ├── Vagrantfile ├── cookbooks # ここにレシピを置く 命名、分け方自由 │ ├── dir_set # Rails pjt を置くディレクトリを用意 / 権限設定 など │ ├── etc_packages # 基本的なpackage群をinstall │ ├── iptables │ ├── mysql │ ├── nginx │ ├── ntp │ ├── redis │ ├── security │ ├── time_set # 日本時間にする設定 │ ├── unicorn │ ├── yum │ └── zabbix ├── node │ └── rails # ここで設定したもの
Tensorflow 1.0でGPU利用 with AWS - Qiita
そろそろ春の足音がしだして、相変わらずの何もできてないっぷりに愕然とする今日このごろです。 さすがに何もしていないのはまずいので、以前触った TensorFlow を再び触り始めています。 相変わらずのGoogleクオリティで、APIが色々と変わっているような気がしますが、いろいろ忘れているので調度良いかなと。 何か一つ作ってみようと、作ってみている最中です（いずれ記事に・・・）が、DeepLearningとかコモディティ化してきていると言われているとはいえ、理解しながら作ろうとすると、もれなく数式とコンニチワするので、文字通りに頭の痛い日々です。でも楽しい。 Amazon LinuxでGPU利用する 今作ってみているものは、学習をCPUだけでやると時間がかかってしょうがない＋学習用データが大きすぎて洒落にならないため、GPUで実施したくなります。 GPUは一応部屋のPCについているとはい
ELB のログを Lambda の Node.js で取り込み、Elasticsearch Service の Kibana で可視化する - Qiita
手順 Identity & Access Management でロール作成 ELB のログ出力設定 Amazon Elasticsearch Service 作成 AWS Lambda 設定 Amazon Elasticsearch で確認 Kibana 表示 参考 URL http://qiita.com/toshihirock/items/e530f3cb6dcf545601c9 http://dev.classmethod.jp/cloud/aws/elb-accesslog-to-elasticsearch/ http://kenzo0107.hatenablog.com/entry/2015/10/08/113110 Identity & Access Management でロール作成 ロール名の設定 適宜ロール名を入力。 ロールタイプの選択 AWS Lambda を選択。
re:Invent 2016 私的HPCまとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS re:Invent 2016に参加してきました。他の誰もやらないであろうHPC的なまとめを私なりにしてみます。 AWS re:Inventについて 私が説明するよりもはるかに素晴らしい紹介コンテンツが山ほどあるので、そちらを参照ください。 毎年参照するのがクラスメソッド様の全セッションまとめです。毎年お世話になります。多謝。 http://dev.classmethod.jp/cloud/aws/reinvent-2016-matome/ KeyNote New Instance Type 新しいインスタンスタイプのリリース、s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Active Storage + S3 による添付ファイル機能を試してみる - Qiita
Amazon AuroraのフェイルオーバーとRailsのコネクションプーリング - Qiita
AWS SDK for Ruby V2でS3をいろいろ使う - Qiita
