[2018/8/3][勉強会]夏の AWS Fargate & Amazon ECS/EKS 祭りに行ってきた!!
AWS Fargateが7/4にTokyoリージョン対応!!「夏のAWS Fargate & Amazon ECS/EKS 祭り」やります！AWSでのコンテナ利用に興味ある方はぜひご登録ください！ #aws https://t.co/I8wi0Kt7fT — Atsushi Fukui (@afukui) July 20, 2018 というわけでコンテナお兄さんになれるようAWS主催である!! に行ってきたのでブログしやす(メモレベル) ■講演内容https://pages.awscloud.com/AWSFargateAmazonECSEKSmatsuri20180803-jp.html AWS Fargate,ECS,EKSなどの最新情報やデプロイ方法など 一貫して知見が高まるイベントとなります。(激アツか!) ■オフィス前の家系ラーメン オフィスに行く前に我々(@kzm0211,@m
[AWS][static website hosting]S3でページごとにリダイレクトしたい!
[AWS][static website hosting]S3でページごとにリダイレクトしたい!投稿者: adachin 投稿日: 2018/08/212018/08/21 旧ドメインからアクセスがあった場合に新ドメインにリダイレクトさせる場合は、 必ずWebサーバが必要でした。 が！しかし！S3のstatic website hostingを使い、CloudFront,Route53の設定をすれば、 超低コストで実現可能となります！ちなみに簡単な静的ページでは結構向いているので複雑なリダイレクトであれば、 NginxやらH2Oで処理しましょう！のでちゃちゃっとブログしますっ! ■Goal（例） 以下のリダイレクト処理が出来上がっていること！ https://adachin.me/download.html ⇓ https://blog.adachin.me/download.html ■
[AWS][Athena] Error running query: HIVE_CURSOR_ERROR: Unexpected end of input stream
Athenaを運用していると、S3にある圧縮されたログが破損して、 下記のようにRedash/Athena側にエラーが出ることがあります。 今回はその対処方法をブログしやす。 ■Athena vs BigQuery AthenaはS3のgzipを全て展開して出力しているため、 クエリで日付け指定してもバケットにファイル破損しているものがあればエラーが出てしまいます。(ツラミ) そのため上記のエラーはどこのファイルが破損しているか不明なため、全ファイルのエラーチェックをする必要があります。 (スキャンした容量により, 従量課金される課金方式) ※逆にBigQueryはembulkなどで展開されているため、実行時にコケるはず。 せっかくなので次はAthenaでログ収集のコツをまとめてみました。 ■Athenaを使ってS3のログを検索できるようにしたら運用コストが改善されたお話https://q
[AWS]Auroraで別DBに複製したい場合はクローン機能が最強だった！！
[AWS]Auroraで別DBに複製したい場合はクローン機能が最強だった！！投稿者: adachin 投稿日: 2018/10/112018/10/11 Auroraのみのお話なのですが、あるDBを検証用として使用する場合、簡単に複製できればいいなと思うものです。そこで！クローン機能を使えば簡単に本番DBの複製が可能です。今回初めて触って感銘を受けたので、まずは細かい機能のお話からしていきたいと思います。 ■Aurora DB クラスターでのデータベースのクローン作成https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/Aurora.Managing.Clone.html ■目的/動作 稼働環境で影響を及ぼさないために役に立つスキーマの変更やパラメータグループの変更など、変更の影響を試したり評価したりする場合データのエクス
![[AWS]Auroraで別DBに複製したい場合はクローン機能が最強だった！！](https://cdn-ak-scissors.b.st-hatena.com/image/square/416239e1c27a684ef3fb234f520554b3d9438359/height=288;version=1;width=512/https%3A%2F%2Fblog.adachin.me%2Fwp-content%2Fuploads%2Famazon_aurora_Thumb2_850x270.png)
[AWS][Vuls][-to-s3]vuls report時に出力されるjsonファイルをS3に同期する！
[AWS][Vuls][-to-s3]vuls report時に出力されるjsonファイルをS3に同期する！投稿者: adachin 投稿日: 2018/10/222018/10/22 !!【脆弱性スキャン】vuls scanとreportを定期実行したい場合 以前こんなブログを書きましたが、results配下のログをfluentdでS3に飛ばせますぜ！！と書いていましたが、vuls report -to-s3で簡単に飛ばせますｗ 今回完全に忘れていたので設定してみました。(意外と知らない人多そう⇛自分だけか!) ■Example: Put results in S3 buckethttps://vuls.io/docs/ja/usage-report.html#example-put-results-in-s3-bucket S3でバケット作成(vuls.report)IAMでポリシーの
![[AWS][Vuls][-to-s3]vuls report時に出力されるjsonファイルをS3に同期する！](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f6f296bd8ce694160794e489b305ea9cb018dd3/height=288;version=1;width=512/https%3A%2F%2Fblog.adachin.me%2Fwp-content%2Fuploads%2Fvuls_logo.png){kind=logo}
[AWS][Terraform]SESの設定を自動化してみた
[AWS][Terraform]SESの設定を自動化してみた投稿者: adachin 投稿日: 2018/10/232018/10/23 [AWS][Terraform]Cloudfrontを自動化してみた 出ましたterraformの自動化してみたシリーズ！！ 前回(上記)はなんと2017/08/26とかあれから1年経ってる！(ひさしぶりか!) また毎度のようにterraformのドキュメントが分かりづらいので、 今回はSESをterraformで実装してみました。 ■aws_ses_domain_identityhttps://www.terraform.io/docs/providers/aws/r/ses_domain_identity.html とりあえず適当にadachin.comでメール受信できればOK! ■aws_ses.tf provider "aws" { access
![[AWS][Terraform]SESの設定を自動化してみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/8eb699549ed48e1b6497d842aa1cf1bef82e7c67/height=288;version=1;width=512/https%3A%2F%2Fblog.adachin.me%2Fwp-content%2Fuploads%2Fterraform_icon.png){kind=icon}
[CircleCI][AWS][ECR][private Docker images]独自コンテナを使ってCI回す！！
[CircleCI][AWS][ECR][private Docker images]独自コンテナを使ってCI回す！！投稿者: adachin 投稿日: 2018/11/062018/11/06 今回独自コンテナでCI回せないのか(ECR)と思いきや、 CircleCI 2.0で実現できたので今回試してみました。 ■AWS EC2 Container Registry (ECR) Supporthttps://circleci.com/blog/aws-ecr-auth-support/ CircleCIのDeveloperである Ricardo N Felicianoさんは以下のように答えています。 (どう見てもラッパー) TL:DR; CircleCI 2.0 now supports authenticating to AWS EC2 Container Registry (ECR)
![[CircleCI][AWS][ECR][private Docker images]独自コンテナを使ってCI回す！！](https://cdn-ak-scissors.b.st-hatena.com/image/square/9aac7b4acbae55e9d5eebd5c0c13adab8d42b9c8/height=288;version=1;width=512/https%3A%2F%2Fblog.adachin.me%2Fwp-content%2Fuploads%2Fcircleci.png)
[AWS][Terraform][count.index]mapや関数による複数のEC2インスタンスを構築する！！
[AWS][Terraform][count.index]mapや関数による複数のEC2インスタンスを構築する！！投稿者: adachin 投稿日: 2018/11/082018/11/08 Terraformには変数の条件によって使い分けをする場合はmapを使用するとめちゃくちゃ便利だということをブログしてなかったので今回お話をしましょう。 他にも関数によるインスタンス台数が増える場合もcount.indexを使ってインスタンス数を指定するだけや、Nameタグの値にインデックスを含めるにはformat関数など併用して、${}の中では算術演算子が使えるなど、さらにコードを短くすることも可能です。 今回はせっかくなのでそれらを応用して構築してみました。 ■Map/Functionhttps://www.terraform.io/docs/configuration/variables.htm
[AWS][ansible]Amazon Linux2にEPEL/remiでPHPをインストールするのにハマったお話
Amazon Linux2にいつものようEPEL/remiリポジトリを使って、ansibleでPHPをインストールすると以下のようにエラーが出た。 TASK [php : php72 install] ************************************************************************************************************ failed: [test-server01] (item=php) => {"changed": false, "item": "php", "msg": "Error accessing repos: Error getting repository data for amzn-main, repository not found"} failed: [test-serve
![[AWS][ansible]Amazon Linux2にEPEL/remiでPHPをインストールするのにハマったお話](https://cdn-ak-scissors.b.st-hatena.com/image/square/9ec576aa7d6348b66d97ffe393a785830812b0b2/height=288;version=1;width=512/https%3A%2F%2Fblog.adachin.me%2Fwp-content%2Fuploads%2Fansible-aws.jpg)
[Bastion server]Google Authenticatorによる2段階認証とSSH鍵認証を踏み台サーバで実装する
[Bastion server]Google Authenticatorによる2段階認証とSSH鍵認証を踏み台サーバで実装する投稿者: adachin 投稿日: 2018/11/232018/11/23 踏み台サーバを海外では Bastion server（ばすちん いや…ばすちぉん）と呼びます。今回はGoogle Authenticator(2段階認証)とssh鍵認証による踏み台サーバを構築してみました。設定もシンプルなのでいい感じ。 ■Google Authenticatorhttps://github.com/google/google-authenticator 2段階認証はメールアドレスとパスワードに加えて、スマートフォン/Webアプリに送信される認証コードを入力してログインするものです。認証コードは数10秒しか使えないため、パスワードのように推測されることはなく、セキュア！クラ
![[Bastion server]Google Authenticatorによる2段階認証とSSH鍵認証を踏み台サーバで実装する](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ce31071a5e45e050a44f85e867303cb2e7aee5f/height=288;version=1;width=512/https%3A%2F%2Fblog.adachin.me%2Fwp-content%2Fuploads%2FNM_diagram_061316_a1.png)
[AWS][Python]CloudWatch LogsをLambdaで定期的にS3へエクスポートする
[AWS][Python]CloudWatch LogsをLambdaで定期的にS3へエクスポートする投稿者: adachin 投稿日: 2018/12/292018/12/29 CloudWatch Logsを定期的にs3へエクスポートするにはLambdaで可能です。 今回はRDSのgeneral-log,slowquery-logを対象にPython2.7で作ってみました。 ■RVIRUS0817/lambda_cloudwatchlogs-s3https://github.com/RVIRUS0817/lambda_cloudwatchlogs-s3 ■RDS ・ログのエキスポート 監査ログエラーログ全般ログスロークエリログ・パラメータグループ slow_query_log →1 general_log→1long_query_time→5 log_output→FILE ■AWS/
![[AWS][Python]CloudWatch LogsをLambdaで定期的にS3へエクスポートする](https://cdn-ak-scissors.b.st-hatena.com/image/square/88c6e6cd60cdd3203bd2966c7a12da1da7d87fc2/height=288;version=1;width=512/https%3A%2F%2Fblog.adachin.me%2Fwp-content%2Fuploads%2Flambda.png)
AWS Client VPNでオレゴンから東京リージョンにSSHできるか試してみた！
AWS Client VPNでオレゴンから東京リージョンにSSHできるか試してみた！投稿者: adachin 投稿日: 2019/02/022019/02/02 AWS Client VPNって何よAWSがマネージドするClient向けのVPN接続サービスです。VPCに対して、Client VPNのEndpointをアタッチすると、Open VPN ClientとのTLS-VPN接続を確立するのですが、元々はClientがVPN接続をする形式はサポートされておらず、2018/12/18のre:inventで発表されました。現在では東京リージョン対応していないので、今回オレゴンリージョンで設定等試してみました。 ■やりたいこと オレゴンにVPC01とのAWS Client VPNの設定東京リージョンにVPC02,VPC03を2つ設定VPC01(オレゴン)とVPC02,03(東京)をVPCピア
AWS
AWSAWS GitHub Actions Terraform[AWS][Terraform][GitHub Actions]tfcmtでモノレポ環境の結果をプルリクエストのコメントに通知させる最近メンティーと元同僚で輪読会を週1、30分やるようになったんだけど、回し読みすると長くなるから次回 続きを読む… 投稿者:adachin 投稿日時:4週間2023/09/27前 AWS ECS/Fargate GitHub Actions[AWS][OIDC]GitHub ActionsでECS/FargateをデプロイしてみたFargateのデプロイをGitHub Actionsで試してるけど、むちゃくちゃ楽だな〜 &mda 続きを読む… 投稿者:adachin 投稿日時:3か月2023/07/23前 AWS GitHub Actions Terraform[AWS][OIDC]Terrafor
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
