はてなブックマーク

タダです. terraform-aws-provider 5.68.0 で以下の引用文にあるように aws_iam_role にて inline_policy を使用するのが非推奨になり aws_iam_role_policy が代替先になりました.この記事では,そのリソースの改修を行った備忘録を書きます. resource/aws_iam_role: The inline_policy argument is deprecated. Use the aws_iam_role_policy resource instead. github.com inline_policy から aws_iam_role_policy へ書き換え aws_iam_role のinline_policy を使用していた下記の IAM リソースがあったとします.この状況で terraform plan を試す

タダです. MySQL で実行されているプロセスを確認するときは SHOW PROCESSLIST を叩いて確認してきました.MySQL8 のドキュメントを見ていると別の方法で確認する方法を知ったのでこの記事でまとめます. SHOW PROCESSLIST の代替テーブル さて本題ですが,SHOW PROCESSLIST の代替として processlist テーブルが有ることを知りました.ドキュメントによるとパフォーマンスが向上するとあるので, processlist テーブルを使用していくと良さそうです. これは、デフォルトの SHOW PROCESSLIST 実装とは異なり、mutex を必要とせず、パフォーマンス特性が向上します dev.mysql.com dev.mysql.com processlist テーブルは peformace_schema の中にあります.実際に SE

タダです. 以前の記事で 1Passowrd Shell Plugin を使って IAM アクセスキーとシークレットアクセスキーを保存して AWS CLI を使うのをやってみました.この記事では IAM Identicy Center(旧 AWS SSO) のロールで発行される一時認証情報を 1Password に入れたり更新ができたらローカルにクレデンシャルを残さずに使えてセキュアになるため,その検証を行ったのをまとめていきます. sadayoshi-tada.hatenablog.com IAM Identity Center のロールで発行される一時認証情報を保管する 保管したクレデンシャルを使って AWS CLI を実行する まとめ IAM Identity Center のロールで発行される一時認証情報を保管する IAM Identity Center と 1Password の

タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log

タダです. redash v10 が10/2にリリースされました.ローカルに v8 を入れてたのでバージョンアップをしてみました.その作業内容をこの記事にまとめていきます.なお,ローカルは次のような環境になります. % sw_vers ProductName: Mac OS X ProductVersion: 10.15.7 BuildVersion: 19H1419 % docker -v Docker version 20.10.8, build 3967b7 バージョンアップグレード作業 追加の作業 まとめ バージョンアップグレード作業 バージョンのアップグレードについては Upgrading のセクションに記載がありました. This section is duplicated from the previous release - since many users will up

タダです. CloudFront でホスティングしているサイトのレスポンスにセキュリティヘッダーをつける対応を行ったので,その備忘録を残しておきます. CloudFront のセキュリティヘッダーとは セキュリティヘッダーを追加してみる セキュリティヘッダーのポリシー作成と適用 まとめ CloudFront のセキュリティヘッダーとは CloudFront では以下のようなセキュリティヘッダーを加えてレスポンスができる機能です.この機能が登場以前は Lambda@Edge などでレスポンスヘッダーを追加して上げる必要があったと思いますが,CloudFront の機能だけでレスポンスヘッダーへの追加が完結するのはいいことですね. HTTP Strict Transport Security (HSTS) X-XSS-Protection X-Content-Type-Options X-Fr

タダです. Terraform AWS Provider の v4 が出てきたことでバージョンアップされた方も多いと思います.v4 へのバージョンアップでは S3 周りの変更が多く苦労するという情報が見かけられ,その変更をサポートするツールとして tfrefactor が紹介されてたので検証で試した内容をこの記事にまとめていきます. github.com tfrefactor とは tfrefactor の導入 検証用の Terraform 設定 tfrefactor の実行 まとめ 関連 tfrefactor とは tfrefactor の特徴は以下の3つがあります.v4 以降の aws_s3_bucket リソースの移行,AWS Provider のバージョン制約の更新,リソースのインポートが必要があるが,そのサポートとしての CSV 出力があげられてます. ・Migrate aws_

タダです. リポジトリに AWS のアクセスキー,シークレットアクセスキーを載せてしまって情報の漏洩といったことが起こりうるので,その予防策としてSecretlintを触る機会があったためこの記事に備忘録をまとめます. Secretlint とは Secretlint 導入 Secretlint のルール Secretlint を実行する まとめ 参考情報 Secretlint とは Secretlint は azu さんが開発されている秘匿情報のコミットを防ぐツールです. github.com Secretlint 導入 Docker イメージも提供されていますが,今回は npm で導入し,npx secretlint --initで Secretlint の設定ファイルを生成します. $ npm install secretlint @secretlint/secretlint-rul

タダです. 業務でマルチアカウントかつ多数の開発ベンダーの方々が利用する環境の運用において「AWS Service Catalog(以下,Service Catalog)」の利用場面があると思い,まずは「Service Catalog」の概要や利用方法を確認した後,マルチアカウントかつ多数の開発ベンダーの方々が利用する環境での「Service Catalog」を利用パターンを整理します. はじめに 「Service Catalog」とは 「Service Catalog」の利用メリット 「Service Catalog」の用語 「Service Catalog」の利用可能なリージョン 「Service Catalog」の利用料金 「Service Catalog」の利用 1. 管理者および利用者への権限付与 ドキュメントリンク 2. ポートフォリオの作成 3. 製品を作成する 4. テンプ

タダです. 業務の中で CodeBuild にてコンテナビルド後,Trivy によるコンテナイメージの脆弱性スキャンをして Slack に通知する仕組みを作る検証を行ったので,検証した内容をこの記事にまとめていきます. Trivy について CodeBuild への Trivy 組み込み CodeBuild の buildspec.yml の定義 Slack 通知のためにやったこと まとめ Trivy について コンテナ脆弱性スキャンツールとして有名で自分も知っていたものの使う機会がなかった中,脆弱性をチェックしていくことを定期的にやっていくべきだと言う理由から Trivy を使っていくことにしました.開発者は Teppei Fukuda さんで,このブログも見たことある方多いのではないでしょうか？ github.com Trivy の特徴はドキュメントにもあるように脆弱性データベースから

タダです. システムの中で CloudWatch Logs に Apache のログを保存しているのですが,大量のログとなっています.このログの中から HTTP ステータスコードが4XX 系を抽出してエラー発生数をモニタリングしたい時に,「check-aws-cloudwatch-logs-insights」の Mackerel プラグインを使って検証してみたのでその内容をこの記事でまとめます. check-aws-cloudwatch-logs-insights とは プラグインの導入 監視の設定の実施 IAM ロールの設定 mackerel-agent のコンフィグ定義 アラートの設定確認 設定のよもやま話 まとめ 関連記事 check-aws-cloudwatch-logs-insights とは Mackerel の「check-aws-cloudwatch-logs-insigh

タダです. はてな社の「Mackerel」を業務利用することになりました.使い始めなこともあり画面から設定をいじっていたのですが, CLI ツールである「mkr」の存在を知ったので,導入と監視設定を取得したりしていきます. github.com mkr 導入 現状の監視設定を取得する まとめ mkr 導入 「mkr」の導入を行ってきます.なお,導入環境は macOS X Catalina です. sw_vers ProductName: Mac OS X ProductVersion: 10.15.6 BuildVersion: 19G2021 mackerel.io macOS の場合は brew で完結します. インストールコマンド $ brew tap mackerelio/mackerel-agent $ brew install mkr インストール完了後,バージョンを確認して

タダです. データレイクの設計や構築,運用の勉強をしたいと思い「AWS ではじめるデータレイク」を読んだので,書評記事を書いていきます. 公式サイト techiemedia.co.jp 物理本 AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門 作者:上原 誠,志村 誠,下佐粉 昭,関山 宜孝発売日: 2020/07/09メディア: 単行本 PDF版 booth.pm 目次 本書の概要 本書で学べること 読了後の所感 まとめ 関連記事 目次 本書は以下の章立てになってます. 序章 データレイクを始めよう 第1章 データレイクの構築 第2章 データレイクの活用 第3章 データレイクの運用 第4章 データレイクのセキュリティ 第5章 ハンズオンの概要 ービジネスデータのデータレイクー 第6章 データを可視化する 第7章 サーバーレスSQLによるデータ分析 第8章 デー

タダです. 「AWS Copilot CLI」のコマンドとそのパラメーターでまだまだ知らないことが多いのでこの記事でコマンドとパラメーターを確認して,「AWS Copilot」の理解を深めたいと思います. 参照したドキュメント github.com なお,CLI のバージョンは 0.4.0 で確認しております. » copilot -v copilot version: v0.4.0 AWS Copilot CLI のコマンドの種類 copilot init copilot app copilot app init copilot app ls copilot app show copilot app delete copilot env copilot env init copilot env ls copilot env shw copilot env delete copilot s

タダです. クラウドサービスの活用が増えていく中で企業の扱うデータは増えていって,そのデータを活用できるかって企業活動においてすごく大事だと感じてデータ分析に興味を持ったのですが,データ分析基盤の勉強会「Data Engineering Study #1 」が開催されたので参加してきました.今回の記事では発表を聞いて感じたことをまとめていきます. forkwell.connpass.com イベント概要 本イベントでは、ゆずたそ氏（ @yuzutas0 ）にモデレーターを依頼し、複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。 また、講演後には視聴者の方も参加できる二次会会場(Zoom)を用意しています。登壇者と共にデータエンジニアリングに関する学びを深めましょう。 本編動画 当日のツイートまとめ togetter.com 内容 基調

タダです. AWS を使っていると利用料金を気にしながら使っていくと思います.コストを最適化していくためにどんなサービスやツールを使ってコストを最適化していくかを学びたいと思って「Amazon Web Services コスト最適化入門」を購入しました.本書ではコストに関する知識と実践を両軸で学べてとても勉強になったので学べることと所感と一緒に本書を紹介します. 技術書典応援祭のページ techbookfest.org Booth booth.pm 目次 本書で学べること 読了後の所感 まとめ 目次 本書の章立ては次の通りです.本編として145Pの内容です. 第１章 Amazon EC2 第２章 Amazon EBS/EFS 第３章 Amazon VPC/データ転送 第４章 Amazon S3 第５章 AWS Simple Monthly Calculator 第６章 AWS Prici

タダです. AWS のサービスの状態やメンテナンス情報を知るために Personal Health Dashboard(以下 PHD) を使うのは有効です.PHDは通常 AWS マネジメントコンソール上から確認できますが,今回は PHD の通知を Slack に自動投稿するための設定方法を紹介します. PHD の通知を受け取る方法 AWS Chatbot での Slack の連携設定 AWS Chatbot 設定 1. Slack との連携承認 2. チャネル設定 3. テストイベントによる動作確認 まとめ PHD の通知を受け取る方法 PHD の通知を受け取るには CloudWatch Events を使います.イベントソースパターンでサービス名に Health,イベントタイプを すべてのイベント に設定します.ターゲットに SNS を指定します.これで PHD からのすべての通知が S

タダです. 皆さん,普段システムの構成図ってどうやって管理していますか？Excel や PowerPoint,専用のツールを使われていたり色々な方法で管理されているのですが,以前 PlantUML の形式で作図できる「AWS-PlantUML」を紹介させてもらいました. sadayoshi-tada.hatenablog.com 今回も同じコードでの作図ですが Python で記述できるツールの「Diagrams」を紹介します. github.com Diagrams の概要 Diagrams の導入 Diagrams での描画 Web3層構造 サーバレスアーキテクチャ まとめ Diagrams の概要 「Diagrams」は Python でクラウドサービスのアーキテクチャを作図するツールです.「Diagrams」では AWS のほか,Azure,GCP,Alibaba,Oracle C

タダです. AWS 外との通信をプロキシサーバーに任せている環境で EC2 から AWS CLI で STS のコマンド aws sts get-caller-identity がタイムアウトする事象に遭遇しました.他の AWS CLI コマンドは実行できているため,STS 関連の調査を行なったのでこの記事で対応方法をまとめます. 結論 コマンドオプションで --endpoint-url で東京リージョンを明示的に指定して実行したらタイムアウトの事象が解消しました. aws sts get-caller-identity --endpoint-url https://sts.ap-northeast-1.amazonaws.com 原因 タイムアウトが発生した環境では AWS CLI がバージョン1だったのですが,ドキュメントを確認したところ STS のサービスのエンドポイントはグローバル

タダです. 技術書典8で「実践 AWS CDK - TypeScript でインフラもアプリも！」という本を会社の有志メンバーと出します! この記事でどんな本なのかを紹介します. 本書の概要 本書は,感情分析システムの開発体験を通して学ぶ、実践的な AWS CDK の入門書です.本書を読むことでインフラとアプリケーションの双方を迅速に開発する方法を学ぶことができます.言語は TypeScript を使っています. Web サイト silverworks-techbookfest.tumblr.com 目次 1章 AWS CDK の概要 2章 AWS CDK のはじめかた 3章 TypeScript 入門 4章 Step Functions 入門 5章 感情分析システムを作ろう 6章 デバッグとテスト 7章 AWS CDK Tips Appendix 本書で学べること 本書を通じて次のことを

タダです. タイムマネジメントと時間の使い方見直しのために Toggl で自分がどんなことに時間を使っているかを記録していってます.Toggl は様々なデバイスでのアプリケーションがあるのですが,僕は普段パソコン作業の時間が多いため, Mac の Desktop アプリを入れています.アプリケーションの通常の利用ですとアプリケーションの画面を都度開いてどの作業に時間を使っているかを記録の開始と停止操作を行いますが,記録の開始と終了をやりやすくする方法として Alfred Workflow の「Alfred-time」をこの記事で紹介します. Desktop App toggl.com Alfred-time について Alfred-time の利用準備 Alfred-time の使い方 まとめ Alfred-time について 「Alfred-time」は, Toggl の他に Harve

タダです. 業務で Route53 プライベートホストゾーンを別アカウントの VPC でも使うことができるよう設定を行ったのでどのように設定するかを整理しておきます. 本記事で紹介する設定の概要 参考ドキュメント 予め準備しておくこと 参考ドキュメント 実際の設定作業 まとめ 本記事で紹介する設定の概要 まず,Route53 プライベートホストゾーンは VPC に閉じたプライベートネットワーク内の DNS ドメインレコードを管理するためのコンテナになります.プライベートなのでインターネットにリソースを公開せずに名前解決が可能になるのが特徴で,関連づける VPC は複数サポートされています. docs.aws.amazon.com 下の構成図のようにメインアカウントの Route53 プライベートホストゾーンとサブアカウントの VPC を関連付ける方法をこの記事で紹介します. 同一アカウント