ブックマーク / nopipi.hatenablog.com (10)

  • TerraformコードのセキュリティチェックでCheckovをGitHub Actionsに組み込んでみた - のぴぴのメモ

    はじめに Checkovとは ローカルPCでの使い方 インストール (留意事項)レベルアップ 静的解析のやりかた 静的解析の実行方法 指摘事項のスキップ方法(Terraformのオブジェクト単位) 指摘事項のスキップ方法(ルール単位) GitHub ActionsへのCheckovの組み込み はじめに Terraformコードのセキュリティーチェックを行う必要があり、IaC用の静的コード解析ツールであるcheckovをGitHub ActionsのCIに組み込んでみた時のメモです。 最初にcheckovをローカルで実行する場合のやりかたを説明して、最後にActionsへの組み込み方法を説明します。 Checkovとは Checkovは、Infrastracture as code(IaC)コード用の静的コード解析ツールです。Checkovを利用することで、セキュリティやコンプライアンスの問

    TerraformコードのセキュリティチェックでCheckovをGitHub Actionsに組み込んでみた - のぴぴのメモ
    tmatsuu
    tmatsuu 2022/06/19
    IaC用の静的コード解析ツールであるcheckov。わいわい
  • AWSで動くRHEL 7のレポジトリ名称がいつの間にか変わっていた件について(RHUI2->RHUI3) - のぴぴのメモ

    RHEL7にdockerをインストールしようとして、二年前に確認した手順でセットアップしようとしたらうまくいかず、2時間ぐらい唸っていたら、いつの間にかRHUIがバージョンアップしてレポジトリ名称がごっそり変わっていたらしい。 access.redhat.com 変更例 以前のExtrasリポジトリ名称: rhui-REGION-rhel-server-extras 今のExtrasリポジトリ名称: rhel-7-server-rhui-extras-rpms もう無駄なところでハマるから、メジャーバージョンの中でこう言う変更するのやめてほしい。

    AWSで動くRHEL 7のレポジトリ名称がいつの間にか変わっていた件について(RHUI2->RHUI3) - のぴぴのメモ
    tmatsuu
    tmatsuu 2020/12/19
    かえないでredhatさん
  • S3のCopyObjectによるコピーの並列実行によるコピー時間短縮の検証 - のぴぴのメモ

    はじめに 検証構成 環境構成概要図 データ構成 マスターデータ コピー先ディレクトリ構成 検証コード 環境準備 (1)AWSリソース準備 (2)インスタンス初期設定 (3)テスト用のマスターファイルの作成とS3アップロード (4)CSV生成pythonの設定ファイル作成 (5)ターゲット用CSV生成 検証-1 AWS CLIとpythonスクラッチプログラムの比較 検証概要 検証前提 検証手順 検証結果 検証-2 インスタンスタイプと並列度の検証 検証概要 検証前提 検証手順 検証結果 検証考察 (1) S3のスロットリング (2) KMSのスロットリング (3) 多重度とインスタンスの最適化 検証-3 200万ファイルのランニング検証とS3スロットリング対策 検証概要 検証前提 検証 3-(a) S3スロットリング対策:プレフィクスでの対策 検証 3-(b) 再実行による対策 まとめ 全

    S3のCopyObjectによるコピーの並列実行によるコピー時間短縮の検証 - のぴぴのメモ
    tmatsuu
    tmatsuu 2019/10/16
    CopyObjectなるほどー
  • AWS CodeCommitでgit認証にAWS CLIの認証情報ヘルパーを使用する - のぴぴのメモ

    CodeCommitに作成したgitレポジトリに接続するための認証に、AWS CLIを利用する方法です。gitの認証ヘルパーに"aws codecommit credential-helper"を利用するのがポイントです。 1.手順: IAMユーザ作成とAWS CLIプロファイル設定 1.1 CodeCommit用のIAMユーザを作成 1.2 ユーザのアクセスキーとシークレットキーを生成 1.3 AWS CLIにプロファイルを作成 2.手順: gitの認証ヘルパー設定 2.1 gitの初期設定(ユーザ設定&pushモード設定) 2.2 gitの認証ヘルパーにAWSコマンドを設定 3.手順: CodeCommitのレポジトリからcloneのテスト リファレンス 1.手順: IAMユーザ作成とAWS CLIプロファイル設定 1.1 CodeCommit用のIAMユーザを作成 グループ"Code

    AWS CodeCommitでgit認証にAWS CLIの認証情報ヘルパーを使用する - のぴぴのメモ
    tmatsuu
    tmatsuu 2019/08/21
    おー認証ヘルパー使えばIAMでいけんのか。なるほど
  • RHEL7.1でENA(Elastic Network Adapter)を利用する手順 - のぴぴのメモ

    はじめに 概要 留意事項 確認環境 ENAドライバインストール手順 RHEL7.1の初期状態の確認 enaドライバのビルドとインストール (1)必要なrpmパッケージのインストール (2)enaドライバのソースをgitから取得 (3)ビルド (4)動作確認 (5)インストール (6)動作確認 (7)起動オプションの追加 インスタンスのENA有効化 確認 (1)dmesg (2)/var/log/messages (3) sysfs 参考情報 はじめに 概要 ENA(Elastic Network Adapter)は、シングルルート I/O 仮想化 (SR-IOV) を使用したAWSの拡張ネットワーキングです。RHEL7.1にはこのENAのドライバが含まれていないため、RHEL7.1環境でENAを利用する場合は個別にインストールする必要があります。この記事は、RHEL7.1環境にENAドライ

    RHEL7.1でENA(Elastic Network Adapter)を利用する手順 - のぴぴのメモ
    tmatsuu
    tmatsuu 2019/01/02
    RHEL7系ならyum update kernelでいけるはずだけど、深遠な理由でkernel updateができない場合ってことかな。
  • EC2でnetconsoleを使ってカーネルメッセージを取得する - のぴぴのメモ

    1.はじめに 2.前提 3.netconsole serverを一時的に立てて取得 3.1 netconsole serverの準備 (1) security group設定 (2) ncatのパッケージインストール (3) ifconfigでネット設定を確認 (4)サーバ起動(フォアグランド実行) 3.2 netconsole client実行 (1)クライアントのネット設定を確認 (2)netconsoleのローディング 4.syslog serverでカーネルメッセージを取得する 4.1 rsyslogサーバの設定 (1)rsyslogにUDPでのListenを有効化 (2)設定の有効化 (3)設定確認 4.2 クライアント(netconsole)の設定 (1)送信先のsyslogサーバIPとポート設定 (2)netconsoleのサービスの再起動 5.reference 1.はじめ

    EC2でnetconsoleを使ってカーネルメッセージを取得する - のぴぴのメモ
    tmatsuu
    tmatsuu 2018/07/01
    いいねnetconsole。使ってなかった。メモ
  • Linuxのテスト用に、ハングアップやパニック状態にするカーネルモジュールを作ってみた - のぴぴのメモ

    テストのために、AWSAmazon Linuxのインスタンスをカーネルレベルでハングアップさせたかったので、テスト用のカーネルモジュールを作ってみました。 できること カーネルのハングアップ(ping応答もできないレベル。プリエンプションをdisableにして実現) 中途半端なハングアップ(ping応答は帰るレベル。リエンプションはenable) カーネルパニック(echo c > /proc/sysrq-triggerと同じ) 使い方 カーネルモジュールのビルド コードはGitHubにあります。 github.com (1) 必要なパッケージのインストール カーネルモジュールのビルドに、gccとkernel-develが必要になります。(Amazon Linuxの場合) sudo yum -y install git gcc kernel-devel(2) ソースコードをローカルに持っ

    Linuxのテスト用に、ハングアップやパニック状態にするカーネルモジュールを作ってみた - のぴぴのメモ
    tmatsuu
    tmatsuu 2018/05/22
    良い
  • プロセスのVSZ,RSSとfree,meminfo挙動を実機で確認 - のぴぴのメモ

    1.はじめに 1-1.この記事の要旨 1-2.(予習)メモリに関する指標とlinuxのメモリ挙動について 2.検証環境と検証方法 2-1.検証環境 2-2.検証方法 2-3.測定方法 (1)psコマンドによるVSZ,RSS情報の取得 (2)freeコマンドとmeminfo情報の取得 3.結果 3-1.全体の結果 3-2.プロセスのVSZ/RSS挙動 ポイント① malloc()した時の挙動→VSZのみ増加 ポイント② 1回目のデータread時→RSSは増えない ポイント③ データwrite→RSSが増加する 3-3.システムワイドな挙動(freeコマンド/meminfo) ポイント① malloc()した時の挙動→usedもAnonymousPageも増えない ポイント②1回目のデータread時→変化しない。 ポイント③ データwrite→used上昇、AnonymousPage上昇 4.

    プロセスのVSZ,RSSとfree,meminfo挙動を実機で確認 - のぴぴのメモ
    tmatsuu
    tmatsuu 2017/11/13
    おー
  • "LB + Web x 2 + RDB"マルチAZ”でWordPressをインストールするCloudFormation - のぴぴのメモ

    はじめに 構成概要 CloudFormationコード はじめに 前にAWSさんの体験ハンズオンで経験した"LB + Web x 2 + DB x 2"環境構築して、そこに動作確認としてWordPressをインストールして動かすところまでの手順を、CloudFormationを使って自動化して見ました。WordPressのインストールは、CloudFormationのcfn-init ヘルパースクリプトを使っています。 AWS 体験ハンズオン ~セキュア&スケーラブルウェブサービス構築編 補足:上記ハンズオンは、AWSのセキュアでスケーラブルなネットワーク構成を理解することが趣旨のものです。(対象としては、VPC, Subnet, SecurityGroup,AvailavirityZoneあたり)。WordPressは作った環境の動作確認目的ですので、「とりあえず動かすレベル」の内容です

    "LB + Web x 2 + RDB"マルチAZ”でWordPressをインストールするCloudFormation - のぴぴのメモ
    tmatsuu
    tmatsuu 2017/09/13
    AWSハンズオンでWordPressやったのか。WordPressでwebサーバ複数台構成って意外と難しいんだけど、この構成で本当に大丈夫かAWSよ。セッション共有、ファイルアップロード処理、アップデート問題とか色々あるんだけど。
  • 【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ

    はじめに linuxのメモリ利用容量(空き容量)の考え方 linuxのメモリ利用容量/空き容量の計算方法 ■RHEL7 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL6 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL5以前 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 蛇足 その1:無名ページとファイルページ その2:図解の内容のツッコミ その3:RHEL6の計算 その4:Inactiveを空き領域とすることは間違い。 はじめに linuxサーバを利用する上で何時も頭を悩ますものの一つが、メモリ利用状況の評価(メモリ利用率)ではないでしょうか。私も悩みます。そこで

    【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ
    tmatsuu
    tmatsuu 2015/10/06
    素晴らしかった
  • 1