こんにちは、森田です。 AWSの公式ドキュメントでLAMPのチュートリアルがありますが、今回はこのとき作成したRDBを外部から接続できるようにしてみました。 前提 この通り進めた後の操作になります。 上の作業進めるの大変！って思った方は下記のユーザデータを使用してください。 mysqladmin password XXXXXXXX のXXXXXXXX はパスワードになりますので適宜変更してください。 #!/bin/bash yum update -y # amazon-linux-extrasを使用して Maria DB php をインストール amazon-linux-extras install -y lamp-mariadb10.2-php7.2 php7.2 # mariadb-server , Apacheのインストール yum install -y httpd mariadb-

金融システムの運用保守や情報システム部門のIT支援などを経て、現在は顧客へのAWS導入・移行の提案、構築などを担当。社内向けの勉強会、技術支援などを実施し、AWSエンジニアの育成にも挑戦中。好きな食べ物はカレーと餃子。 執筆・監修者ページ／掲載記事：6件 みなさん、AWSのセキュリティグループはご存じでしょうか？ こんにちは。エンジニアの中井です。 AWSのサービスを利用する上で、避けては通れないのがセキュリティグループの設定です。 このセキュリティグループですが、改めてドキュメントを読み返すと色々と発見がありました。 そこで今回は、セキュリティグループの基本的な部分をおさらいしつつ、インスタンスへの設定パターンなどについて説明していきたいと思います。 セキュリティグループのおさらい 一言でいうと セキュリティグループは「ステートフルなファイアウォール」で、インスタンスレベルで動作。 ネッ

Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独

はじめに 普段は大学生をしています．embulkに触れる機会があったので簡単な例を用いてなんちゃってETL基盤の構築していきます．なんちゃってとつけているのは自分がまだまだショボいからです！！！！ ソースコード 今回使うソースコードです 今回やりたいこと バスケットボール部の部員をとバレーボール部の部員を管理しているテーブルがそれぞれ存在しています.項目としてid(主キー), name(名前), height(身長), age(年齢), created_at(データ登録日)が挙げられます． バスケットボール部の部員とバレーボール部の部員の情報まとめたオールスターテーブルを作りたいです．項目としてid(主キー), name(名前), height(身長), age(年齢) team(所属部活), origin_id(元テーブルのid), origin_created_at(元テーブルのデータ

はじめまして、sonesuke(https://twitter.com/sonesuke)です。 LLMにどっぷりハマっています。 TL; DR 16のプロンプトパターンを日本語の例をつけて、まとめてみた。 読んだ論文はこれ。 https://arxiv.org/pdf/2302.11382.pdf より高度なプロンプトエンジニアリングの話題はこちら プロンプトパターン 1. メタ言語パターン: The Meta Language Creation いつ使うか？ 自然言語ではない方が、より簡潔で明確に表現できるとき プロンプトコンセプト 例 原文プロンプト “From now on, whenever I type two identifiers separated by a “→”, I am describing a graph. For example, “a → b” is des

データアナリティクス事業本部コンサルティングチームの石川です。「デフォルト設定を使用」で構築するのであれば、ワンクリック3分で構築可能です。 しかし、本番環境のように任意のVPCに構築するには「設定をカスタマイズ」による環境構築が必要です。 1つ目のRedshift Serverless環境の構築は、「デフォルト設定を使用」を用いた環境構築 もしくは「設定をカスタマイズ」による環境構築のいずれかです。2つ目以降は、下記のサーバーレスダッシュボードの[ワークグループを作成]から環境構築します。この手順は、「設定をカスタマイズ」とほぼ同じで、RPUの設定が追加されたものとそれほど変わりません。 本日は、Redshift Serverlessを構築するための設定項目の整理して、「設定をカスタマイズ」による環境構築する手順について解説します。 環境構築するための設定項目 最初にRedshift S

IAM サービスに対する権限を設定するポリシー作成において、「アクセス権限の管理」に関するアクションの検討で混乱することがあったため、自分用メモも兼ねてアクションの早見表を作成しました。 IAM アクセス権限の管理アクションの早見表 2022 年 2 月 6 日時点のアクションです。 IAM グループに対するアクション アクション名 概要 ガイド

今回は、AWS Step Functions で Amazon ECS のタスクを実行するシンプルなステートマシンを作成していきます。 すでに Fargate で動作可能な ECS クラスターや ECS タスク定義、 ECS タスク実行ロール、VPCのサブネットやセキュリティグループは用意している前提です。 ステートマシンで ECS クラスターやタスク定義の ARN の指定が必要になるので、メモしておきます。次に挙げているのは例です。 ECS クラスターの ARN arn:aws:ecs:ap-northeast-1:000000000000:cluster/test-cluster ECS タスク定義の ARN arn:aws:ecs:ap-northeast-1:000000000000:task-definition/python-web-hello:1 事前に ECS クラスターで

前提 本記事執筆時の Docker 最新バージョン： 19.03 書いている人は、業務で本格的に docker を使ったりしておらず、個人開発で適当に使っていたが、よくわからず使っている部分もあったので改めて調べてるレベル。 悩み データを永続化したい場合に、-vオプションや、Dockerfile のVOLUMEや、Compose ファイルのvolumesを使ったりしていたが、違いをよくわかっていない。それぞれ記法もいくつかあるようだがよくわかっていない。 コンテナ消した時に勝手に破棄される場合もあってよくわからないので、ホスト側のディレクトリをコンテナ内のディレクトリにマッピングするやつを使いがち。ホスト側のディレクトリが見えているので安心しちゃう。 Data Volume コンテナがいいぞ、と言われたので使っているが、なんでいいのかわかってない。 とにかくよくわからないまま使っている。

この記事では、AWS ECS の配置をプライベートサブネットに置くべきか、パブリックサブネットに置くべきか悩んでいる人に、どちらに置くべきかの判断基準をお伝えできればと思います。 せひ、最後までお読み頂ければと思います。 結論 基本方針としてはパブリックサブネットに置くことを検討し、情報漏えいしたら困るようなデータがあるのであればプライベートサブネットを選択するという流れで問題ないと思います。 理由は、パブリックサブネットの方が構成もシンプルでコストも安いからです。 また、構成がシンプルなので、構築に掛かる工数や管理工数も安くてなります。 どちらかが毎回必ず正解というわけではないので、自分がどういう状況に置かれているのかを考えて配置を変えれれば良いと思います。 私の場合の判断基準となるポイントは下記の通りです。 セキュアな環境である必要があるか？コスト（人件費やインフラ費）が許容範囲内であ

アドテクエンジニアを生業にしてます。AWSとかアプリケーション、設計全般好きです。

概要 Docker コンテナの原則として「1コンテナ1プロセス」1というものがありますが、あえてこの原則を破りたいときがあるかもしれません。 公式: Run multiple services in a container 有志翻訳: コンテナー内での複数サービス起動 上記ドキュメントのラッパースクリプトを利用する方法には重大な問題があり、本番環境で使用するべきではありません。 (よりによって「本番環境でのアプリ運用」の項目にある) 公式ドキュメントに書かれているのに、死ぬというのはおかしいじゃないか それが罠だという証拠 ちなみに supervisord を利用する方法は問題ありません。 また、コンテナ向けに最適化された s6-overlay2 を利用する方法もあります。 ラッパースクリプトの問題点 プロセスの graceful shutdown が実行されない(プロセスに SIGKIL

AWS Step Functions+Amazon ECS(Fargate)をイベントトリガーで実行するときにハマるポイントAWSECSAmazonECSstepfunctions AWS Step FunctionsでAmazon S3のイベントをトリガーにしたときにいろいろとハマったのでメモ。 ハマる構成 下記を参考にAmazon S3(S3)イベントをトリガーにAWS Step Functions(Step Functions)のステートマシンが実行される構成を作ってみました。 Amazon S3​ イベント発生時にステートマシンの実行を開始する - AWS Step Functions https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/tutorial-cloudwatch-events-s3.html 構成はこん

サーバーの管理が不要なコンテナの実行環境。 ECSというコンテナオーケストレーションサービスを使うときに、FargateかEC2のどちらで環境を用意するかを選択する必要があります。Fargateの利点は、クラスター管理が不要で、CPUとメモリを指定するだけで済むところ。そのかわりに、GPUインスタンスが使えなかったり、割高だったりします。 大幅な値下げによって、EC2との価格差は縮まりつつありますが、リザーブドインスタンスやスポットインスタンスと比べてしまうと分が悪いので、運用が楽になるメリットと天秤にかけて、どちらにするかを選ぶと良いのでは。 function calc(row, priceList) { const unit = toNumber(row.unit) const hours = toNumber(row.hours) const cpu = toNumber(row.c

※ 東京リージョン - 110円/ドル - 30.5日 × 24時間 手軽に料金を知りたいときに Fargate | ざっくりAWS 細かい計算方法はいいから料金を知りたいという方は、Webサイトで手軽に算出できるようにしたので使ってみてください。東京リージョン限定ですが、サクッと料金を算出できます。 計算するときに考慮すべき変数 タスクに割り当てたリソースと、タスク数、稼働時間と外部へのデータ転送量で料金が決まります。 他のサービスと連携した場合はそちらでも課金されますが、本筋から外れるので無視します。 vCPU/メモリ Pricing is based on requested vCPU and memory resources for the Task 割り当てるvCPU/メモリのリソースによって料金が変わります。ひとつ注意が必要なのが、vCPUに対するメモリの選択肢が決まっているの