はてなブックマーク

こんにちは、インフラエンジニアの綿引です。 今回は AWS CloudWatch で EC2 の Linux プロセスを監視する方法を記載したいと思います。 対象の方は以下のような方でしょうか。 監視運用を導入するまでアラートをウォッチしてしておきたい コストを抑えるためスモールスタートで監視を実施したい 監視の項目に EC2 のプロセス監視も加えたい また CloudWatch での監視にご興味のある方は、過去の CloudWatch 関連記事のリンクを貼っておきますので、こちらもよろしければご覧ください。 ・Amazon CloudWatch + Amazon SNS + AWS Chatbot を使ってアラームを Slack に通知してみる ・CloudWatch で EC2 のメモリ・ディスク使用率を監視する プロセス監視の実装 では早速プロセス監視の実装をしていきます。 今回使用

こんにちは、インフラエンジニアの綿引です。 Webサーバー側で接続元 IP を取得したかったけどよく見ると ELB やプロキシサーバの IP だった、、 という経験をされた方もいらっしゃるのではないでしょうか。 そこで今回は Apache と Nginx で接続元 IP を取得する方法を記載したいと思います。 対象の方は以下のような方でしょうか。 ELB などを使用して運用している 前段にプロキシサーバを配置している Apache の設定方法 環境 環境は以下で検証しております。 CentOS 7 Apache 2.4 実装方法 Apache では mod_remoteip というモジュールを使用します。 Apache 2.4 からは標準で導入されていますが、それ以前のバージョンだと入っていないため Github などからクローンする必要があるようです。 まずは mod_remoteip

こんにちは、エンジニアの久保です。 普段開発で使っているMacの調子が悪くなりました。負荷がかかるとディスプレイが砂嵐になります。つらいです。 使いやすい機種でだいぶ気に入っていたのですが、流石に業務に支障がでてきたので新しいMacに移行しました。 移行のときにやることは、そう、環境構築です。 開発で必要なツールを1つずつインストールしていって、今と同じ環境を構築するのはなかなかの手間がかかります。 毎回困るので、最近は環境を作り込まずほぼデフォルトの状態で使うようにしていたのですが、それでも時間がかかります。 今回は、macOS用のパッケージマネージャ Homebrew の bundle コマンドを使って、ソフトウェアとライブラリのインストールを行ってみました。 Homebrew Bundle（brew bundle）を使うと、パッケージを Brewfile で管理できます。 Homeb

こんにちは、インフラエンジニアの綿引です。 EC2 運用時に いつのまにかディスク使用率が 100% に、、 という経験がある方もいらっしゃるのでないでしょうか。 そこで今回は EC2 の EBS ボリュームを拡張したので、方法を共有したいと思います。 対象の方は以下のような方でしょうか。 EC2 のディスク使用率がそろそろ危ない、、 実施方法 では早速実施していきます。拡張対象の EC2 の情報は以下です。 OS : CentOS 7 拡張対象 : ルートパーティション そしてやる前に 必ずバックアップ を取得しておきましょう。 EBS ボリュームの拡張 まずは EBS ボリュームの拡張を行なっていきます。 マネジメントコンソールの EBS の画面から、拡張対象の EBS ボリュームを選択し 「アクション」 → 「ボリュームの変更」 を選択します。 そして画面遷移後、ボリュームタイプ・サ

こんにちは、インフラエンジニアの綿引です。 「CloudWatch で監視したいけどメモリ・ディスク使用率の監視項目がないじゃない、、」 と悩まれた方もいらっしゃるのではないでしょうか？ そこで今回は CloudWatch で EC2 のメモリ・ディスク使用率を監視する、ということをやってみたいと思います。 対象の方は以下のような方でしょうか。 監視運用を導入するまでアラートをウォッチしてしておきたい コストを抑えるためスモールスタートで監視を実施したい また以下をご参考にいただければ、アラームも Slack に飛ばせるので、一緒に見て頂けると嬉しいです。 参考 : Amazon CloudWatch + Amazon SNS + AWS Chatbot を使ってアラームを Slack に通知してみる 目次 1. CloudWatch エージェント について 1.1. CloudWatch

こんにちは、インフラエンジニアの綿引です。 今回は AWS Backup を使って EC2 と RDS のバックアップを取得してみました。 なかなか面白かったので、AWS Backup の概要も含めてアプトプットさせていただきます。 AWS Backup とは AWS の各サービスのバックアップを一元的に管理できるサービス です。 今までのバックアップは各サービス毎に取得するしかなかったので、 一元管理できるのは嬉しいですね。 AWS Backup で現在までにサポートされているサービスとリソースは以下となっています。 サービス リソース

はじめに エンジニアの久保です。 最近プライベートで海外に行きました。 街中の無料wifiを使うとき、情報検索程度ならよいのですが個人情報を入力するときはセキュリティ面で少し心配です。 また、海外に行った場合は、国内の回線からインターネットに接続したくなることもあります。 そんなときのために、個人的に利用できるVPN（Virtual Private Network）を用意しました。 今回は AWS CLI を使って、Amazon Lightsail 上にVPNサーバをサクッと構築してみます。 利用したもの AWSが提供するVPS（Virtual Private Server）サービスです。 同社の Amazon EC2 に対して次の特徴があります。 ストレージやネットワーク（ロードバランサ、DNSなど）の設定がパッケージされている 月額固定料金 LightsailはEC2に対して、必要な設

こんにちは。ウエディングパーク新卒2年目エンジニアの永井（@__south__373）です。 今年のエンジニア新卒研修を担当させていただいたので、ウエディングパークの新卒研修ではどんなことをしているのか、どうやって進めたのかについて書きたいと思います。 エンジニア研修の概要 ウエディングパークでは毎年4月から6月まで3ヶ月間のエンジニア研修を行い、7月から本配属となります。 3ヶ月間でウエディングパークの開発に必要な基礎知識を学びます。 ディレクターは、エンジニアの仕事内容を知ることにより 開発ディレクション時にスムーズにコミュニケーションが取れるようになるので、 4月のみ一緒にエンジニア研修を受け、5月から本配属となります。 同様にディレクター研修において、エンジニアにも必要な項目は一緒に受けています。 3月中旬頃に研修担当として、私（新卒2年目）と中途1年目の先輩がアサインされました。

こんにちは。フォトウエディングの撮影スタジオ検索サイト「Photorait（フォトレイト）」を担当しているエンジニアの武田(@takedajs)です。 Photorait（フォトレイト）では入稿された画像をリサイズしてから保存し、公開側に合った大きさの画像を表示しています。動的に画像をリサイズする機能をまだ導入していないので、検証も兼ねて実装してみました。 Lambda、API Gateway、ImageMagickを利用した画像リサイズ機能を書いた記事が過去に投稿されていますが、今回の記事では、Lambda@Edgeとsharpを利用した画像リサイズ機能の実装について書きました。 やってみよう！AWSでWEBサーバー環境構築（Lambda|API Gateway|シリーズ第4回） 実装したもの このような構成で画像リサイズ機能を実装しました。 クライアントがwidthとheightのパラ

SREチーム　　エンジニアの阿久津です。 今回はNginxの403 Forbiddenが表示された時のチェックポイントについて記事にしたいと思います。 環境 Vagrant 1.9.5 CentOS Linux release 7.1.1503 (Core) Nginx 1.14.0 前提 設定ファイル /etc/nginx/default.conf DocumentRoot /var/hoge テストページ /var/hoge/index.html 事象 テストページを表示しようとすると403 Forbiddenが表示される。 ①Nginxの再起動をしていない 設定ファイルを変更した場合、Nginxを再起動しないと変更が反映されません。 そのため再起動していない場合は実施します。 ■再起動 $ sudo systemctl restart nginx.service ■リロード Ngin

こんにちは。サーバーサイドエンジニアの杉浦です。 私がGoogle Ads Scripts（旧：GoogleAdwords Script）の開発を始めてから、約半年が経ちました。 今回は、これからGoogle Ads Scriptsの開発をされる方向けに、設計に必要なTipsをご紹介しようと思います。 開発時に考慮すべきこと どのアカウントの情報を取得・操作するか Google Ads Scriptsは、MCCアカウントに対して設定することも出来ますし、各アカウントそれぞれに設定することも出来ます。 そのため、1つのアカウントの情報取得したいのか、複数のアカウントの情報を取得したいのかを開発の前に決める必要があります。 例えば、このような構造をしたアカウントを運用していたとしましょう。 このとき、 1. アカウントA～Eのデータを取得したい⇒MCCアカウント①にscriptを設定 2. ア

こんにちは。サーバーサイドエンジニアの杉浦です。 前回は、Google広告（旧：GoogleAdWords）のデータをキャンペーンパフォーマンスレポートを使って取得する方法をご紹介しました。 今回は、アカウントパフォーマンスレポートから、前日にCVの上がったアカウント一覧をメールで送信する方法をご紹介します。 前提 Google広告を運用しているGoogleアカウントがあること 入門内容 アカウントパフォーマンスレポートより、下記項目を取得し、HTMLメールを送信することを目標とします。 Google広告画面でのイメージとしては、対象MCCアカウントの「アカウント＞掲載結果」に表示される項目を取得します。 アカウントID アカウント名 コンバージョン 表示回数 クリック数 費用 CTR CPC コード /** * 前日にCVが上がったアカウント情報をメールで送信します */ // メールア

こんにちは。エンジニアの阿久津です。 今回はMySQLの mysqldump と mysqlpump という2つのコマンドでバックアップを実施しどちらが速く処理するのか比較してみましたので、それを記事にしたいと思います。 mysqldumpとは 従来のMySQLデータベースのバックアップ/リストアに用いられるコマンドです。 mysqlpumpとは MySQL5.7から追加された新機能で、 mysqldump の次世代となるコマンドです。 機能紹介 1. 並列処理（並列ダンプ） 複数のデータベース・テーブルを並列処理でバックアップすることができます。 MySQLサーバからデータを収集するために複数のスレッドを作成し、そのスレッドがそれぞれMySQLサーバへ接続してデータをまとめるためにキューに取得したデータを挿入する仕組みになっています。 オプションを何も利用せずにデフォルトで mysqlp

デザイナーの山下です。 ＿＿＿∧＿＿＿＿＿＿＿＿＿＿＿＿＿＿ みなさんは日々どのようにデザインをブラッシュアップしていますか？ 師匠や先輩にチェックしてもらう ディレクターにチェックしてもう デザイナー同士でチェックし合う 自力でがんばる と、方法は様々あるかと思います。 ウエディングパークのデザイナーチーム（通称：デザチ）は、 非常にフラットなチームなので、 この人がゼッタイ！！という概念がありません。 そこで選択したのが、デザイナー同士でチェックし合うです。 この取り組みを社内ではデザインレビューと呼んでいます。 デザインレビューを始めて半年以上経ち、 生産性の向上 デザインスキルの向上 と良い面が沢山でてきたので、このナイスな取り組みをご紹介します★ ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿ デザインレビューってどうやっているのか ■レビューに使用しているアプリケーション：Adobe X

こんにちは。SREチーム　　インフラエンジニアの綿引です。 今回は MySQL の透過的暗号化 について記載したいと思います。 因みに透過的暗号化が使用できるのは MySQL 5.7.11 からですのでご認識のほど。 前回 は RDS の暗号化について軽く触れましたが、 その際はWebコンソールからボックスにチェックを入れるだけでした。 今回の MySQL の透過的暗号化を使用する場合には設定が必要です。 では早速やっていきたいと思います。 環境 ・OS : CentOS 7.1 ・データベース : MySQL 5.7.22 設定 まずは暗号化の前に検証用のテストテーブルを作成します。 ・データベース : test ・テーブル : test カラムは適当に id , name とし、2レコードほど、insert しております。 mysql> select * from test.test;

これだけの材料を集めるとこんな感じになりました。 そのままでも美味しそうなラズベリーパイが6個もありますね。 作り方 ネタの下準備 1, ラズパイの開封 まずは、ラズベリーパイを開封します。 傷つけないよう気をつけましょう。 2, ヒートシンク設置 続いてヒートシンクをつけます。両面テープを剥がすのが意外に辛かったです。魚の鱗取りのようでした。 3, 4 段積層式のケースの 下 3 段に Raspberry Pi を取り付け アクリル板の保護シールを剥がします。剥がしづらいと聞いていましたが今回購入のものは、爪を使えば意外と簡単でした。 剥がしたらアクリル板にラズパイを取り付けます。このようにできればOKです。わくわくわく！ その後,2段目、３段目と作ってまいります。おーいい感じ。 4, 最上段に USB 充電器を取り付け 写真のようなかたちでUSB充電器をとりつけます。両面テープでがっち

こんにちは。QAチームでマネージャーをしているエンジニアの斉藤（@saik1010）です。 弊社QAチームで品質向上を目的として取り組んでいる、PythonのWebスクレイピングを使用した自動リンクチェッカー（HTTPステータスコードのチェック）について、 環境構築〜実際にリンクチェックを実行するところまでご紹介しようと思います。 環境 環境 バージョン 1. Pythonのインストール Homebrewを使用し、Python3をインストールします。 汎用性の考えて、バージョン切り替えが容易にできるpyenvを使用します。 pyenvのインストール $ brew install pyenv インストールしたいpythonのバージョンを確認 $ pyenv install --list pythonをインストール $ pyenv install 3.6.4 pythonのバージョン変更 $

こんにちは。SREチーム インフラエンジニアの綿引です。 2018/4/24 に Node.js 10系がリリースされましたね。 （私の誕生日です。） そこで今回は Node.js のアップデートを Ansible を用いて実施する という記事を書きたいと思います。 Node.js のアップデート方法に関しては、 1. 既存の Node.js（過去に yum でインストール）をアンインストール後、 2. Ansible の shell モジュール を用い Node.js を rpm でインストールする という形にしました。 10 系を使うものの Node.js に関しての性能や新機能などの検証は行わないので ご容赦のほどをお願い致します。 Node.js のバージョンについて まず Node.js のバージョンに関してですが、 今回 10系をインストールするにあたって LTS などの用語を

こんにちは。SREチーム エンジニアの阿久津です。 今回は Redash と Superset という2つのツールを比較検証してみましたので それについて記事にしたいと思います。 ツールについて 両者はオープンソースのダッシュボードツールです。 簡単に言うと、DB等のデータを可視化（表やグラフ）してくれるツールになります。 ■Redash 公式サイト : https://redash.io/ ■Superset 公式サイト : https://superset.incubator.apache.org/index.html 比較したこと データソース連携 データ操作 グラフ ダッシュボード 比較まとめ 1. データソース連携 1-1. Redash Typeという項目のプルダウンからデータソースを選択します。 選択したデータソースによって入力する項目が切り替わるので、それに沿って情報を入力

こんにちは。SREチーム インフラエンジニアの綿引です。 今回は Ansible で SSL証明書更新を自動化したみたというお話です。 SSL証明書の更新って時間がかかりますよね。。後ヒューマンエラーも怖い。。 そこで 自動化 出来たら素敵！と思い vagrant で検証してみました。 興味のある方は是非見て頂ければと思います。 環境・構成 環境・構成は以下となっております。 ■ サーバ側設定 ・ ホスト名 : ans ・ IP : 172.19.12.101 ・ 構成管理ツール : ansible/2.4.2.0 ・ （配布用）証明書の保存ディレクトリ : /opt/ansible/ssl/ ■ スレーブ側設定 ・ ホスト名 : anc ・ IP : 172.19.12.102 ・ WEBサーバ : Apache/2.4.6 ・ 証明書の保存ディレクトリ : /etc/httpd/con

こんにちは、岩橋聡吾です。 やってみよう！AWSでWEBサーバー環境構築、久しぶりの続編です。 第4回は「AWS Lambda」「Amazon API Gateway」を使ったサーバーレスな画像リサイズAPIをクラウド上に構築して見たいと思います。 アーキテクチャ・設計概要 今回は以下のようなアーキテクチャで、Clientが指定した任意のサイズの画像を返却するAPIを構築していきます。 ◉S3： クラウドストレージ。 [設計概要] オリジナル画像の置き場を作成。 ◉Lambda： 最低限のプログラムのみでアプリケーションの運用が可能なサーバーレスプラットフォーム。他のAWSサービスと連携が可能。 [設計概要] S3から画像データを受け取り、リサイズを実施、それをBase64形式にして返却されるよう作成。 ◉API Gateway： APIの玄関。手軽に柔軟で拡張的なAPIベースの構築が可能

こんにちは、もうすぐ新卒入社して2年目になる高嶋（@__1016t）です。 わたしはコードレビューで、基本的なコードの書き方やPHPでつかえる便利機能など、たくさん勉強してきました。 今回はその一部をまとめてみました。 1. インデントをそろえる インデントとは？ ソースコードの見た目を整えてくれるもので、 ifやforなど波カッコ{}で囲まれるブロック内の各行をtabキーやスペースで字下げすることをいいます。 ▼インデントなし if ($dessert == 'papico') { for ($i = 0; $i <= 3; $i++) { echo 'デザートはパピコです'; } } else { echo 'デザートはパピコではありません'; } ▼インデントあり if ($dessert == 'papico') { for ($i = 0; $i <= 3; $i++

もくじ 概要 構築手順 プログラム作成〜実行 まとめ 概要 今回は、手元のMacにSelenium+Ruby+Capybaraをインストールして、 手軽でシンプルなブラウザテストの環境を構築していきます。 弊社のメイン言語はPHP/Goを採用しておりますが、両言語ともSeleniumで公式サポートされていないため、将来的な運用保守を考慮して、Rubyを採用しました。 また、RubyにはCapybaraという強力なサードパーティ製のラッパーがあり、かなりシンプル（※1）にSeleniumのコードを書くことができることも１つの大きな選定要因になっています。 ※1 個人的な感覚ですが、ピュアなJavaScriptがjQueryで書けるようになるぐらいの関係性に近い 構築手順 では早速、環境構築をしていきましょう！ HomeBrewのインストール インストールにはHomeBrewを使用すると簡単に

こんにちは。SREチーム インフラエンジニアの綿引です。 MySQL の特定のバージョンをインストールしたい！ だけど yum でさくっとインストールしようとしたら、マイナーバージョンが上がっていて同じにならない。。 なんてことよくありますよね。そうです。先週の私です。 そこで今回は古いバージョンの MySQL を yum インストールする手順を記載したいと思います。 手順 1. 依存関係解決のために、最新のリポジトリを追加する まずは最新のリポジトリをインストールしましょう。 $ cd /etc/yum.repos.d/ $ ls -l $ sudo rpm -ivh http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm $ ls -l 2. wget をインストールする この後ファイルを落としてくるので、