この記事は Money Forward Engineering 2 Advent Calendar 2023 の記事です。 こんにちは！tatsuo48 です。 マネーフォワードのサービス基盤本部には私が所属する Enabling SRE というチームがあります。 この記事では、以前に紹介された組織に SRE の文化を作り上げていく Enabling SREの内容にも触れながら、Enabling SRE の現在地点と今後の方向性について詳しくお話ししていきます。 Enabling SRE とは Enabling SRE の目的は組織に SRE の文化を作り上げていく Enabling SRE にある通り、以下のギャップを埋めていくことにあります。 各プロダクトの開発チームは、自分たちで開発のサイクルを回し、非機能面も含めて見るべきだと考えている。しかしながら、権限を渡されても非機能面を見て

こんにちは、虎の穴ラボNSSです。 今まで私は、サーバーレスの勉強の一環として、AWS Lambdaを使ったWebアプリケーションの作成方法を、本ブログやとらラボの同人誌等で紹介してきました。 しかし、サーバーレスに関するサービスはAWS Lambdaだけではなく、他にもたくさんあります。 その中で今回は、AWS Fargate（以下Fargate）を使って、2020年5月時点の最新Rails開発環境をFargateで作って見たいと思います。 ...と思っていたのですが、Fargateを利用するには、いくつか前提となる知識が必要になることがわかりました。 前提となる知識は、 コンテナ・Dockerの知識 Amazon ECR、ECSの知識 Fargateの知識 などです。 全てを説明すると長くなってしまうので、何回かに分けて説明していきたいと思います。 何回になるかわかりませんが、最終的に

Nodeのパッケージマネージャーであるnpmにはnpxというコマンドが同梱されています。これまであまり使ってこなかったのですが、調べてみたらとても便利なコマンドだったので使い方などをお届けします。 こんにちは。サービスグループの武田です。 Nodeは現代のフロントエンド開発にはなくてはならない存在となりました。またクラスメソッド社内で静かなブームとなっているAWS CDKでの開発もNodeを利用します。そのCDKプロジェクトのひな型を作成する際に、npxコマンドを使用している例をよく見かけたのですが、そういえばこのコマンドよく知らないな？ということで調べてみました。 検証環境 次の環境で検証しています。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.5 BuildVersion: 18F132 $ node -v v10.16.

はじめに AWSチームのすずきです。 AWS構成図の作成に便利なAWSシンプルアイコンが、装いも新たに AWS Architecture Icons としてリリースされました。 従来のAWSシンプルアイコン(2017版)との違いを確認する機会がありましたので、紹介させていただきます。 公式ページ AWS Architecture Icons ダウンロードリンク PowerPoint 用 AWS アーキテクチャアイコン AWS-Architecture-Icons-Deck_20181009.pptx AWS_Simple_Icons_PPT_v17.1.19.zip 比較 AWS Architecture Icons のページ別に、2017年のAWSシンプルアイコンとの差異を確認してみました。 Analytics Glueと、Kinesis Video Streamsのアイコンが追加されま

クラスメソッドでは、定期的にエンジニアから営業向けの勉強会を行なっています。先日、セキュリティに関する勉強会を行いました。せっかくなので、皆さんにも資料を共有します。 クラスメソッドでは、定期的にエンジニアから営業向けの勉強会を行なっています。先日、セキュリティに関する勉強会を行いました。せっかくなので、皆さんにも資料を共有します。 セキュリティはなぜ難しいのか？ セキュリティに関するAWSサービスはたくさんあり、またパートナー製品も数多くリリースされています。 セキュリティのために何をすればいいのかよくわらない方も多いかと思います。 なぜセキュリティは複雑で難しいのでしょうか？ 私たち自身のセキュリティについて考えてみる AWSのセキュリティを考える前に、私たち自身のセキュリティについて考えてみましょう。 私は今、会社の会議室に同僚といます。 皆さんも会社の会議室にいるシチュエーションを

ネットワーク状態を確認するためのコマンド、設定ファイルについて解説します。サーバーに接続できないとき、開いているポートを知りたいときなどに役立つ情報です。 $ ifconfig -a eth0 Link encap:Ethernet HWaddr XX:XX:XX:XX:XX:XX inet addr:XXX.XXX.XXX.XXX Bcast:XXX.XXX.XXX.255 Mask:255.255.255.0 inet6 addr: XXXX::XXXX:XXXX:XXXX:XXXX/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9001 Metric:1 RX packets:1725009881 errors:0 dropped:0 overruns:0 frame:0 TX packets:1576295375 errors:0

こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われていますので、システムがオンラインのときに動作するバッチプログラムについてのみ議論します。 過去の記事はこちらにあります。 運用に備えて バッチプログラムの運用について、「プリモーテム」「実行管理」そして「ログ管理」の3点について述べていきます。 プリモーテム ポストモーテムという言葉を聞いたことがある方はいらっしゃるかと思います。ポストモーテムとは、GoogleのSRE本の15章*1によれば、障害などの失敗を振り返り、今後に活かすプロセスの総称と捉えることができます。 さて、プリモーテム(プリモータム)とは何でしょうか。この言葉は、私が最近読んだThe Manager’s Path*2*3で使

こんにちは。大阪の市田です。 今回はコマンドラインの実行を簡単に実行できるスニペットマネージャをご紹介します。 背景 覚えられないコマンドの存在 普段の業務では、MacからAWS CLIの実行やサーバへのログインなどを行っています。 しかし、どうしても覚えられないコマンドってありますよね？ 例えば、AWS CLIでオプションをたくさん付けたり、jqで書式を整理して実行したりする時、どうしてもコマンドが長くなってしまいます。 下記は、EC2インスタンスに対して、インスタンスタイプとプライベートIP、Nameタグの内容を表示するAWS CLIの内容です。 aws ec2 describe-instances | jq -r '.Reservations[].Instances[] | .InstanceType + "\t" + .PrivateIpAddress + "\t" + (.Tag

こんにちは、サーバーサイドエンジニアのjoooee0000です。 delyはデータ基盤としてAWS Athenaを使っており、ユーザーの行動ログからアプリケーションのアクセスログまで、様々なログがAWS Athena上に存在しています。AWS AthenaはS3上にあるデータソースをprestoのクエリ記法で引けるようになっていてとても便利です。 クラシルの分析基盤の歴史に興味がある方は、この記事にまとまっているので参照してみてください。クラシルの分析基盤はデータサイエンスチームが主体となって今も改善を続けています！ tech.dely.jp 今回は、AWS SDK for Rubyを使ってAthenaのクエリを実行する記事が1本もなかったので書きました。また、本記事では並列処理ではなく、シンプルな1クエリを引くsync処理の場合について紹介します。 AWS Athena SDKの特徴 A

どうも品質管理部エンジニアチームの木村です。 最近の話ではないんですがWeb UIテスト自動化をしようとなった時の事を書きます。 まずは初期段階の実行環境についてです、自動テストスクリプトの構築や処理そのものはまた次回。 Seleniumでテストを自動化したい！ ZOZOTOWN に限らず最近のサービスはなんでもリリース頻度が高いです。 そして何故なのか、いついかなる時も、開発スケジュールは押し気味になります。 これは業界七不思議の1つです。たぶん。 品質管理部としてのテストは開発スケジュールの一番最後に置かれます。 つまり…短期決戦必須となります…。 そんなよくある話からSeleniumを使ってWeb UIテストを自動にしたいという流れになりました。 リリース頻度が高ければ高いほど、リグレッションテストはおろそかになると思うので、そこを自動テストで改善できると素敵です。 じゃあ自動テスト

こんにちは！ ZOZOテクノロジーズ開発部の塩崎です。 この記事ではCloudFormationにDBのマスタパスワードなどの秘密情報を渡す3つの方法を説明いたします。 前提 我々のチームではAWSインフラリソースのプロビジョニングにCloudFormationを使用しています。 CloudFormationのテンプレートファイルはGitHubでバージョン管理されており、スタックに対するチェンジセットの作成をCircleCIから行っています。 このあたりの詳細は以下の記事に書かれているため、詳細はそちらをごらんください。 techblog.zozo.com 課題 このような方法でCloudFormationテンプレートを管理していましたが、それに伴う課題が生まれました。 DBのマスタパスワードなどの情報をどのようにして渡すかということです。 テンプレート内で使用するためのパラメーターは以下

※: 本表は現在確認できる情報から筆者が独自に作成しています。 注意 Aurora ServerlessのData APIは現在Beta版のため、変更される可能性があります。 Data APIではトランザクションはサポートされません。 レスポンスは最大1,000行で1MBのサイズ制限があります。 現在利用可能なリージョンは米国東部 (バージニア北部)のみです。 コネクションは最大1分でタイムアウトします。 認証情報はSecrets Managerを使ってDBに接続します。 やってみた 事前設定 以下の状態を前提とします。 リージョン: 米国東部 (バージニア北部) Auroraエンジン: Aurora Serverless 5.6.10a まず、Aurora Serverlessを起動します。Aurora Serverlessの起動方法は以下のエントリを御覧ください。 Aurora Ser

MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。 utf8 を使ってしまった場合に4バイト文字がどのように扱われるか、自分でもうろ覚えだったのでメモしておきます。 登録 接続が utf8mb4 でカラムが utf8mb4 あたりまえですが、そのまま登録されます。 mysql> insert into utf8mb4 (c) values ('美味しい🍣と🍺'); mysql> select * from utf8mb4; +--------

こんにちは、最近気になっている哺乳類はオリンギートな、開発部の塩崎です。 私の所属しているMarketingAutomationチームではRealtimeMarketingシステムの開発運用を行っております。 このシステムはZOZOTOWNのユーザーに対してメールやLINEなどのコミュニケーションチャンネルを使い情報の配信を行うものです。 メルマガの配信数や開封数などの数値は自動的に集計され、BIツールであるRedashによってモニタリングされています。 このRedashは社内PCによってホスティングされていましたが、運用面で辛い部分が多々あったためパブリッククラウドに移行しました。 移行先のクラウドはawsを選択し、RedashをホスティングするためのサービスはECS/Fargateを選択しました。 この記事ではawsに構築した環境や、移行作業などを紹介します。 移行前のRedash 移

こんにちは。サーバーサイドエンジニア兼、新米slackBot整備士のjoe (@joooee0000) です。 本記事はdely Advent Calendar 2018の11日目の記事です。 Qiita: https://qiita.com/advent-calendar/2018/dely Adventar: https://adventar.org/calendars/3535 前日は、iOSデザインエンジニアの John が という記事でXcodeのDebugging View Hierarchiesの紹介をしました！ はじめに 皆さんは、触ったことのない技術をプライベートで触ってみたいけど、結局なにを作ろう。と悩んだ結果座学のみになってしまった経験はありませんか？ そんな方がいたら、くだらないslackBotを作って運用をしてみることをおすすめします！ 最近、哲学研究会(怪しげ)

この記事は AWS Lambda Custom Runtimes芸人 Advent Calendar 2018 の19日目です。 qiita.com これは何？ 「Lambdaの中に入ってみたいと思ったことはありませんか？」これはそんな歪んだ願望を叶える試みです。と同時にそれを足がかりにAWS Lambdaというシステムをより深く理解するための検証とその結果を記したものです。 ちなみに毎年恒例？のLambdaのリバースエンジニアリング(?)シリーズです。 2016年 marcy.hatenablog.com 2017年 marcy.hatenablog.com Lambda Custom Runtimesとは Lambda Custom Runtimesは一般的にはAWS Lambdaが公式に対応していないプログラミング言語のRuntimeを動かすための機能です。仕様は以下の通り。 doc

パブリックサブネットに作成する ターゲットは Lambda Aurora Serverless（以降 DB） プライベートサブネットに作成する デフォルトセキュリティグループからの接続を許可する データの登録用 Lambda 関数は今回作成しないので 作業用 EC2 からデータを用意する DB へ接続するために VPC 内のプライベートサブネットで起動させる DB への接続に必要な情報はパラメータストアに置く パブリックネットワークへ接続できないので、パラメータストア接続用の VPC エンドポイントを用意する DB への接続は「PyMySQL」を利用する S3 CSSファイルと画像ファイル（静的なもの）はここに置く CloudFront 以外の外部からの GetObject は許可しない VPC 関連の作成 VPC の CIDR は 10.0.0.0/16 サブネットは以下のように作成（2