はてなブックマーク

SREチーム(新卒)の市川恭佑です。今回は、Tonamelという自社サービス(Web)において負荷試験を導入した事例を紹介します。 このエントリは「先送りされがちな負荷試験の導入について心理的なハードルを下げる」ことを目的としています。 そのため、事例紹介と銘打っていますが、列挙される事実の独立性よりも文脈性を優先しています。 表現が少し冗長に感じるかもしれませんが、負荷試験について距離感を感じている方は是非お付き合いください。 負荷試験を導入するに至った経緯 Tonamelは、本格的なリリースから5年以上という、比較的長い運用歴を持つサービスです。 まず、何故このタイミングで負荷試験を導入することになったのかについて、その経緯を説明します。 ポストモーテムによる気づき（文化的な土台） 今年の3月に公開されたエントリにもあるように、カヤックでは着実にポストモーテム文化が浸透しつつあります。

SREチームの池田 です 2022年11月11日に、PR TIMES さんとカヤックのエンジニアで、オンライン合同勉強会を開催しました。 この合同勉強会は第2回目の開催となります。1回目はちょうど1年前くらいの2021年11月4日に開催されました。 第1回に関しては以下をご参照ください。 techblog.kayac.com developers.prtimes.jp テーマと発表内容 勉強会の趣旨は第1回と同様でした。 同業他社のエンジニアと知り合う機会を作る 登壇者は特に若手に限らず、募集しました。 今回の裏テーマは『芸術的だなとか、褒められたいとか、偉業だよなとかで、なんかとにかく人に話したい話』になり、話したいことがある人に集まっていただきました。 以下が実際の勉強会のタイムテーブルです。 17:00~17:05 オープニング 17:05~17:15 Rubyサーバアプリケーション

SREチームの橋本です。今回はステージング環境の運用でありがちな本番との差分に対処する試みを紹介します。 背景 ステージング環境について、例えばIT用語辞典では ステージング環境とは、情報システムやソフトウェアの開発の最終段階で検証用に用意される、実際の運用環境と変わらない環境のこと。 と説明しています。検証用ですから、インフラ面で言っても本番環境となるべく一致した構成であってほしいということになります。 しかし実際にはさまざまな経緯（ステージング環境を後から立てたり！）から、たとえTerraform管理していたとしても差異が発生してしまうことがあります。 こうしたとき、その差異を検出する一つの方法としてはTerraformの.tfファイルを比較することですが、これにもいろいろな書き方がありえます。 例えばaws_db_proxy_endpointはterraform-provider-a

SREチームの長田です。 今回はカヤックで運用している「まちのコイン」というプロダクトのアプリケーション基盤を Amazon EKS(以下EKS)からAmazon ECS(以下ECS)に移行したはなしをします。 まちのコインとは coin.machino.co www.kayac.com まちのコインはカヤックが運営している、デジタル地域通貨を使ってその地域のコミュニティを活性化させるサービスです。 2019年11月から実証実験を開始し、翌年2月から正式リリースされました。 2022年9月現在、20の地域に導入されています。 一般ユーザーが使用するクライアントアプリと、導入地域の運営団体が使用するブラウザ用の管理画面、 それらにAPIを提供するRailsサーバーアプリがあります。 データベースはAmazon Aurora PostgreSQL、 その他AWSのマネージドサービスを組み合わせ

SREチームの藤原です。今回は、AWSのコンテナレジストリであるAmazon ECRから、不要になったコンテナイメージを安全に削除するツールをOSSとして作った話です。 Amazon ECRのライフサイクルポリシーでは、設定によっては実際に利用中のイメージを削除してしまうことがあります 現在利用中のイメージを避けて、それ以外の不要なイメージを安全に削除できるCLIツールをOSSとして作成しました Amazon ECSとECRでのイメージ運用 カヤックでは、コンテナのオーケストレーションにAmazon ECSを主に使用しています。ECSにタスクをデプロイする場合は、イメージのタグにアプリケーションのGitリポジトリのコミットハッシュ(git log -1 --format=%Hで計算した値)を付与してAmazon ECRにpushし、タスク定義ではそのタグを含めたURLを指定しています。 例

皆様こんにちは、カヤックのやましんです。 本選出場された皆様おめでとうございます！ なんと今回のISUCONはサイバーエージェント様とカヤックで出題しており、その関係で本選出場者に送られるノベルティをご用意させていただきました。 このブログではそれらにまつわる話をご紹介できればと思います。 なお、予選問題はカヤックの作問チームが担当していまして、本題に入る前にISUCON12予選について少し触れさせてください。 ISUCON12予選のおさらい 予選リポジトリ https://github.com/isucon/isucon12-qualify 予選の講評 https://isucon.net/archives/56850281.html 予選紹介動画 www.youtube.com 予選紹介動画、とてもかっこいいですね！ お題がマルチテナントSaaSということですが、弊社の2つのサービス

カヤックSREの池田です。 先月は、カヤックのプロダクトの一つ『Tonamel』で導入したエラーバジェット算出ツール『shimesaba』の話をしました。 techblog.kayac.com github.com 今回は、実際にどのようにSLI/SLOを運用しているのか？という内容をshimesabaを使った設定例を交えつつ話します。 SLI/SLOの運用にお悩みの方の助けになれば幸いです。 最初のSLI/SLOはどう決定したのか？ SLI/SLOの運用を始めるにあたって、多くの人が悩むのは以下の２つだと思います。 一体何をSLIとすれば良いのか？ 最初のSLOはどのくらいにしたら良いのか？ つまりは、最初の1歩をどうしたら良いか？と言う話ですが、こちらに関しては２つ参考になるものがあります。 『SLO決定のためのArt of SLO』 https://sre-next.dev/2022

カヤックSREの池田です。今回は、カヤックのプロダクトの一つ『Tonamel』で導入したエラーバジェット算出ツール shimesabaの話をします。 shimesabaとは？ github.com shimesabaは監視サービスであるMackerelを用いて、エラーバジェットを計算しサービスメトリックとして投稿することでSLI/SLOの運用を助けるツールです。 このツールを用いることで、以下のようなグラフが得られます。 この図の上部は、エラーバジェットの使用率=信頼性の損失率の推移を表すグラフになっています。 この図の下部は、エラーバジェットをいつ？どのくらい？損失したのかを表すグラフになっています。 一言で、エラーバジェットと言ってもいくつかの計算方法が存在します。 今のところshimesabaでは、Rolling windowのコンプライアンス期間で、Windows-based SL

みなさんこんにちは〜! 技術ブログではとてもお久しぶりの acidlemon です。 さて、今年もISUCONの季節がやってきましたね。 ISUCONは、ざっくりいうとLINEが主催する、Webアプリケーションのスピードアップコンテストです。「いい感じにスピードアップコンテスト」なので略してISUCONという感じです。詳しくは 公式サイトを読んでもらうのがよいですが、毎年カヤックもコンテストの参加者だったり出題者だったり優勝者だったりといった形で関わっております。 これまでの開催と、今年の開催はどのような感じになっているかというと… そういえば公開情報をまとめてみた。 過去11回まででISUCONに参加された方は延べ9207名、そのうち優勝経験者は21名。最多優勝は @sugyan @fujiwara の4回でタイ記録。 #ISUCON本 pic.twitter.com/jFFTtUXHn

SREチーム(新卒)の市川恭佑です。 カヤックのサービスでは、信頼性の担保を目的として、ステージング環境を作成する方針を取っています。 ステージング環境では、検証の精度を高めるために、量・質ともに本番環境に類似したデータベースが求められる局面が頻出します。 そこで今回は、Tonamel という自社サービスにおける、検証用データベースの立ち上げを自動化する取り組みについて紹介します。 サービスの置かれていた状況と解決方針 Tonamel の実行基盤は Amazon Web Services (AWS) 上にあり、本番環境とステージング環境は別のアカウントとして、同一の AWS Organizations 組織内に構築されています。 もともと、ステージング環境では、本番環境のデータは利用せず、手作業でダミーデータを作成していました。 それゆえに、データベースに格納されているデータ量は本番環境と

カヤックSREの今です。 今年も4月に新卒社員を迎え、4月の後半には技術部研修を行いました。 技術部研修の締めには毎年なにかしらのイベントを行うのが恒例になっており、昨年は社内CTFを開催しました。 今年は、カヤックでは2年ぶりとなる社内ISUCONを開催しました。 新卒のみなさんはオフィスへ集まってもらいました ISUCON1とは Iikanjini Speed Up CONtestの略で、出題されたwebサービスを競技時間内にいい感じにスピードアップするコンテストです。 参加者にはWebサービスが動作する環境と初期実装のソースコード、MySQL等などのソフトウェアの初期設定ファイルが配布されます。 制限時間内でWebサービスの動作が変わらないように変更を加えて、最終的にベンチマーカーが計測するWebサービスのスコアを競います。 Webサービスの構成は問題によって変わります。アプリケーシ

SREチームの橋本です。 アジャイル開発（ウォーターフォールとの対比の意味で）では「ドキュメントを書かない」、とまで言う人はなかなかいないと思いますが、「コードを読めばOK」といった声は実際の開発者からも聞こえることがあります。 ただ現場でドキュメントにより労力が削減できる場面は間違いなく存在し、またそのときには、軽いメモ程度のドキュメントでも間違いなく役に立つものではないでしょうか。 ややメンタル寄りの内容にはなりますが、ここではそうした観点からドキュメンテーションの「ミニマムスタート」を提案したいと思います。 何のためのドキュメント？ 要件定義書、基本設計書、詳細設計書……こうした「ドキュメント」を基盤として開発を行うウォーターフォールモデルの開発と比べれば、アジャイルではドキュメントが必須でない、というのは確かにそうでしょう。 しかし何の役にも立たないのか？　と言えばそれは間違いなく

こんにちは。技術部平山です。 去年の末、「本格相撲ゲーム（仮）」なるtwitterアカウント が、相撲のようなもののゲーム動画をアップロードしておりましたが、 アレの開発に関わっていたので、そのあたりのお話をしようかと思います。 また、これが後々別の製品の元になっておりまして、そのあたりについても最後に触れます。 なお、ソースコード及びビルドをgithubにて 公開しておりますので、よろしければどうぞ。 ビルドはリリースページにあります。 残念ながら力士モデルやアニメーション、効果音等は購入したもので 再配布できませんので、ソースコードからは削除してあります。 音は鳴らないだけですが、人体モデルがない状態では動きませんので、 代わりにユニティちゃんを入れておきました。 企画の経緯 元々この企画は、社内イベント向けのものです。 「プレゼン対決で勝った企画は72時間の業務時間を使って開発できる

SREチームの長田です。 5/14(土)・5/15(日)に開催される「SRE NEXT 2022」にカヤックSREチームの藤原が登壇します。 sre-next.dev 「1年間のポストモーテム運用と、そこから生まれたツールsre-advisor」というタイトルでポストモーテムの運用と、 そこから生まれたツールについて紹介させていただきます。 sre-next.dev カヤックではSREが関わっている社内の複数プロダクトで、ポストモーテムを2020年末から運用してきました。 社内には多数のプロダクトがあるため、エンジニアは自分が関わっているもの以外の事故や事例に疎くなりがちでした。ポストモーテムの運用を通して、それがどう変わっていったかを紹介します。 ポストモーテムからは、普段は問題なく動いていても高負荷時や長期間の運用で問題になる、インフラやミドルウェアの設定が要因として見つかることもあり

SREチームの藤原です。今回は、SREチームが主導してポストモーテムを書く取り組みを、社内で1年半ほど運用してみたという話です。 ポストモーテムとは? 「ポストモーテム」(postmortem=事後検証)とは、システムにインシデントが発生したことによる影響、緩和や解決のために取られた行動、インシデントの原因、再発防止策などをまとめた文書です。 カヤックのSREチームは、各メンバーがそれぞれのプロダクトに参加し、他のエンジニアとともに開発と運用を行う、いわゆる「Embedded SRE」という形態を取っています。そのため、SREチームのメンバーでも自分が関わっていないプロダクトで発生したインシデントについては詳しく把握できないことがありました。SRE以外で運用に携わっている、プロダクト専任のサーバーサイドエンジニアにはなおさら困難でした。 また、インシデント発生時に実際に手を動かす人がどうし

SREチームの今です。 カヤックでは、クラウドリソースの管理にはTerraformを利用することが多いです。 クラウドリソースの構成や設定をコードで管理することで、リソースの変更内容の差分をレビューできる、意図しない設定変更を発見できるなどの利点があり、SREの目的であるサービスを安定して提供する上で重要な要素の一つです。 実際の作業として、既に運用中のサービスを新たにTerraform管理下に置く場合や、多くのリソースが既にweb consoleから作成されているものをTerraform管理下に追加する場合も多いと思います。 その際にはTerraform importをする必要があります。しかし、Terraform importは単純作業とはいえ時間と手間がかかり、優先順位を下げてついつい後回しにしてしまうことも多いのではないでしょうか。 今回は、手作業でTerraform import

SREチームの長田です。 今回は私が所属している「カヤックのSREチーム」について紹介します。 SREとは Site Reliability Engineering の略です。 「サイト信頼性エンジニアリング」と訳されることが多いようです。 同名の書籍(いわゆるSRE本)が出版されたことから、SREという言葉が一般的に使われるようになったようです。 www.oreilly.co.jp この記事ではSREそのものについての説明は省きます。 ざっくり一言で説明すると、「サイト(サービス)の信頼性を技術の力で担保すること」のようになるでしょうか。 SREの何たるかのより詳しい説明については上記のSRE本や、提唱元であるGoogleのサイト(英語)を参照してください。 sre.google カヤックのSREチーム カヤックのSREチームは2018年に発足しました。 当初は3名体制でしたが、メンバー

シャン　シャン　シャン　シャン　....... シャン　シャン　シャン　シャン　....... Happy merry Christmas ★ ご機嫌よう！ この記事は Tech KAYAC Advent Calendar 2021 25日目の記事です! とうとう最終日になりました。 はじめまして、カヤックのクライアントワーク事業部デザイナーの ベル、こと鈴木菜々子です！ 21年入社の新卒です。 鈴木の鈴、からベルって呼ばれてます！単純！ りんりん ところで、カヤック意匠部では、毎日の勉強会が開催されているんですね。 そこでは、デザイナーもエンジニアもできるスーパー先輩が、 3Dモデリングの方法や、サイト制作に関するあれこれなどを伝授してくださいます。 なんて素晴らしい会なんでしょう。 その会で、今年10月から行われていたのが.... そう！JavaScript！！ その講座で三ヶ月で学ん

この記事は Tech KAYAC Advent Calendar 2021 の24日目の記事です。 こんにちは！ 意匠部のおばらです。 今日はUVアニメーションのお話です。 目次 UVとは？ なぜ`U`と`V`なのか 本題 タイヤはただくるくる回せば良いけど履帯は。。。 UVアニメーション UVアニメーションの仕組み Three.js でUVアニメーション JavaScript 頂点シェーダ フラグメントシェーダ UVアニメーションの応用 まずは動かしてみる JavaScript 頂点シェーダ フラグメントシェーダ 頂点座標の時間経過をテクスチャに格納する 頂点シェーダ（X座標用） フラグメントシェーダ（X座標用） まとめ UVとは？ 3Dの世界でUVといえばUV座標のことです。 UV座標は頂点の3次元座標がテクスチャ上のどの位置に対応するかを表す2次元座標。 きれいなUVだね〜とか、UV

この記事は Tech KAYAC Advent Calendar 2021 の23日目の記事です。 技術部2年目サーバサイドエンジニアのkolukuです。 2年経っても未だにコロナ下にある昨今、去年から引き続きリモートワークを行っている会社も多いのではないでしょうか？自分自身も入社直後からリモートワークで人と接点が無く、時々他の社員はどんなふうに仕事をしているのか思いふけることがあります。 リモートワークといえば、昨年はリモートワークでこう仕事しています！という紹介記事がたくさんありました。それを思い出した自分は社内で「2年かけて熟成されたリモートワーク環境のデスクを見てみたいので、なるべくありのままの状態を見てみたい」という要望で募集したところ、なんと14名も本企画に参加いただけました！ エンジニア編 エンジニアのデスクと聞くと「とにかくモニターがいっぱいに並んでいそう」「ガジェットでご

この記事はKAYAC Advent Calendar 2021の22日目の記事になります。 こんにちは！ハイカジチームの深澤と申します。 今回は実際の業務とは関係なく、自由研究的にやってみたことの記事になります。 数ヶ月ほど前に iOS15, macOS Monterey が登場し、ついに iOS / macOS ともに safari で WebGL2 が標準で使えるようになりました。この出来事はWebフロント界隈からするととても嬉しいお知らせでした。 そのことを思い出し、アドベントカレンダーでは WebGL2を使った何かを題材にしようと決め、前々からやってみたかった「ブラウザでCPUベースでレイトレをし3Dモデルを表示する」ことに取り組んでみたという経緯になります。 ここでいう「CPUベース」とは、「レイトレのピクセル計算をjavarcript側で行うこと」を指します。 目次 目次 はじ

この記事は Tech KAYAC Advent Calendar 2021 の21日目の記事です。 こんにちは！意匠部のおばらです。 今回は アドベントカレンダー14日目の記事 でご紹介した 「すき焼きの写真にすき焼きの3Dモデルなど任意のファイルをバイナリとして埋め込む方法」 の解説記事です。 【解説編】すき焼きの写真にすき焼きの3Dモデルを埋め込む方法 techblog.kayac.com 任意のファイルを ArrayBuffer として取得する fetch() を使う場合 See the Pen sukiyaki.lib.urlToArrayBuffer.jsm by Tohl SMALLFIELD (@tsmallfield) on CodePen. これだけ！便利な時代になりました。 XMLHttpRequest と overrideMimeType('text/plain; c

この記事は Tech KAYAC Advent Calendar 2021 の20日目の記事です。 こんにちは、バックエンドエンジニアの @commojun です。今年のTech KAYAC Advent Calendarは3度めの参戦です！よろしくお願いいたします！ 本日の記事は、昨年の記事の続きで、Amazon EC2のプロダクトをAmazon ECS構成へと乗り換えた話になります！ techblog.kayac.com 目次 目次 背景 Amazon Linuxのサポート終了 ついでにPerlのバージョンもあげた 苦労したポイント 1，デプロイ方法がめっちゃ変わる デプロイのために都度コンテナイメージを焼く 2階建て作戦 2，batchサーバどうするの問題 sqsjfr + SQS + sqsjkr 作戦 3，泥臭い戦い ecspressoの存在 非エンジニアにもわかってもらおう 「

SREチームの長田です。 KAYAC Advent Calendar 2021の16日目です。 今回はSREとはあんまり関係ないエディタのおはなしです。 TL;DR プロジェクトとしてまとまっているものはVisual Studio Code 単体のテキストファイルはEmacs 登場人物 Emacs www.gnu.org ほぼEmacs一本で生活していた Spacemacsを導入してからはカスタマイズコストも下がって快適に Visual Studio Code code.visualstudio.com (以下VSCodeと表記) 今年の9月頃からメインの開発用エディタとして使用中 前から軽く触ってはいたけど、やりたいことやるために設定ちょっといじっては放置を繰り返していた なぜVSCode使うようになったのか 開発環境をリモート化したい*1、というのが一番の理由です。 GitHubのCo

魔改造された様子 この記事は KAYAC Advent Calendar 2021 17日目の記事です。 昨日はみんとさんによる Unityを用いた肉体の進化について でした。 この記事をざっくり要約すると GitHubのIssue, Pull Requestにつけられる👎リアクションは、目にするとしんどくなる時がある ユーザーCSSで絵文字を魔改造して、見た目のしんどさを軽減してみた 魔改造を簡単に試せるChrome拡張も作ってみました chrome.google.com はじめに こんにちは！技術部の熊谷です。TonamelというWebサービスでフロントエンドエンジニアをやっています。Nuxt.jsをComposition APIで書きつつ、最近は新規機能開発におけるコンポーネントのパフォーマンス改善に取り組んでいます。リリースされたら技術ブログにその件もぜひ書いてみたいですね。 T

完成したイラスト 絵師、憧れますよね。 私は普段主にunityの実装やらテクニカルディレクションやらの仕事をしていますが、幼き頃は絵描きになりたいとか漫画家になりたいとか思っちゃってるような典型的なお絵描き少年でして、今でも時折思い出したように絵の練習をしたりするわけです。 さて、カヤックには、そんな絵描きワナビーから本職のグラフィッカーまで、スキルを問わず趣味のお絵描きを投稿してはいいねスタンプをつけるというclub_oekakiというSlackチャンネルがあります。 私も何か絵を作ったら投稿して自尊心を高めていたのですが、 ある日つくっていいとも運営の人からこんな募集が来ました。 表紙画像募集 小さい発表の機会があることはいいことですね。ということでこの募集に反応したところ依頼を受け、 最終的に出来上がったのが冒頭のgif画像です。 本記事では、この画像をどのように作ったのかを解説しま

この記事は Tech KAYAC Advent Calendar 2021の14日目の記事です。 こんにちは！意匠部のおばらです。 今日は、知っていても役に立たないかもしれない、 WEBページでの画像の変な使い方をご紹介しようと思います。 題して「すき焼きの写真にすき焼きの3Dモデルを埋め込む方法」です。 すき焼きの写真にすき焼きの3Dモデルを埋め込む方法 WEBページで読み込んでいるファイルは全部丸見え！ ブラウザのデベロッパーツール、便利ですよね。 特に Network や Source タブ。 読み込んでいるファイルがぜ〜んぶ丸見えです。 いけてるWEBサイトを見つけたら どうやって作ってるんだろう？ ふむふむ、3D部分はThree.jsで、モデルはglTFか〜 お、テクスチャはKTXを使ってる！ みたいに調べちゃいますよね？？ そう、デベロッパーツールは 覗く側としては、すご〜く勉

この記事はTech KAYAC Advent Calendar 2021の13日目の記事になります。 こんにちは！技術部ひめのです。 最近はDARK SOULS IIIを今更ながらはじめ、死んではうなる日々を繰り返しています。 今年からTonamelというサービスのフロントエンドを担当しており、ひとつのプロダクトにフロントエンドに複数の開発環境がある状況での開発をやっています。 そこで感じたTypeScriptとコンポーネント開発におけるよいところと改善点について、アドベントカレンダーというタイミングでまとめておこうと思います。 Tonamelとは Tonamelはトーナメント開催プラットフォームです。 大会の開催と進行をかんたんにするために、さまざまな大会形式や機能を提供しています。 2016年7月からサービスを開始し、今年で6年目を迎えたウェブアプリケーションです。 tonamel.c