はじめに そもそもDMARCって何？ Googleの発表によってDMARC対応が必要に SaaSの検討 OSSの検討・選定 構成 動作 GmailからGoogle Driveへ格納する XMLをパースしてOpenSearchに格納する Google Driveからコンテナ内にダウンロードする パースと格納 可視化 苦労した点 Gmailの仕様とparsedmarcの相性が悪い OpenSearch突然データが全部消えた 作ってみてよかったこと 今後の運用 はじめに インフラGの鈴木です。ガールズケイリンアニメことリンカイ！の放映が近くなってきましたね。 最近小倉にギャンブル旅行にいったのですが、北九州競輪には等身大パネルがありました。本気(マジ)度が伝わってきます。アニメの放映日が楽しみです。 ところで、今回はDMARCの可視化基盤を作った話をします。なかなか大変1でしたので、共有したいと

こんにちは。転職ドラフトでエンジニアをしている verdy_266 です。 突然ですが、あなたはLTの覇者になりたいと思ったことはありませんか？ 僕はあります。 内容のわかりやすさはもちろんのこと、喋りも上手で百発百中で場を沸かせることのできる人、これを僕は「LTの覇者」と呼んでいます。 LTの覇者は、発表で強い印象を残すことができ、自分の伝えたいことを聴衆に伝えることができるので、懇親会でも話が尽きません。発表内容について新たな知見を得ることができるので、勉強会で持ち帰れることも他の人に比べると多いでしょう。こんな人に、なりたいと思いませんか？ 今回は、ある本を読んで僕がLTの覇者を目指している話をします。 LTは印象が9割 「よいLT」とはなんでしょうか。色々な要素があると思いますが、今回は「どれだけ強い印象を与えられたか」という点にフォーカスしたいと思います。 せいぜい5-10分程度

はじめに CIの概要 出てきた課題と対策 ライブラリのtimeout値が固定値な上に短い ドキュメントにないパラメータがダマで増えた モニターのゾンビ化 想定したように設定が反映されずに手動で変更 YAMLのdiffツール(dyff)の自己主張が激しい 結局CI化するべきだったのか？ 得られたメリット 正直な感想と今後 はじめに インフラGの@yjszkです。先日は青森競輪と盛岡競馬に行ってきて負けました、盛岡のジャンボ焼き鳥が美味しかったです。 さて、前回の記事ではCronitorというサービスのコード化と、CIの構築を行ったことを書きました。 それを実際に運用してみたところ、いくつかの問題が発生しました。今回は、それに対して、現在進行形で苦労している話を書きます。 CIの概要 前回の記事にあるように、CIを構築しました。 GitHub Actionsを使用し、PRにコミットが積まれると

はじめに LET運営の村山と毛利です。 社内の交流を活発にし、お互いの知識を伝搬する機会を設けるために、Livesense Engineer Talk（通称:LET）というチームを運営しています。 今回は、GitHub Copilot for Businessを社内導入して2ヶ月程経ったので、エンジニアにCopilotを使った感想を聞いてみました。 はじめに みんなの感想 ayumu838さん ここがよかった ここが惜しい 池谷さん ここがよかった ここが惜しい 赤坂さん ここがよかった ここが惜しい 中野さん ここがよかった ここが惜しい 富士谷さん ここがよかった ここが惜しい 渡辺さん ここがよかった ここが惜しい 鈴木さん ここがよかった ここが惜しい 今井さん ここがよかった ここが惜しい まとめ みんなの感想 みんなの感想をChatGPTに要約してもらうと、こんな感じになりまし

これは Livesense Advent Calendar 2022 DAY 4 の記事です。 こんにちは。アルバイト事業部エンジニアの@mnmandahalfです。 今日は先日開催された社内LT大会で話したネタを記事にしてみたいと思います。 VPoEだけが追い出された？！エンジニアLT大会を開催した話 - LIVESENSE ENGINEER BLOG TL;DR クロスアカウントで暗号化したRDSスナップショットを共有するときはCMKで暗号化した方がベター CMKを作るときのキーポリシーに注意しよう やりたかったこと ざっくり説明すると、以下の通りです。 本番環境（以下、AWSのproductionアカウント）のDBデータをステージング環境（以下、AWSのstagingアカウント）に日次で同期して利用したい その際、個人情報等にアクセスできないようにマスキング処理（例：データの削除、改

これは Livesense Advent Calendar 2022 DAY 7 の記事です。 リブセンス インフラエンジニアの中野(etsxxx)です。VPoEをまだやってます。最近カメラ本体を新調して、レンズも買い増ししたい欲求に駆られています。Techな話よりそっちを語れる自信があります。 背景 s3getのご紹介 コンセプトと狙い 使い方 最後にちょっとだけ補足 背景 AWSのサービスをちょっとだけ利用したいとき、aws-cliのインストールがだるいって思ったことはないでしょうか？私はあります。 Amazon S3に置いているファイルを、古いOS上あるいはコンテナビルド中にダウンロードしたくて、aws-cliをインストール。 このインストール作業。手作業はもちろん、プロビジョニングコードに実装してもだるいのですが・・・ それ以前に、古いOSではOpenSSLが古すぎてhttpsなU

きっかけ 書く内容を決めるまでの流れ 社内Slackにおけるブレスト 技術評論社の方との打ち合わせ 執筆担当者内での社内打ち合わせ 苦労・工夫したところ テーマから実際の記事の内容を決めること 記事内で取り上げる例を作ること 出版社の方に技術的こだわりを伝えながらの校正 最後に この度、2022年11月18日発売『Software Design 2022年12月号』の特集「なにかと使えるSQL 基本操作から実務に役立つテクニックまで」の3章に、リブセンスのエンジニアメンバーで寄稿させていただきました。 gihyo.jp 本ブログでは、執筆者の @verdy_266 @mnmandahalf @ayumu838 の3名が寄稿に至った経緯や苦労した点を記録しておこうと思います。 きっかけ 以前弊社が『Software Design 2017年11月号』掲載の記事「データ分析に効く SQL50本

ブログ執筆って難しいよね こんにちは。転職会議事業部でエンジニアマネージャーをやっている落合です。先月からマネージャーをやることになりました。胃が痛い………。 早速ですが、みなさんは継続的にブログ記事などのアウトプットってできていますか？私はできていません。 そもそも、なぜ私たちはエンジニアブログなんて書いているのでしょう。この記事にもある通り、エンジニアブログは本来採用の文脈とは別に自分たちの備忘、あるいは同じ問題に直面する他のエンジニアに向けた親切心、あるいは社会還元のために執筆・運用されていたように思います。 newspicks.com 一方で、現在のエンジニア採用は売り手市場であり、採用する側からすれば自社の技術や文化、働いている人の人となりを多くの人に知ってもらうことが重要です。この際、エンジニアが継続的に執筆・投稿しているエンジニアブログは、応募者が実際に働くかもしれない人たち

こんにちは。アルバイト事業部エンジニアのmnmandahalfです。 私たちは積極的にエンジニアの仲間を募集していますが、もっと私たちの組織・文化・利用技術について知ってもらおうと思いLivesense Engineering Handbookというものを作りました。 *1 Livesense Engineering Handbookについて livesense-inc.gitbook.io こちらはGitBookにホスティングされている、エンジニア採用における広報を目的に作られた資料です。主にスカウトやSNS、カジュアル面談を通じて出会った採用候補者の方や、新入社員の方向けの資料となっています。 カジュアル面談にいらした方よりも少し広めの層にリーチする目的で、リブセンスでエンジニアとして働くことの概要がわかるような形で書かれています。 この資料は常に鋭意執筆中であり、「自律共創」のコンセ

こんにちは。インフラエンジニアのsheep_san_whiteです。 障害を起こしてしまって、ポストモーテムを書いたことありますか？ 私はあります( • ̀ω•́ )ﾄﾞﾔｯ 社内ポストモーテム共有会について さて、リブセンスでは6月24日に「社内ポストモーテム共有会」を開催しました。 ポストモーテムを持ち寄って内容を振り返り、お焚き上げするという会です。 コロナ禍の中ではありますが、オンライン／オフライン混合のハイブリッドで開催しました。 ハイブリッド開催の様子 撮影場所: WeWork東京ポートシティ竹芝 社内ポストモーテム共有会について 発表内容 Sがついてただけなのに シン・風桶〜null文字入ればピザ屋が儲かる〜 内容の更新がSolrに反映されない 再提示リクエストリリースによる指名ページのエラー 課金関連の開発でバグを出しまくった話 サマリーテーブル生成時にエラー発生 DBの変

データプラットフォームグループ Livesense Brain チームの富士谷です。 機械学習基盤 Livesense Brain の開発・運用を行っています。 ここでは、Livesense Brain で開発するシステムのバージョニングの見直しと、 GitHub Actions を使ったタグ・リリース作成の自動化について紹介したいと思います。 はじめに Livesense Brain では、開発するシステムのほとんどをコンテナ化しており、大きく「アプリケーション」と「コンポーネント」の2つに分けて開発しています。 「アプリケーション」は、例えば「マッハバイト向けのレコメンド」といった、特定の事業部向けにデータやサービスを提供するコンテナイメージを指します。 また、全社向けのA/Bテスト基盤（Brain Optimizer）も「アプリケーション」に位置づけています。 一方、「コンポーネント

こんにちは、かたいなかです。 最近転職会議のバッチ処理をすべて冪等にし、処理失敗時に気軽に再実行できるようにすることで運用性を向上させました。 今回の記事ではその取り組みを紹介します。 再実行すると重複送信につながるメール送信バッチ もともと、転職会議では一部のバッチ処理を除いてほとんどのバッチ処理が冪等に作られていました。しかし、残りの冪等ではないバッチ処理では、失敗するたびに毎回アドホックな対応をする必要があり運用性に課題を抱えていました 残っていたもので一番大きな問題を抱えていたのがメール送信バッチです。これは、以下の図のようなアーキテクチャで動いており、ワーカーにメールを送信するように指示するメッセージをSQSにキューイングする処理を行うものです。 このメール送信バッチのキューイング処理が途中で失敗した際に、雑に再実行してしまうと同一のユーザに重複してメールが送信されてしまう事にな

こちらはLivesense アドベントカレンダー 2020 およびKubernetes3 アドベントカレンダー1日目の記事です。 こんにちは、転職会議のSREのかたいなかです。 転職会議では2020年の一年間をかけてインフラ基盤をECSからEKSに移行してきました。 この記事では構築したEKS基盤やECSからの移行の中で工夫した点を紹介します。 なぜEKS移行？ 古くなっていたECS基盤を刷新する上で、ECSで再度作り直すのではなくEKSを選んだのは主に以下のような理由です。 IaCを更に推し進めGitOpsの考えを採用し、開発者がSREにレビュー以外で依存することなく主体的にインフラを変更できる状態を作るため ArgoやIstioといったKubernetesネイティブに開発されているツールを採用することでの恩恵を将来的に受けられるようにするため 純粋な技術的興味 採用を決めた当時は技術的

こんにちは、インフラグループの水野です。 みなさん、DNSのレコードの監視を行っていますか？ DNSレコードの変更ミス等を検知することはもちろん、自分たちの運営しているサービスの名前解決がユーザ側でどのように見えているのかというのを確認することは大切です。 しかしながら、DNSレコードを外形監視してくれる監視ツールは数が少なく中々コレといったものがありません。 外部からの監視をしたいがためにパブリッククラウドに監視専用のインスタンスを建てるのももったいないです。 弊社ではメインの監視ツールとして Mackerel を利用していますが、MackerelにはURL外形監視はありますが、DNS外形監視はありません。 別途 pingdom のDNS外形監視を利用していましたが、pingdomではIPアドレスとのマッチしかできません。 IPアドレスもひとつしか登録できないため、ELBのようにIPアド

はじめまして。１ヶ月でエンジニアになろうとした山浦です。 先日Gitのことを突っ込んで調べる機会があり、Gitの仕組みって面白いねということを同僚に話していたら「面白いね。ところでGitって実装できる？実装できないと分かったとは言えないよね？」となぜか煽られるということがありました。 そうか、実装できないと分かったとは言えないのか、それも一理あるかもしれない。そう思い、Gitの仕組みを実装できるレベルまで掘り下げて調べてみました。 今回は実装はしないものの（過度に記事が複雑になるので）、Gitの根幹である git add コマンドと git commit コマンドの裏側で起こっていることを紹介します。 差分かスナップショットか？ ここで早速クイズです。 コミットで保存されているのはソースコードの差分でしょうか？スナップショットでしょうか？ 今回の記事の中で解説していきますので、少し考えなが

みなさんこんにちは。ジョブセンスでエンジニアをしている小沼です。初めまして。 16新卒で入社して現在2年目になります。 去年はSQLで円グラフを書いたりしていました。 さて、本題に入ります。先日新規でRailsリポジトリを立ち上げたのですが、その時に秘匿情報の取り扱いについて考えたことがあったので紹介いたします。 Rails5.1から導入されたEncrypted Secretsについて Rails5.1から標準でEncryptedSecretsという機能を使うことができるようになりました。 参考: Ruby on Rails — Rails 5.1: Loving JavaScript, System Tests, Encrypted Secrets, and more 使い方はざっくりと以下の通りです。 # 鍵とsecretsを準備 # 鍵ファイルは自動で.gitignoreに追記される

背景 転職クチコミサービスの転職会議を開発するプロダクトチームは2014年頃には6名ほどの小さな組織でした。 2017年現在は30名強と、徐々にメンバーを増やしながら成長してきました。 今回はこのチームで作り上げてきた文化の話をしたいと思います。 Team Geekとの出会い 僕たちが成長する上で強く影響を受けた書籍がTeam Geekです。 HRT（謙虚・尊敬・信頼）などで有名な名著ですが、チーム文化についても重要な項目として語られています。 この文化というのは非常に捉えづらいものではありますが、文化を意識してチームを作る事が非常に大切だったなと感じています。 Spotify engineering cultureとの出会い 文化について意識的に作り上げる段階において、強く影響を受けたのがSpotifyの資料です。 Spotify engineering culture (part 1)

背景 Cloudcraft 概要 料金プラン Cloudcraftを使ってみた 初回作成 最終的に出来上がった構成図 良かった点 Live Sync機能 関係する各コンポーネント間を自動でリンク フィルタ機能 コンポーネントの自動更新 構成図を作成するだけで、月額料金が分かる マネジメントコンソールへのリンク あったらいいなと思う機能 サブネットの自動配置 注意点 まとめ 番外編 havaも使ってみた こんにちは、リブセンスのインフラグループに所属している竹本です。 主にDOOR賃貸(AWS)や転職ドラフト ITエンジニア版 / デザイナ版(オンプレ)のインフラまわりを担当しています。 インフラグループでは、各プロダクト毎に担当者(窓口役)をつけて定期的にローテーションをしているため、業務引き継ぎの際に構成図が必要な場面が多々あります。 そこで本日はAWSの構成図をいい感じに出力してくれる

こんにちは、転職会議でプログラマをやっている山内です。 皆さんはDockerを使っていますか？ 転職会議では、AWSに移行する際に一部のアプリケーションにおいてDockerを採用しました。 AWS上でDockerコンテナを動かすのにECSを利用しています。 今日は転職会議のECSへのDockerデプロイツールであるpnzrについて紹介します。 当初の運用方式 転職会議はAWS移行した際にDockerを導入しました。 AWSが公式で用意しているAWSコンソールには、最低限の機能しか用意されていません。 このためDockerコンテナのデプロイはchat botとlambdaを利用して行っていました。 デプロイに利用するtask definition templateにはデータベースのパスワードなどの秘密情報が含まれるため、githubのリポジトリに含めることができません。 そこで、秘密情報はS

こんにちは、'16新卒入社で、Analyticsグループ所属の田中です。 仕事ではデータ分析基盤や機械学習システムの開発・運用を行っています。 今回はデータ分析基盤における「便利カラム」にまつわる問題と、それを解決するためのアーキテクチャについてご紹介します。 リブセンスのデータ分析基盤 みなさんの会社では、サービスのデータ分析をどのように行っていますか？ リブセンスにはデータ分析・活用の文化が根付いており、ディレクターや営業職の社員までもがSQLを用いてKPIのモニタリングや施策の評価を行っています。 分析活動を支えるために、社内では "Livesense Analytics" という全社横断のデータ分析基盤を構築・運用しています。 このような組織が形成されるまでのポイントについては次の資料で解説しています。 営業さんまで、社員全員がSQLを使う 「越境型組織」 ができるまでの3+1のポ