一部の Strategy は退避（evict）する対象の Pod を Namespace・ラベル・ノードで指定可能です。なお、全 Strategy に共通して以下の点に注意が必要です。 ReplicaSet、Job などで管理されていない Pod は再作成されないため対象外 DaemonSet が作成した Pod や Local Storage を利用している Pod は対象外 ただし、descheduler.alpha.kubernetes.io/evict のアノテーションを Pod に付与すると、 Strategy の条件を無視して退避の対象とすることができます。 Descheduler の動作の検証 実際に Descheduler を GKE 環境に導入して、実際の動作を検証しました。 Descheduler のインストール Descheduler の導入方法としては、以下の 3

こんにちは、データサイエンス部の大竹、R&D チームの森田、久保、新規事業開発室の鈴木、岡田です。 今回の記事は 3/11 ~ 3/15 の 5 日間にわたって開催された言語処理学会第 30 回年次大会 (NLP2024) の参加レポートになります。 NLP2024 について 企業ブースとポスター紹介 論文紹介 [C3-2] 長文生成の多面的評価:人手評価と自動評価の向上を目指して [A5-4] 文献理解のための人間の応答を利用したプロンプト最適化 [C6-4] 金融分野における言語モデル性能評価のための日本語金融ベンチマーク構築 まとめ NLP2024 について 言語処理学会は人工知能の一分野である（自然）言語処理を専門とする学会です。 記念すべき 30 回目である今年は、昨年に引き続きオフライン・オンラインのハイブリッド開催となり、神戸市の神戸国際会議場がオフラインの会場となりました。

プロダクト開発部 Ads チームの yamaYu です。最近体重と筋肉量をコントロールしたい願望があり、まずは可視化ということで体組成計を買いました。まだ全然成果は上がっていないですが、現状を把握できて良い感じです。 今回の記事ですが、最近取り組んだ S3 のコスト削減の施策において、S3 Inventory がコストの可視化の文脈で良い感じだったのでその話について書いていきます。 最終的に ↓ のような感じでプレフィックス別にコストを分析できるようにしました。 プレフィックス別の S3 のコストの例 課題感 S3 のストレージ使用量を把握するための選択肢 AWS CLI S3 Storage Lens S3 Inventory S3 Inventory で使用量を可視化する S3 Inventory を設定する Athena と連携する SQL を書いて分析する まとめ 課題感 Ads

こんにちはUTです。 この記事は Gunosy Advent Calendar 2023 の 18 日目の記事です。 17 日目の記事は k.oshiro さんの 社内勉強会での発表内容の紹介 〜MessagePackの仕様を読む〜 - Gunosyデータ分析ブログ でした。 最近広告チームからLLMのチームに異動したのですが、今回紹介する話は広告チームでの話になります。 今年は円安だったのでクラウドインフラコストを削減するというネタをいくつかアドベントカレンダーで流れてくるのを見ました。 例にもれず、自分のチームでもコスト削減をしようという話があがりました。 しかし、以下で記事を記載した通り大きなコスト削減はすでに実施しており、大幅な削減は見込めない状況でした。 tech.gunosy.io tech.gunosy.io そこでコスト削減をする箇所をひねり出す必要があり、今回はその際に実

この記事は Gunosy Advent Calendar 2023 の 16 日目の記事です。 昨日の記事は吉岡さんの「iOSアプリのSWIFT_STRICT_CONCURRENCYをcompleteにした｣でした。 プロダクト開発部 Ads チームの yamayu です。 最近は専ら蛮カラな街でインクを塗り塗りしています。 持ち武器のブラスター種に数年ぶりの強化が入り熱いです。 本題ですが、Gunosy Ads では、サードパーティ Cookie に依存しない広告効果の計測への対応を進めています。 その一環として、Google の Privacy Sandbox についても検証を行なっているので、その話について書ければと思います。 サードパーティ Cookie が廃止されるとどうなるのか サードパーティ Cookie を使わずに広告効果を計測する Privacy Sandbox とは A

はじめに 今までのブログレビュー 現在のブログレビュー ブログの同期 ブログの取得 リポジトリと下書きの同期 textlint の導入 導入した結果 まとめ はじめに こんにちは m-hamashita です。 この記事は Gunosy Advent Calendar 2023 の 4 日目の記事です。 3 日目の記事は TksYamaguchi さんのいろんなやり方の読書会をやってみたら当日音読その場でまとめ方式が最高だった話でした。 今回はテックブログのレビューを GitHub 上でするようになって 1 年ほど経ったので、その経緯とリポジトリの紹介をしたいと思います。 個人的にかなり運用が楽になったので、ぜひ見てもらえると嬉しいです。 今までのブログレビュー 今まではブログ用の Slack チャンネルで有志にレビューをお願いし、スレッドでレビューをおこなっていました。 Slack での

こちらはエムスリー Advent Calendar 2023 1日目の記事です。 Overview エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。趣味は麻雀でフリー雀荘で毎年200半荘以上打ちます。好きな麻雀プロは園田賢さんです。 麻雀を始めるときに一番の障壁になるのは点数計算ではないでしょうか？ 特に符計算が初心者の関門のようです。一方私のような初中級者でも突然のレアな点数申告にまごつくことがあります。 そこで、今回はその人に合った麻雀の点数計算問題(主に符計算が焦点となる問題)を生成して、自分で点数計算&点数申告の練習をする方法を探求したのでその紹介をします。麻雀用語が少しだけ登場するので、対象読者は麻雀を少しでもかじったことのあるエンジニアの方です。 Overview 麻雀の点数計算の難しさ 現状の点数計算の練習

はじめに Rails アップグレード時におこなった手順 update_all が遅くなった なぜ遅くなったのか 対応策 まとめ はじめに こんにちは、広告技術部の fujishiro です。今年の GW は RIZIN の大会が 2 大会あり、どちらも PPV を購入して観戦していました。特に RIZIN.42 はとても面白かったですね。 さて、広告技術部が長く管理している Rails 製の Gunosy Ads の管理画面があるのですが、先日その管理画面を Rails 5.2 系から Rails 6.0 系にアップグレードしました。 ただ、その中で複合主キーを使用している MySQL のテーブルに対して update_all が遅くなってしまったので、今回はその原因と対応した内容についてご紹介します。 Rails アップグレード時におこなった手順 まず、Rails アップグレード時におこ

広告技術部の yamayu です。 ホグワーツレガシーが気になっているのですがまだ手を出せていません。 映画はファンタビ以外は全部見ており、原作は 7 巻の上巻まで読んでいるため楽しめそうとは思っています。 さて、弊社ではこれまで CI/CD ツールとして CircleCI をメインに利用していたのですが、最近は GitHub Actions でも同等の機能が提供されるようになりつつあり、また GitHub の他の機能との連携が容易である等の理由から徐々に切り替えていくような動きがあります。 広告技術部で管理しているリポジトリも少しずつ GitHub Actions への移行を進めており、その中で CI/CD のプロセスの見直しを行いました。 結果として、CI の実行時間を大幅に短縮することができたので、今回はそのことについて書いていきます。 長い重い多いテスト テストの並列化 マルチノー

概要 こんにちは。 ホグワーツレガシーで魔法を使わず白菜ばかり使っている、広告技術部のUTです。 今回はチームが有機的に動くために実施している取り組みを紹介したいと思います。 概要 有機的とは なにをやっているか やることの明確化と振り返り スクラム それぞれが責任を持つ 他チームとのコミュニケーション まとめ 有機的とは 「機械的組織」とは、職務権限が明確で、上層部に情報が集中し、トップの命令と指示によって統制される中央集権型組織だ。 それに対して「有機的組織」とは、職務権限が柔軟で、情報は組織内のあらゆる場所に分散し、水平的なネットワーク型の伝達構造をもつ分散型組織を指す。 by Salesforce https://www.salesforce.com/jp/blog/2012/12/vol5-be-social-empowerment.html 労働力の物量で戦うのではなく、片手で

こんにちは。広告技術部の yamaYu です。 広告サービスのバックエンド〜インフラを中心に触っています。 最近は専らパルデアの大地を駆け回る日々です。 今回の記事ですが、Kubernetes 上で管理している Rails 製システムの DB マイグレーションの扱いについて書きました。 下の記事の続編になっているため、こちらも参考にしていただけると幸いです。 tech.gunosy.io tech.gunosy.io Kubernetes 上でいいかんじに DB マイグレーションしたい Sync Phases, Waves, Resource Hooks Resource Hooks を用いた DB マイグレーション まとめ Kubernetes 上でいいかんじに DB マイグレーションしたい 前回までの記事で、Rails 製の管理画面が現状抱える CI/CD の課題の整理と GitOps

こんにちは、広告技術部の yamaYu です。 広告サーバのバックエンド〜インフラを中心に携わっています。 水星の魔女いいですね。 この記事は、Gunosy Advent Calendar 2022 の 21 日目の記事です。 前回は、m-hamashita さんの『モブプログラミング開発に ADR を導入した話』でした。 さて今回の内容ですが、弊社では業務の時間を使って、エンジニアリングに役立つ様々な勉強会が有志で開催されています。 今回はその中から私がよく参加しているいくつかを紹介していきます。 例えばこんな勉強会が行われています 『AWS Black Belt』読み会 『ソフトウェアアーキテクチャの基礎』読み会 アルゴリズム勉強会 CTF もくもく会 学んだこと LT 会 おわりに 例えばこんな勉強会が行われています 『AWS Black Belt』読み会 『AWS Black Be

はじめに こんにちは、 Gunosy Tech Lab 所属の m-hamashita です。僕はほとんど全てのエンジニアブログのレビューに参加しているのですが、アドベントカレンダーの時期は大変ですね。 この記事は Gunosy Advent Calendar 2022 の 12 日目の記事です。 11 日目の記事は楠さんの dbt snapshot から学ぶ Slowly Changing Dimension でした。 Slowly Changing Dimension についてわかりやすく書かれている記事でとても面白かったです。 コロナ渦になって、そろそろ 3 年になろうとしており、各社では出社しているところも増えてきていると聞いていますが、皆さんの会社はどうでしょうか？ 弊社はまだまだリモートワークが主流で、自分も気が向いたときだけ出社することが多いです。 今回は弊社で恒例になりつつ

こんにちは。GunosyTechLab MediaML 所属の suchida です。普段の業務では、記事配信アルゴリズムの開発を行っています。ここ最近は A/B テストの荒波が収まり、穏やかに開発を進めています。本ブログでは社内勉強会の一つである、"学んだことLT会"についての紹介とそこで取り上げられた本・記事の紹介を行いたいと思います。 学んだことLT会とは？ 概要 "学んだことLT会"とは、新卒を中心とした若手メンバーが集まって開催している「業務内外で学んだことをフランクに共有しよう」という会です（通称:20〜22卒LT、雑LT）。 隔週に一度のペースでオンライン開催しており、10名程度のメンバーが各回2名ずつ持ち回りで資料作成と発表を行っています。ただ、各自の業務との兼ね合いであったり、発表したいことが特にない場合はスキップも自由*1、といったゆるめな会となっております。 基本的に

はじめに Argo CD とは リポジトリ戦略 ブランチ戦略 課題の解決 まとめ はじめに こんにちは、広告技術部の fujishiro です。普段は広告配信の API や管理画面の開発に携わっています。 さて、今回はその管理画面で下記の課題があったのですが、 Argo CD の導入と GitHub のリポジトリ戦略、ブランチ戦略を変更することで一部解決ができたため、そちらについてご紹介しようと思います。 遅い CI RSpec の実行に 30 分近くかかる ロールバック時は Revert PR を作成することで対応するが、緊急時は CI を待てないので権限のある人が強制的にマージしている CircleCI からのデプロイの失敗 pod が多いタイミングでデプロイすると Cluster Autoscaler が走るために CircleCI の実行時間が延び、タイムアウトしたりする 手動での

はじめに 背景 ライブ環境のセキュリティ対策 AWS Security Hub Kubescape 運用方法 現状の運用課題 シフトレフト（Shift-left）によるセキュリティ対策 おわりに はじめに こんにちは。技術戦略室SREチームの koizumi です。 弊社では、今年からインフラ環境をはじめ、コンテナイメージやアプリケーションコードのセキュリティ対策をはじめています。 現在、その中でもAWS / Kubernetes環境のセキュリティ対策を実際に運用しており、今回はその内容を中心にお話しできればと思います。 背景 近年、様々なサービスで不正アクセスや情報漏洩といった事象が頻発しており、そういった重大なセキュリティインシデントが発生してしまうと、会社としての事業継続に直結してしまうと考え、本格的にセキュリティ対策を進めています。 ライブ環境のセキュリティ対策 現在、弊社では主に

はじめに 既存の A/B テスト集計での課題 解決策 A/B テストの ID と統計量が格納された集計テーブルを作成 Confluence 上に A/B テストレポートが作成されるようにした A/B テストレポート作成の流れ まとめ はじめに こんにちは、 Gunosy Tech Lab 所属の m-hamashita です。最近はほぼ毎日モブプロで開発をおこなっており、刺激的で楽しいです。 今回は「A/B テストの管理基盤刷新とレポートの自動化」をおこなった話について紹介します。 基盤編と自動化編の 2 部構成で、本記事では A/B テストのレポート自動化について紹介したいと思います。 A/B テストの管理基盤を刷新した話については @hyamamoto さんが紹介した記事をご覧いただけると幸いです。 tech.gunosy.io 既存の A/B テスト集計での課題 既存の A/B テス

はじめに 既存の A/B テスト管理基盤の課題 新規 A/B テスト管理基盤 方針 構成概要 Go 言語による A/B テスト管理基盤の作成 validation 機能の整備 A/B テストの定義コードの自動生成 private package として A/B テストの定義コードを公開 A/B テストの設定の履歴管理 まとめ はじめに こんにちは。Gunosy Tech Lab 所属の hyamamoto です。 今回は広告システムにおいて「A/B テストの管理基盤刷新とレポートの自動化」を行った話についてご紹介します。 基盤編と集計編の 2 部構成で、本記事では A/B テストの管理基盤の刷新についてご紹介したいと思います。 元々、今回のプロジェクトの最終的なモチベーションは A/B テストのレポートの自動化にあり、A/B テストの管理基盤刷新はスコープとしていませんでした。 しかしなが

はじめに 他ドメインと比較したニュース記事推薦の特徴 1. ライフサイクルの短さがもたらすコールドスタート問題 2. 深い言語理解の必要性 3. 明示的なフィードバックの利用の難しさ トピック別ニュース記事推薦手法 記事の人気度合い（popularity）の考慮 概要 既存研究 固有表現（Named Entity）の明示的な考慮 概要 知識グラフと知識グラフ埋め込み 既存研究 リッチな言語表現の利用 概要 既存研究 明示的なユーザーフィードバック・post click指標の利用 概要 既存研究 ユーザーの興味をより正確に捉えるアーキテクチャ 概要 既存研究 今後のチャレンジ おわりに はじめに こんにちは、Gunosy Tech Lab (GTL) Media ML チームの大竹です。Gunosyでは「情報を世界中の人に最適に届ける」というミッションのもと、グノシー・ニュースパス・LUCR

はじめに 管理画面の課題 GitOpsとは Push型 Pull型 なぜPush型よりPull型なのか Push型のデメリット Pull型のメリット GitOpsにおけるPull型の構成 GitOpsで課題は解決されるのか まとめ 参考リンク はじめに こんにちは。広告技術部のjohnmanjiroです。普段は広告配信のAPIや管理画面を作っています。 広告技術部では、広告配信に関わる様々なアプリケーションを管理しており、その多くがEKSのKubernetesクラスタ上で動作しています。 広告の入稿や審査を行う管理画面もそのうちの一つです。フレームワークにはRailsを使っています。 管理画面をEKSに移行する際の記事はいくつか本ブログにも上がっているので、興味があればぜひご覧ください。 tech.gunosy.io tech.gunosy.io 今回、その管理画面のCDにGitOpsを導