Gunosy のデータ活用を支える統合データ基盤 Baikal の話 - Gunosy Tech Blog
はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて
秒間3万リクエストをkubernetesでさばく - Gunosy Tech Blog
こんにちは！スタンディングデスクを導入して快適な開発環境と運動不足の両方を解消できるようになったのではと感じている、広告技術部のUT@mocyutoです。 今回は半年ほどEKSを運用して秒間3万リクエストのトラフィックをさばくほどになりました。 秒間3万は広告システムだと割とあるとは思いますが、kubernetesでも運用できているので紹介しようと思います。 対象のEKSで構築したサービスは広告の配信サーバです。 広告配信サーバの要件として、まず50ms以内にレスポンスを返さなければいけません。 構築したk8sのレスポンスタイムの99パーセンタイルは10msほどで返せています。 以下は必要最小限のクラスタの構成図です。 全体像 API 弊社のサーバサイドはほぼGoで作られているので、例に漏れずGoで作られています。 pod構成はAPI、fluentd、envoyの サイドカーパターン です
MLOps 海外テック企業の事例とフレームワークの紹介 - Gunosyデータ分析ブログ
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
ワークフロー基盤としてのEKSクラスター運用のポイントとEKS on Fargate検証 - Gunosy Tech Blog
本記事は、Gunosy Advent Calendar 2019 17日目の記事です。 昨日の記事は、中村さんによる Pythonしか知らない新卒がGunosyに入るとこうなる - Gunosy Tech Blog でした。 はじめに ワークフロー基盤について システム概要 その日はいきなり訪れた 原因究明 対策 反省点 まとめ EKS on Fargateについて 検証のポイント 検証内容 まとめ 最後に はじめに はじめましてこんにちは、Gunosy Tech Lab1 Data Reliability & MLOps Group2の大関（@mageyuki）と申します。 弊チームでは、 Gunosyにおける統合データ基盤 集約したデータを活用した機械学習基盤 Gunosyの社是である「数字は神よりも正しい」を根底から支える、重要な2つの基盤の開発運用を行っています。 私は主にAWS上
AWSとGCP間でVPNを設定する方法 - Gunosy Tech Blog
はじめに AWSのネットワーク構成 GCPのネットワーク構成 AWS と GCP 間での通信 VPN設定手順 TGWを用いたルーティングの設定 (AWS) Shared VPC の設定 (GCP) Terraform まとめ はじめに こんにちは。DR & MLOps Group というところで働いている阿部といいます。Data Reliability & Machine Learning Operations の略で、データ基盤やML基盤を作って運用するグループです。 私はもともとは記事配信ロジックやデータ分析をやっているグループにいましたが、今年移ってきました。 こちらが紹介記事です: DREの使命とは？「数が神より正しい」と言うための正確性を求められる技術力 – Gunosiru 弊社のシステムは基本的にはAWSで動いていますが、とあるプロジェクトでGCPを使うことになりました。 そ
AWS Neptuneを使ってニュースパスのコメント機能をGraphDBで実装・運用する方法 - Gunosy Tech Blog
こんにちは。ニュースパスのサーバーサイドエンジニアをしているmanoです。 昨年末から、ニュースパスで記事にコメントができるようになりました。 そのコメントデータを、AWS Neptuneを使ってグラフ構造で保持しています。 今回は、その実装・運用について書きたいと思います。 AWS Neptuneって？ AWS Neptuneは、GraphDBが扱えるAWSのフルマネージドサービスです(詳しくはこちら)。 マスター・レプリカ構成のクラスターを作ることができ、レプリカは最大で15まで並べることができます。 GraphDBとのやりとりについて、Neptuneは「グラフトラバーサル言語」であるGremlinとSPARQLをサポートしているので、このいずれかで実装することになります。私はどちらも「なんじゃそりゃ」というところからのスタートだったので、直感的に書き方がしっくりきたGremlinを使
チームの継続的改善を支える制度: Kaizen Day - Gunosy Tech Blog
広告技術部の toshimaru です。本記事では広告技術部内で行っている取り組み、Kaizen Day制度についてご紹介いたします。 Kaizen Day制度とは Kaizenタスクとはどんなものか Kaizen Day制度を作ったモチベーション なぜKaizen Dayなのか Kaizen Dayをどのように運用しているか Kaizen Dayの成果 さいごに Kaizen Day制度とは Kaizen Dayとは開発チームが何らかの改善を集中して行う日のことです。 Kaizenタスクとはどんなものか 「何らかの改善」と書きましたが具体的にはどのようなものでしょうか？ Kaizen DayでやるKaizenタスクは具体的に下記のようなタスクを想定しています。 負債返済 リファクタリング 小さなバグFix 小さなデザイン修正 既存のツールの改善 新しいツールの導入 コードベースの一部のモ
プロダクト改善のためにウォッチしておくべき7つの指標 - Gunosyデータ分析ブログ
データ分析部でグノシーというニュースアプリのプロダクト改善を担当している @ij_spitz です。 今回はプロダクト改善のためにウォッチしておくべき7つの指標をSQLで算出してみます。 Gunosyではこれらの指標を、プロダクトに異常があった時に検知するため、また施策の効果検証といった主に2つの目的で使用しています。 簡潔にするため、ユーザーとログインの2つのテーブルを使った算出できる指標のみを対象としています。 また、これらの指標をどうやってプロダクト改善に役立てているのかということも少しではありますが、合わせて書いていきたいと思います。 DAU WAU(MAU) HAU 積み上げHAU 1ユーザーあたりのログイン回数 登録N日後継続率 登録日別N日後継続率 前提 今回のブログで紹介するSQLはAmazon Redshift上で動くSQLなので、MySQLやGoogle BigQuer
GunosyのMicroServicesとOpsWorks / よくわかる AWS OpsWorks
2015/03/26 よくわかるAWS OpsWorks
「数字は神より正しい」〜 Gunosyさんのオフィスツアーに行ってきてGunosyさんの開発スタイルやチーム編成とかを聞いてきました。 〜
《オフィスツアーの経緯》 「Gunosy」さんのオフィスツアーに縁があって参加させていただきました。元々、このオフィスツアーは昔からの知り合いのTomoさんが定期的に開催しているもので、以前はSkypeやコミュニティエンジンさんなどを訪問させていただきました。 オフィスツアー自体は、5〜6年前から実施されており、その時々の旬な企業を訪問させていただいているのですが、今回はテレビCMも始められて、我々のようなギーク層だけでなく、一般層にも注目度が高まっているGunosyさんを訪問させていただきました。 《数値は神より正しい》 今回のオフィスツアーで、まずは創業者メンバーの一人である 関さんから「スタートアップにおける研究開発のゲンバ」と題した、Gunosyさんの研究開発のやり方とGunosyさんの考え方を発表していただきました。 最初に出たお話としては「数字(数値)は神より正しい」という考え
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
高速な広告配信サーバの作り方のコツ
かつてDockerがいた