【書き起こし】BigQueryのデータ監視の社内サービスを作った話 – Hirobumi Takahashi【Merpay & Mercoin Tech Fest 2023】 | メルカリエンジニアリング
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「BigQueryのデータ監視の社内サービスを作った話」の書き起こしです。 @hyrrot：株式会社メルペイ Data Management Team、Data Managerの髙橋です。「BigQueryのデータ監視の社内サービスを作った話」と題し、発表します。 自己紹介をします。髙橋宏文と申します。2022年より、メルペイでData Managerとして、メルカリグループのアナリストの皆さまに最強のデータ分析環境を享受していただくため、日々奮闘しており
顧客の名字がブランド選択に及ぼす影響
人は，自身の名前に含まれた文字を，含まれていない文字に比べて好ましく評価する。この傾向はネームレター効果と呼ばれ，ブランド選択をはじめとする様々な意思決定にも影響を及ぼす。例えば，先行研究によると，Lで始まる名前の消費者（例えば，Lundy）は，他の文字で始まる名前の消費者（例えば，Thomas）に比べ，名前の頭文字が一致するLexusを購入する傾向がある。本研究では，ブランド・ネームが漢字で表記されている場合，ネームレター効果がどのように生じるのかについて検討した。先行研究によると，漢字は聴覚情報ではなく，視覚情報として処理される。この言語的性質を踏まえ，漢字のネームレター効果は，ブランド・ネームと顧客の姓における表記（vs. 読み）の一致によって生じると予測した。総合胃腸薬の購買データを分析した結果，表記と読みが太田胃散と一致する太田姓の消費者は，読みのみが一致する姓（例えば，大田姓や
BigQuery Emulatorの活用例、直面した問題の紹介とその解決アプローチ - enechain Tech Blog
この記事は enechain Advent Calendar 2023 の 14 日目の記事です。 本日は eScan デスクのエンジニアの平田が担当します。 eScan では以前 BigQuery + Argo Workflowsを利用した計算処理基盤の構築 で紹介した通りリスク計算の基盤として BigQuery を使っています。また、他にも非同期処理に Pub/Sub や、ファイルストレージに Cloud Storage を利用するなど Google Cloud Platform のサービスを利用しています。 各自のローカルでの開発時やテストの際には、これらのサービスは実際の GCP のサービスに接続せずエミュレータを利用しています。 今回はこのうち BigQuery Emulator の活用事例と、BigQuery Emulator を利用する中で得た Tips を紹介します。 Bi
k8s 1.28の新機能SidecarContainersの紹介など: Neco Weekly (2023-07-14号)
k8s 1.28の新機能SidecarContainersの紹介など: Neco Weekly (2023-07-14号) Neco Weekly (2023-07-14号) サイボウズ Neco チームでは、 Neco Weekly という「最近気になる Kubernetes や Cloud Native 関連のネタを共有する会」を社内で開催しています。 本記事は共有会の中で紹介したネタをまとめたものです。 今回は第37回目の記事となります。 👀 Notable Articles 🌟Kubernetes SidecarContainers feature is merged🌟 Kubernetes v1.28 で、サイドカーコンテナーが標準機能としてサポートされるようになります。 これまでもサイドカーコンテナーは通常のコンテナとして定義して利用することができたのですが、v1.28
既存のアプリケーションからAkkaを切り離して大幅なコスト増を回避する - Chatwork Creator's Note
みなさん、こんにちは！Chatworkの原田 (@shinharad) です。 今回は、私が最近取り組んでいる、既存のScalaアプリケーションからAkkaの依存を切り離す準備を進めている話を書こうと思います。Akkaの切り離し方は色々あると思いますが、一つの方法として参考にしていただければと思います。 なお、現時点ではAkkaを切り離すことでコスト面での効果が最も大きいアプリケーションを対象として進めています。今後他のアプリケーションも同様にAkkaを切り離すかどうかは、状況を見ながら判断していくことになりそうです。 Akkaを切り離すに至った背景 Akkaは、並行・分散システムの構築をサポートするツールキットで、弊社ではこれまで多くのScalaアプリケーションで採用してきました。Akkaのエコシステムは包括的かつ強力で、Web APIやストリーム処理、分散処理など、アプリケーションの特
ホスティング事業部 SREチームの @takumakume です。 11/21に「技術的負債に向き合う Online Conference」 が開催されました。 ペパボからは、技術責任者の @kenchan と @takumakume が登壇しました。 この記事では、@takumakume が登壇した「ソフトウェアの継続的アップデートをコンテナ化によって加速させる」というタイトルのLTについて紹介します。LTでは駆け足の説明でしたので、補足的な位置づけとなります。 簡単に説明すると 変更しにくいシステムは放置されるので、コンテナ化して変更しやすくした！ という話です。 以降で詳しく説明していきます。 ソフトウェアアップデートの必要性について ソフトウェアを継続的にアップデートしなければシステムは徐々に壊れていきます。予想外のタイミングと規模でアップデートを強制されることに繋がり、ビジネスに
DMMプラットフォーム マイクロサービスアーキテクトグループ SREチームの社外アウトプット一覧 - pospomeのプログラミング日記
以下の記事でマイクロサービスアーキテクトグループについて紹介しているが、 SREチームのアウトプットをここにまとめる。 www.pospome.work アウトプット一覧 DMMプラットフォーム ゼロから始めるKubernetes運用 課題と改善 DMMプラットフォームのマイクロサービス戦略 オーナーシップの落とし穴 マイクロサービスとk8sにおける責任境界設計とリソース管理 マルチテナント型EKSを活用したプラットフォームエンジニアリングの光と闇 マルチテナントKubernetes環境のKubernetes External Secrets が非推奨になるので External Secrets Operatorへ移行した話 社内で提供しているマイクロサービスの参考実装について Amazon EKS に Node Local DNS Cache を導入した際にハマった話 GKEでCloud
新卒1年目がECSにCanary Releaseを導入し信頼性を高めた話〜PipeCD〜 - Qiita
はじめに こんにちは、サイバーエージェントのAI事業本部でバックエンドエンジニアをしている23卒の高橋です。 CD環境をGitHubActionsからPipeCDに完全移行したので、その知見や感想について共有したいと思います。 背景 現在のデプロイフローはGitHubActionsを採用しており、以下のような非常にシンプルな手順になっております。 1. workflow dispatchで手動実行 2. GitHubActionsがImageをビルドし、ECRにPushします Imageタグを指定して、以下のworkflowを手動実行 SSMの値を書き換え,terrafrom apply これらの手順を追うことでビルドからデプロイまでの作業が完了します。 課題点 このデプロイ方法には以下のような課題点がありました ビックバンリリースのリスク ロールバック問題 誤操作のリスク 多様なデプロイ
質問内容に対して、手動で実行しその結果をドキュメントに残していれば0.5、CIなどに組み込まれ自動実行されている場合には1.0、どちらにも該当しない場合には0といった形で回答し、各領域においてスコアを合算し、そのスコアの最小値が最終的なMLOpsScoreです。 前回報告した際の、合併前のヤフー株式会社のプロダクトにおける MLOpsScoreの結果は以下の通りでした。 元論文の判定基準に当てはめると、現行のスコアは「基礎的なプロジェクトの要求事項は通過した。しかし、信頼性向上のためのさらなる投資が必要とされる」という判定です。当初はこのスコアが2を超える、「適切なテストがされているが、さらに自動化の余地が残っている」を達成することをいったんの目標としていました。 また、各カテゴリごとに分解して見てみると、特にモニタリングの領域について課題がありそうなことがわかります。 取り組んできたこと
The declarative paradigm is becoming ubiquitous in data engineering, to the point we sometimes feel we became YAML developers. Yet, I’ll argue it’s a good thing! Let’s take a step back and look at what it means to be declarative, and how it impacts the data systems we build. Data & logicFundamentally, a data platform is made of 2 pieces: Data. On the frontend, we find the actual files, tables, das
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソフトウェアの継続的アップデートをコンテナ化によって加速させる - Pepabo Tech Portal
LINEヤフーMLOps推進チームの取り組みのその後
YAML developers and the declarative data platforms