タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。本番DBから分析基盤への連携処理を改善した事例を紹介します。※ 本記事の対象読者はETLツールを利用している方を対象にしています はじめに本記事では、タクシーアプリ「GO」の DB から分析基盤への同期処理を約7時間から約10分に改善した事例を紹介します。まず、既存の処理および改善前の状況を説明し、次に改善にあたり実施した分析、その分析をもとにチーム内で実施した議論を経て、最終的にどのような実装を行ったのか紹介させて頂きます。 同期処理についてGO の DB は Cloud SQL 上で構築されており、分析基盤への同期処理は GKE 上で Embulk を起動し、リードレプリカに対してクエリを投げて一度 GCS に結果を格納します。その後、GC

MoT、AI技術開発部の立松です。先日、統計検定準一級(CBT)を受験し合格しました。非常に学びの多い資格だったので、勉強の流れや受験してよかった点などをご紹介したいと思います。 はじめにこんにちは！MoT、AI技術開発部の立松です。普段はDRIVE CHARTというサービスにて、データサイエンティストとして分析業務やモデル開発等をしています。先日、統計検定準一級(CBT)を受験し、合格しました。非常に学びの多い資格だったので、勉強の流れや受験してよかった点などをご紹介したいと思います。 試験概要「統計検定」とは、統計に関する知識や活用力を評価する全国統一試験です。今回私が受けた準1級は、「実社会の課題に対する適切な手法の活用力」というレベルを目安に設計されています。2021年より、CBT(Computer Based Testing)方式の試験に切り替わっており、都合のよい試験日時に受験