はてなブックマーク

データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年（2023年）、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA（Generally Avaialble）になりました。 cloud.google.com このDataformの登場により、BigQuery上でデータを利活用しやすいように変換する（データマートを生成する）システムの構築が容易になりました。 本記事では、Dataform上において、定常実行やリトライ実行を容易にするために、冪等性が担保される設計のテクニックを3点紹介します。（Dataformの基本的な使い方については触れませんのでご注意ください） 1. SQLX内のクエリに変数を用いる DataformはSQLXと呼ばれる

こんにちは、TVerでデータ分析をしている高橋です。 こちらは TVer Advent Calendar 2023 の12日目の記事です。 弊社の分析業務は、主にBigQueryに蓄積されたデータを対象としています。データ処理の効率を向上させるため、データの前処理から集計までを一貫してSQLクエリで実施しています。この過程でNULL値の取り扱いは避けて通れない重要なテーマとなっています。 この記事では、（直近タスクでNULL含む処理の検証に多くの時間を溶かした筆者が）弊社で頻繁に使用されるSQLクエリの処理においてNULLがどのように扱われるかをまとめたのでご紹介します。 チートシート 今回調べた内容を整理すると以下の3パターンになりました。 種類 演算子、構文、関数など NULLとして扱われる 四則演算子, ビット演算子, 比較演算子, 論理演算子, ARRAY_AGG, FIRST_V

こんにちは、TVerの加我です。 こちらは TVer Advent Calendar 2023 と New Relic 使ってみた情報をシェアしよう！ by New Relic Advent Calendar 2023 の8日目の記事です。 みなさまNew Relicを活用していますか？サービスの信頼性を担保していますか？オブザーバビリティの導入・実現に向けてNew Relicを使い倒していますか？ New Relicは非常に高機能なオブザーバビリティプラットフォームです。TVerではフロントエンドからバックエンドまでNew Relicを活用した横断的な観測を行っています。しかしNew Relicを導入し活用していくにつれて気になってくるのがコストです。 ということで、New Relicを活用しつつコストを最適化するためのポイントについて考えていきます。 New Relicのコスト計算につ

こんにちは。データエンジニア 遠藤（TVerにJOINしてまだ3ヶ月）とアドテクエンジニア 鶴貝です。 2023年8月29日～31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。（4年ぶりのオフライン開催） 弊社では、民放公式テレビ配信サービスTVer・TVer広告のデータ分析で用いるビッグデータ基盤にGCPを採用しています。そこで、先述したエンジニア2名がGoogle Cloud Next '23に現地参加させて頂きました。 Next '23ではGCPの新機能リリースや世界中での活用事例が多く紹介されました。本記事では、Next '23で発表された話題のうち、BigQuery data clean roomsを重点的に報告します。 さらに、サンフランシスコまではるばる出向きましたので、撮って出し写真と共にGoo

こんにちは！！！！ バックエンドエンジニアの内海です。 タイトルの通りなのですが、2023/11/25に開催されるISUCON13に協賛させていただくことになりました🎉 昨年のISUCON12も協賛させていただいております。 ISUCONとは？や、協賛への思いはこちらに書いておりますので、お時間のあるときにお読みいただければ幸いです。 techblog.tver.co.jp ISUCON13 今年のISUCONは今までの予選→本選の形式から、大きく変更があり本選のみとなりました。 isucon.net 昨年までとは違い、いきなり本選なのでわくわくしちゃいますね！ TVer と ISUCON 昨年から協賛させていただいていることはもちろん、我々TVerのバックエンドチームはISUCONのような高負荷なトラフィックをテーマにした課題と日常的に向き合っています。 おかげ様でたくさんのユーザーさ

こんにちは。TVerでオブザーバビリティ勉強中の加我です。 掲題のとおりですが、Software Design 2023年6月号 「監視で終わらせない 改善につながるオブザーバビリティ」の第3章にて「UX向上につながるオブザーバビリティの導入と活用」というタイトルで寄稿させて頂きました。このような機会をいただけた技術評論社様に心よりお礼申し上げます。 gihyo.jp 初めての寄稿と不安 私はブログへのアウトプットや登壇の経験はありますが、技術書の執筆・寄稿を行った経験はありません。今回が人生初の経験となります。寄稿するにあたり、どのような作業があり、どのように編集者の方とやり取りし、どの段階で完成になるのかというフローも全く存じ上げおりませんでした。そんな素人の私に対し、0から丁寧に細かく説明をして頂いた技術評論社 編集部の吉岡様にはとても感謝しております。昨年末にSQLをテーマにした記

こんにちは。 昨年、2022年12月1日にエンジニアとして入社しました水野です。 私事ですが、2023年3月1日をもちまして試用期間を終えました。引き続きTVerをより良くしていけるように頑張ります。 techblog.tver.co.jp そんな試用期間中、AWS Certified Developer - Associate合格を目標にしており、先日無事合格することができました。 このブログでは、なぜ資格取得を目標にしたか、勉強方法、会社からのサポートなどを紹介していきます。 目次 AWS Certified Developer - Associateとは なぜ資格取得を目標にしたか 勉強方法 1. 書籍 + AWS BLACK BELT 2. AWS認定の模擬試験 TVerと資格取得 会社からのサポート 自由度の高い勤務体系 今後の展望 最後に AWS Certified Devel

いよいよ年末ですね。分析担当の森藤です。 この記事は TVer アドベントカレンダー 24日目の記事です (遅くなりました) みなさまははてな時間というものを聞いたことがありますでしょうか？ q.hatena.ne.jp また、レポートなどの締め切りを確認するときに「今日までの締め切りって◯◯さんが業務を開始する明日の8時までですよね？」という確認をしたことはないでしょうか？ このような「日は変わってしまったが、前日として扱うことが便利な場合」に24時を飛び越え、26時や28時、と表現することが有ります。 この表現のことを「30時間制」と言うらしいです。 ja.wikipedia.org 特に放送業界では24時を越えてからの深夜番組の表現を当日として扱うほうが都合がいいため頻繁に「25時23分から」という形で記述され、そして、この情報がそのまま私達 TVer には渡ってきます。 UTC に

はじめまして。 TVer でプロダクト戦略を担当しているオノデラです。 普段は、サービスの向上に必要な分析をしてくれているメンバーと会話しながら、戦略や施策を考えて、エンジニアと共にサービスをアウトプットしていっております。 TVer Advent Calendar 2022 25日目の記事ですが、気負わず TVer の 2022 年を個人的に振り返ってみて、2023年に向けた個人的な目標をしたためてみたいと思います。 ※ こちらの記事は 会社の意見・方針を反映したものではありません。あくまでも個人の意見・感想ですので、ご了承ください。 なんといってもリニューアル 2022年はなんといっても TVer のリニューアルが大きなイベントでした。 表立って言えないこともあるのですが、とにかくいろんな意味でメンバーといろんな経験をしました。 サービス上はデザインが変わった、UI が変わったという感

こんばんは。こんにちは！ バックエンドエンジニアのうつみです。 この記事はTVerメンバーによるアドベントカレンダーの22日目の記事です。 TVerにおけるサーバー負荷について 今回の記事は配信部分ではなく、アプリを構成するために必要なAPIサーバーの運用について書いていきたいと思います。（配信系期待されていたらごめんなさい 🙏 TVerではお陰様で毎日たくさんのユーザーの方が利用してくださっているので、サーバーへのアクセスもそこそこの規模になってきます。 地上波の見逃し配信やリアルタイム配信などといったサービス特性上、コンテンツの切り替わり時間などはアクセススパイクが日常的に発生しています。 そういった緩急の激しいアクセスパターンを安定して処理するためにAPIサーバーを適切にスケールアウト、スケールアップをする必要が出てきます。 この記事ではそういった日々の運用について書いていきます。

こちらは 技術広報 Advent Calendar 2022 と TVer Advent Calendar 2022 16日目の記事です。 こんにちは、ノベルティ発注大臣の加我です。 技術広報 Advent Calendar でのエントリーですが、TVerにおける技術広報のあるべき姿や社内での情報発信の推進などについてはお話しません。 今回は会社のオリジナルノベルティを作るお話です。 前置き TVerでは情報発信を進めており、その一環としてノベルティの作成を進めてきました。 内海が書いてくれたエンジニアチーム向けのTシャツもそうですし、JAWS DAYS 2022のサテライト会場で配布したステッカーとラバーコースターもそうです。 techblog.tver.co.jp techblog.tver.co.jp これらのノベルティ作成はエンジニア主導で行われてきたのですが、いざ作ろうとした時に

データシステム担当の黒瀬です。 こちらは、TVer Advent Calendar 2022の9日目の記事です。 この記事では、TVerで運用しているデータシステムの基本的な権限管理ポリシーについてご紹介します。 大まかな内容 GCP上に構築しているデータシステムをメンテナンスする際の権限を、従来は管理者が手動管理していたが、この運用にはリスクがありました。 そこで、権限を付与するためのサービスアカウントを経由する仕組みおよびその趣旨を明確にするルールを導入しました。 結果、管理者に依存せずにメンテナンスができる運用が可能になりました。 背景 TVerでは、主にBigQueryに視聴ログなどのデータを集約し、その上で集計や分析をするという方針をとっています。 ログを収集するシステムはAWSやGCPなど要件に合わせて各所に構築されていますが、これらからBigQueryへデータを収集・集約する

ログを見ているだけで一日が終わることがありますし、なんなら休みの日もログを見ていたい森藤です。 これは TVer AdventCalendar 2022の5日目の記事になります。 続きはこちらです TVer ではログを自社基盤で収集していますが、基盤のアーキテクチャなどは多分誰かがどこかで書くとして、私は「クライアントがログを送るときにどういう事を考えて設計していたか」を本記事で紹介します。 本記事では「ユーザ行動の分析を行いアプリケーションを改善する」「ユーザの振る舞いを知ることで施策につなげる」を目的としたポリシーの紹介であり、「システムのログレベルの設計」「LTSV や nginx / apatch 等のフォーマット」「セキュリティ監査」がスコープではないことをご承知おきください。 また、本記事は書き出したら思いの外、長くなったので2部作として分割しますので、ご興味あれば後半も読んで

TVerでバックエンドやデータ基盤を担当している黒瀬です。 こちらは、TVer Advent Calendar 2022の2日目の記事です。 今回はTVerの検索基盤のパラメータチューニングを効率化する内部確認用の管理ツールについてご紹介いたします。 背景と課題 現在、TVerではAmazon OpenSearch Serviceで構築した検索基盤によって、キーワード検索の機能を提供しています*1。 このキーワード検索は、TVerで公開されているコンテンツのうち、タイトルなどのメタデータがマッチするものを検索し、その関連度に応じて検索結果への表示や順序を制御しています。 例えば、キーワードによくマッチするものを関連度が大きいものとして、検索結果の上位に表示するようにしています。 ここで、関連度の計算においては、コンテンツのメタデータごとに関連度の重みづけを行っていますが、この重みづけ如何に

はじめまして、エンジニアの黒瀬と申します。 弊社では、これまでバックエンドの監視にNew Relicを利用してきましたが、今回データ基盤にも導入を開始しました。 この記事では、その経緯についてご紹介したいと思います。 背景と課題 弊社ではTVerのサービス利用状況を日々収集し、それをBigQueryを中心としたデータ基盤に集約・可視化することで、日々のサービス改善に活用しています。 このプロセスは、おおむね次のような役割分担となっています。 収集処理：バックエンドを担当するバックエンドチームがAWSに構築 集約処理：データ基盤を担当するデータチームがGCPに構築 これらのうちデータチームでは、集約処理を構成するバッチごとにアラートを実装していましたが、下記のような問題がありました。 バッチごとに異なった方法でアラートを実装していたため、保守がしにくい アラートの通知先が散らばっており、毎回

こんにちは データを眺めている森藤です TVer ではたくさんのデータがあって、どこをほっくり返してもなんか有用な知見が出てくるので毎日楽しいです。 現状 さて、現状はまだまだこれからなのですが、レコメンドのアルゴリズムや実装について考えるのも仕事の一つです。 レコメンドといえば、いろいろな手法やベースとなる考え方、タイミングなど様々なものがありますが、そのうちの一つとして、協調フィルタリングというものがあります。 これは端的に言うと、「これを見ている人はこれも見ています」的なやつです。 ただ、協調フィルタリングは実世界において適用が難しく、TVer でも多分にもれずそのまま適用するには課題があります。 大きな課題が「ユーザは限られたコンテンツ(エピソード)しか閲覧しないため、これを見た人はこれも見ています」と適用することが難しい、というものです user_id series_id 1 3