ヤフーのデータパイプライン設計 〜 Kafkaでデータ欠損防止と可用性を両立するために
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの橘（@moja_0316）です。 私は2018年に新卒でデータ統括本部に入社し、データパイプライン領域でエンジニアとして働いています。 今日は皆さんにヤフーのデータパイプラインの役割と、私たちが取り組んだデータパイプラインの信頼性を高める取り組みについてご紹介します。 ヤフーのデータパイプライン ヤフーは検索やEコマース、ニュースをはじめとした多くのサービスを運営しています。それらのサービスが保持するデータは非常に量が多く、かつ価値の高いものです。特に近年はデータソリューションサービスをはじめとして、さまざまなサービスのデータを横断して適切に利活用することで皆様の生活をより便利にする取り組みを多く始めています。
マイクロアドのアドテクを支える技術
マイクロアドのアドテクを支える技術 1. マイクロアドの アドテクを支える技術 2019/10/05 【マイクロアド】〜ネット広告を支える技術を知る〜 #microad_CAMPHOR MicroAd, Inc. システム開発本部 中野翔太 2. #microad_CAMPHOR アジェンダ ● 基本の説明 ● RTB ○ 概要 ○ オーディエンス ○ 広告配信制御 ○ 広告配信計測 ● マイクロアドにおけるRTBの実現 ○ データパイプライン ○ DSPの広告選択 2 3. 基本の説明 3 インターネット広告における 4. #microad_CAMPHOR 基本用語 広告主: 広告を出すことで製品の認知度を上げたりブランドの形成を行いたい 媒体主: 運営しているメディアに広告を掲載して利益を得たい インプレッション: 広告の表示のこと クリック: 広告のクリックのこと コンバージョン:
Ceph Pool の利用可能容量の計算法 - うつぼのブログ
こんにちは、うつぼです。 今日は小ネタで Ceph の capacity usage について説明します。 Ceph はどれくらいの容量が使えるのか分かりづらいことで定評があります。 いや分かることは分かるんですが、「なんでそーなるの？」と欽ちゃんライクになる人もいるでしょう。今日はそこを紐解いていきましょう。 ceph df を見ていく ceph df の出力 まず、Ceph の Pool の capacity usage は、ceph df コマンドで見ることができます。 0.5 TiB (512 GiB) の osd を1つだけ持つシンプルな 3 node の Ceph クラスターを用意します。直後に、 3x replicated pool 2x replicated pool 2+1 erasure coded pool の3つの Pool を作り、ceph df を実行してみます
オンラインで合宿した話 - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
みなさんこんにちは。オイシックス・ラ・大地のデータチームです。 今回は、オンラインで合宿してみた！という話をします。 データチームでは毎年GWの1日を使って合宿をしています。 昨年で言うと、チームのビジョン・ミッション・バリューを決めたり、統計学を集中的に勉強するなど、普段の仕事では時間的にしづらい部分に取り組むことができました。 ↓決まったビジョン・ミッション・バリュー その後、ミート矢澤でハンバーグを食べたり、銭湯に行ったりと息抜きも欠かしません。 さて、今年も新メンバーの加入などもあり、どうにか合宿を実施したかったのですが、時はコロナ。 オフラインで合宿をやることは中々世間的にも冷ややかな状態でした。 そこで今年はオンラインで合宿をすることに決めました。 しかし、オンラインでやると決めたものの、いかにオフラインでの合宿と同じようにできるかが一つのポイントでした。 いくつか方法を考えた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - uber-go/goleak: Goroutine leak detector
