murasaki11のブックマーク / 2019年12月17日

murasaki11 id:murasaki11

2019年12月17日のブックマーク (3件)

ヤフーのデータパイプライン設計〜 Kafkaでデータ欠損防止と可用性を両立するために
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの橘（@moja_0316）です。私は2018年に新卒でデータ統括本部に入社し、データパイプライン領域でエンジニアとして働いています。今日は皆さんにヤフーのデータパイプラインの役割と、私たちが取り組んだデータパイプラインの信頼性を高める取り組みについてご紹介します。ヤフーのデータパイプラインヤフーは検索やEコマース、ニュースをはじめとした多くのサービスを運営しています。それらのサービスが保持するデータは非常に量が多く、かつ価値の高いものです。特に近年はデータソリューションサービスをはじめとして、さまざまなサービスのデータを横断して適切に利活用することで皆様の生活をより便利にする取り組みを多く始めています。
murasaki11 2019/12/17
リンク
大規模オンプレミスなヤフーのサーバーインフラの裏側〜サーバー調達や運用の流れを紹介します
OEM系→ODM系にシフトした背景ですが、1つは価格競争力です。インフラにおいてプライスは重要な指標です。また昔と今でヤフーのサーバーの買い方に違いがある事もポイントになっています。昔のヤフーは、いろいろな部門が、いろいろな構成のサーバーを、いろいろなタイミングで購入していました。この結果、納期面で有利なOEMを第一選択肢としていました。またいろいろな構成のサーバーが入る事を考慮した結果、自営保守ではカバーしきれない範囲も多く、ベンダーが提供するサポートに依存している部分もありました。しかし最近では自社クラウド環境の普及により、決まった部門決まった構成決まったタイミングで購入するようにになってきたため、納期に関して余裕を持ったスケジューリングができるようになりました。またクラウド環境で利用できるサーバーはかなりハイスペックなため、価格の数％の違いも大きなビジネスイン
murasaki11 2019/12/17
リンク
[和訳] Dropboxアカウントのせいで胃潰瘍になった - Qiita
こちらのReddit投稿 (https://www.reddit.com/r/sysadmin/comments/eaphr8/a_dropbox_account_gave_me_stomach_ulcers/) の和訳記事です。本番環境でやらかしかった人シリーズが盛り上がっていたので波に乗って（？）Twitterにヤバすぎる恐ろしい話が流れてきたのをすかさず和訳してみました。やらかしちゃった人というよりはやらかされちゃった人目線ですがいずれにせよそこら辺の怪談話よりよっぽど怖いです。 Dropboxのアカウントのせいで胃潰瘍になった。皆は誰もが触れたがらない、会社を靴紐やガムやクリップでつなぎとめている「例のアレ」を見つけたことってある？そういうのって往々にして大型連休前の金曜午後4:45に落ちるし、般若のような様相を呈した上司が「このままだと第二のスターリングラード攻防戦が勃発するぞ
murasaki11 2019/12/17
抗生物質いいよね……
リンク
- 2019年12月31日
- 2019年12月17日
- 2019年12月16日