ヤフーにおけるKubernetesを活用したPlatform Engineeringの取り組み
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部 クラウドプラットフォーム本部の早川です。 私が所属する部署では、ヤフー社内のサービス開発者向けのプライベートクラウドを開発、運用しています。昨年の後半頃から「Platform Engineering」という言葉が聞かれるようになってきていますが、私たちは以前から、その理念に近い取り組みを行っています。 本記事では、「Platform Engineering」の概要と、私たちがKubernetesを活用して実現しているプラットフォーム開発、運用の取り組みについて詳しく紹介します。私たちの経験と知見が、これからプラットフォームの開発に取り組む皆様の一助になれば幸いです。 Platform Engineer
ヤフーのIE11 サポート終了の進め方
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。第11代黒帯（Webフロントエンド／ヤフー内のスキル任命制度）の伊藤（@koh110）です。 普段はCTO室にあるWebフロント技術室で、全社のフロントエンドに関わる仕事をしています。 最近の仕事のひとつとして、IE11 の非推奨の案内 がありました。 Yahoo! JAPANでは、Internet Explorer 11を推奨ブラウザーとしていましたが、Microsoft社のInternet Explorerサポート終了に伴い、2021年9月7日をもってYahoo! JAPANにおけるInternet Explorer 11でのご利用を非推奨とさせていただきます。 この案内についてTwitterや記事などで触れていた
Yahoo! JAPAN での IPMI 活用事例
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンター・ネットワーク・サーバー・OS・ストレージ・OpenStack などの全社的な基盤インフラの管理運用や調査検証などを担当しています。今回は Yahoo! JAPAN のサーバー運用を裏から支えている IPMI の仕組みと、その運用システムや OCP サーバーでのケーススタディーについて紹介します。 IPMI とは IPMI: Intelligent Platform Management Interface は、サーバーを始めとするインフラ機器で広く採用されている管理インターフェースの規格です。1990年台に Intel が提唱を始めた規格で、最近のサー
ドメイン駆動設計で保守性をあげたリニューアル事例 〜 ショッピングクーポンの設計紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ Yahoo!ショッピングクーポンチームの小倉です。 前回のフロントエンド技術刷新の話とは打って変わり、今回は2019年に行ったバックエンド技術刷新の話です。 刷新前のシステムはノンフレームワークPHPのモノリスでしたが、現在は主にJava/Spring Bootでマイクロサービス化しています。今回は、その中でもっとも仕様が複雑だったマイクロサービスにおいて、ドメイン駆動設計(Domain Driven Design:DDD)を実践した話をご紹介します。 ショッピングクーポンの自由度を知る みなさんは、ショッピングの商品が割引になるクーポンをご存じでしょうか？ 実は、クーポンには、ヤフーが予算をだして発行する「モールク
ヤフーのPrivate PaaSチームにおけるSREの取り組み 〜 サービス安定稼働に向けた指標計測
以上のようなPrivate PaaSの信頼性・安定性維持、そしてそれを効率的に行うためにPrivate PaaSチームではSLI/Oを活用しています。 ※TAS 1クラスタはおおよそ600のVMから構成され、1クラスタでメモリ換算合計10TB以上のアプリケーションを稼働させる能力があります SLI/SLO 本記事では、Private PaaSチームでのSLI/Oを紹介していきますが、その前にSLI/Oについておさらいしたいと思います。 SLI/SLOは、Googleが提唱しているサービス保守に関する方法論であるSREに含まれるプラクティスのひとつです。 SLI（Service Level Indicator） SLIとは、サービスの稼働状況を数値化したものです。一般的にはサービスのエラー率、レイテンシ、スループットなどがSLIとして扱われます。 SLO（Service Level Obje
Kubernetesで管理するヤフーの次世代IaaS基盤
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの相良と言います。クラウドプラットフォーム本部で、ヤフーの次世代IaaS基盤を検討しています。 12月24日、クリスマスイブの本日の記事では、ヤフーの次世代IaaS基盤の取り組みをご紹介したいと思います。最初に次世代IaaS基盤の取り組み背景をご紹介し、検証・評価中のKubeVirtという技術について、IaaS基盤の代表的ソフトであるOpenStackと比較することで、その特徴を説明します。最後に、大規模環境を扱うヤフーならではの課題についても触れたいと思います。 なお、本記事では2020年12月時点の最新版（v0.36.0）のKubeVirtを前提にご説明します。 ヤフーの次世代IaaS基盤の取り組み ヤフーで
月間800億PVを支えるIaaS基盤の舞台裏（構築編）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー株式会社のシステム統括本部に所属している奥村です。現在、私はシステム統括本部内でプライベートクラウドを担当しています。私たちのチームはヤフー内のIaaS（Infrastructure as a Service）基盤の開発及び運用を担当しています。 IaaSとはサーバーやストレージ、ネットワークといったインフラリソースを仮想的に定義し、ユーザーへ提供するサービスです。 ヤフーのIaaS基盤は社内のユーザーやサービスに対して幅広く提供しており、ヤフーがエンドユーザーに対して公開している多くのサービス（Yahoo!ニュースや、ヤフオク!など）もこのIaaS基盤を利用しています。 本項では、「構築編」と「運用編」という前
ヤフー/ゼットラボのステートフルアプリケーションへの挑戦 #k8sjp
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ゼットラボ(※1)の坂下とヤフーの飯田です。コンテナオーケストレーション Kubernetesの国内イベントとして開催されたKubeFest Tokyo 2020(2020/6/13)で発表した「ヤフー/ゼットラボのステートフルアプリケーションへの挑戦」について紹介します。 ※1ゼットラボはヤフーの子会社 はじめに これまで、コンテナはステート(データ)を持つアプリケーション(ステートフルアプリケーション)が苦手と言われてきました。しかし、Kubernetesなどコンテナ関連技術の進歩により、ステートフルアプリケーションも扱えるようになってきました。そこで、ヤフーとゼットラボにて取り組んでいるKubernetes as a Ser
社内勉強会で専門的技術力を高めるには
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部に所属している大津と申します。普段CDNとNode.jsサポートの仕事をしていて、第9代黒帯（ヤフー内のスキル任命制度／ネットワーク・セキュリティ）に任命していただいています。1 先日ヤフー社内で黒帯LT会が開催されました。お題目は事前に指定された「専門的技術力を極めるための極意」ということで、10分ほど話をしました。しかし、これまでみたいにセミナールームで大勢の前で話すわけではなく、最近代わり映えしない自宅デスクからのオンラインLTは、正直勝手が違いました。時間配分もミスって中途半端に終了です。と思いきや数日前、このYahoo! JAPAN Tech Blog担当者から「いやー、よかったですよ。そのネタ書
CI/CDの巨大パイプライン、デプロイを高速化するには？ 〜 インフラにおけるScrewdriver.cdカスタマイズ事例
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ヤフーで社内向けCaaS（Kubernetes）環境を提供している岸本です。 アプリケーションを継続的にリリースするためには、CI/CDは欠かせない物となっており、ヤフーでもCI/CDを用いたデプロイを行っております。 社内ではCI/CDツールとして、ヤフーとVerizon Mediaが共同開発しているScrewdriver.cdを利用し、アプリケーションのビルドやテスト（Continuous Integration/継続的インテグレーション、Continuous Delivery/継続的デリバリー）に限らず、さまざまな環境へのリリース（Continuous Deployment/継続的デプロイ）も行っています。 今回
クラスタ数530以上、大規模Kubernetesを運用するエンジニア組織の作り方 #k8s
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog みなさんこんにちは。 システム統括本部に所属し、プライベートクラウドのKaaS（Kubernetes as a Service）の担当をしている藤江です。 私は2007年にヤフーに新卒で入社し、会計システムや社内認証システムなどの業務システムの開発・運用経験を経て、2017年4月から今のKaaS運用業務をしています。 現在のプロジェクトではScrumを導入しており、プロダクトオーナーとして働いています。 さて、いきなりですが最初に質問です。Kubernetesというツールを知ってますか？ 実際に業務で使っていますか？ 去年の1月に開催されたYahoo! JAPAN Tech Conferenceの登壇で、この質問をした時、会場で手
データドリブンなサービスを支えるネットワークの作り方〜 ヤフーのデータセンターネットワーク紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーのプロダクションネットワークの設計・構築・運用を担当している津秦です。 ヤフーではオンプレミスで大量に物理サーバーを導入し、社内向けプライベートクラウドや、データ分析基盤などに利用しております。もちろんそのサーバーを接続するためのネットワークも、自分たちで設計・構築・運用を行っております。 今回はデータセンター内ネットワークの中でも、最近取り入れているClosネットワークというものに着目して、ヤフーのデータセンターネットワークをご紹介したいと思います。 なお、大量に物理サーバーを導入する点では、昨年末に同じくインフラを担当する藤見から、サーバーの調達に関する取り組みを紹介しました。合わせて参照いただければ、ヤフーのインフラ部
ヤフーとベトナム拠点の海を越えたスクラム開発の話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 皆様、始めまして、Techbase Vietnam でYahoo!ゲーム案件を担当しているディンと申します。 ベトナムホーチミン市にあるヤフーの子会社であるTechbase Vietnam（TBV）は2015年に設立され、ヤフーの約20サービスの開発を担っています。 TBV ホームページ： https://www.techbasevn.com/jp/ 今回はゲームサービスの開発チームにおける、スクラムの導入についてご紹介します。 スタート当初の課題 2018年8月よりゲームサービスの既存システムを刷新する目的で、TBVでその一部の開発を担当することになりました。ヤフー側はスクラムで開発を進めていましたが、TBV側は当初ウォーターフ
標準技術に携わるメリットや標準化活動のヒント
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、認証技術黒帯 倉林 雅（@kura_lab）です。 みなさんが普段開発しているインターネットサービスには、物理層からアプリケーション層まで各レイヤーでいろいろな標準技術が使われています。 今回は私が携わっているID連携や認証領域の標準技術を例に、標準技術に携わる理由と標準化活動のやり方をお話します。 標準技術と普及・啓発活動について 標準仕様を活用する理由 標準技術と聞くと難しいと思われるかもしれませんが、ID連携や認証領域の技術はアプリケーション層の技術で構成されており、一般的なプログラミング言語で実装できるものが多くあります。OpenID ConnectやOAuth 2.0といった技術もそれにあたります。 Yaho
SXG（Signed HTTP Exchanges）始めました
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部でCDNの仕事をしている大津と申します。他にも社内セキュリティガイドラインの作成や、Node.jsのサポートもしています。 今週、4月17・18日に東京で開催するAMP Conf 2019 において、「Maximize Yahoo! JAPAN 's UX with AMP and Signed HTTP Exchanges」（AMPとSigned HTTP Exchangesを使ってYahoo! JAPANのUXを最大化する）という発表を行います。プレゼンでは、最初に駒田がYahoo! JAPAN全体とYahoo!トラベルの取り組みについて、次に私がSXGシステムの技術解説、最後に宗像がYahoo!検索の
競技プログラミングは業務の役に立つか？ ~ OSSデベロッパー編 ~
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データプラットフォーム本部の鯵坂（@ajis_ka）です。 OSSデベロッパーとしてヤフーでの業務でApache Hadoop（以下、Hadoop）コミュニティで開発を続ける傍ら、昨年から趣味として競技プログラミングを始め、オンラインやオンサイトのコンテストに参加しています。 Hadoop Committerとしての仕事 Hadoopは、オープンソースの並列分散処理基盤で、分散ストレージであるHDFS（Hadoop Distributed FileSystem）と、リソース管理を担当するYARN（Yet Another Resource Negotiator）の2つのコンポーネントで主に構成されています。Oath, M
Callback を撲滅せよ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。言語サポート（Node.js）チームの伊藤（@koh110）です。 Node.js v10 も10月にLTSとなり async/await によるフロー制御は当たり前のように利用されるようになってきました。JavaScriptの非同期処理は async/await から覚える人も今後増えていくでしょう。今回はそんな非同期処理について、社内での事例を交えて記事を書いていこうと思います。 index Promise 化がなぜ重要なのか ユーザーに promisify をさせる落とし穴 Road to Promise まとめ Promise 化がなぜ重要なのか ちょうど3年前のアドベントカレンダーで、今後はいろいろなモジュー
ありがとう、MYM 安らかに眠れ - Yahoo! JAPAN Tech Blog
特筆すべきはボット数かもしれません。ボットは何らかの操作を自動で行うために作られたプログラムで動作するアカウントなのですが、なんとそのボットの数（14,000）がユーザーの数（18,000）に迫りつつあります。MYMのボットは通常ひとつの部屋にリンクしているため、おそらく同じような機能を持ったボットが大多数だと思われますが、ボット数 14,000 はインパクトのある数字ですね。 興味深い部屋の数々 MYMはこの8年間で計150,000の部屋が生み出されました。業務系・技術系・雑談系を問わず、異彩を放つ部屋は数え切れないほどあります。ここでは数多くの部屋の中でも、ひときわ特徴的な部屋を紹介してみようと思います。 もちろんすべての部屋を把握しているわけではないため、あくまで把握している範囲内での紹介となることをご了承ください。 トピックス編集 Yahoo!ニュース トピックスの編集業務に活用さ
Yahoo! JAPAN のサーバー OS について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンタ・ネットワーク・サーバー・OS・ストレージ・OpenStack といった全社的なインフラの管理運用や調査検証などを担当しています。今回は Yahoo! JAPAN で使われているサーバー OS の状況やその開発運用について紹介したいと思います。 利用されているサーバー OS Yahoo! JAPAN では現在十数万台のサーバーが稼働しており、そのうちの約9割で CentOS 6/7 が利用されています。残りの1割では、用途に応じて次のようなものが利用されています。 Red Hat Enterprise Linux Oracle Linux Ubuntu F
ヤフーの画像配信システム（CDN）の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部プラットフォーム開発本部の新部（@osa2be）です。 CDNの運用を担当しています。 先日、知り合いの技術者と話していてヤフーのバックエンドがどうなっているのか興味があると聞かれましたので、社内にいくつかあるCDNのうち2つとIDCフロンティアのサービスをご紹介します。 はじめに ヤフーには多くのサービスが存在していますが、様々な理由により突発的にリクエストが増加することがあります。 そのようなリクエストに対応するためにサービスごとに大きな配信システムを持つことは、インフラの準備や運用工数など高いコストが必要になります。 そのため、共通のCDNを準備して各サービスのサーバ負荷を平滑化しています。 以前は、社外のC
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
