超PayPay祭による高負荷にヤフーはどのように立ち向かったか
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの大岩です。 ヤフーが提供するYahoo!ショッピングやPayPayモールでは1年に1度大規模セールを行っています。 去年（2020/10/17～11/15）の対象期間は、超PayPay祭の開催に合わせて過去最大級の大規模セールとなっていました。特にセール最終日はグランドフィナーレと呼ばれ、ポイント還元率が年間を通して最大となる1年で最もお得な日となっていました。 集客の予測値は通常セールの数倍が見込まれており、セールの高負荷を乗り切るために、セール高負荷専用の対策チームが組まれ、そこを中心として高負荷対策を進めることになりました。 本記事では、大規模セールの高負荷に対して実際にどのような負荷対策を行ったかをサー
Kubernetesの負荷試験で絶対に担保したい13のチェックリスト - Enjoy Architecting
概要 ここ最近、Kubernetesクラスタを本番運用するにあたって負荷試験を行ってきました。 Kubernetesクラスタに乗せるアプリケーションの負荷試験は、通常の負荷試験でよく用いられる観点に加えて、クラスタ特有の観点も確認していく必要があります。 適切にクラスタやPodが設定されていない場合、意図しないダウンタイムが発生したり、想定する性能を出すことができません。 そこで私が設計した観点を、汎用的に様々なPJでも応用できるよう整理しました。 一定の負荷、スパイク的な負荷をかけつつ、主に下記の観点を重点的に記載します。 Podの性能 Podのスケーラビリティ クラスタのスケーラビリティ システムとしての可用性 本記事ではこれらの観点のチェックリスト的に使えるものとしてまとめてみます。 確認観点 攻撃ツール 1: ボトルネックになりえないこと Podレベル 2: 想定レイテンシでレスポ
レンサバの常識を覆す「なめらかなシステム」に挑む──運用技術を学術研究して実際のサービスへ適用 - はてなニュース
GMOペパボが立ち上げた「ペパボ研究所」の主席研究員 松本亮介さん（id:matsumoto_r）と、はてなエンジニアの坪内佑樹（id:y_uuki）が対談しました。技術ブログにはてなブックマークを付け合う間柄だった2人の語りから、レンタルサーバーの運用技術を学術研究として突き詰めた松本さんの研究成果「高集積マルチテナント環境」（「ロリポップ！」の「次世代ホスティングサービス」の技術として適用）、そして生き物のようなシステムを目指す「なめらかなシステム」の構想が浮かび上がってきます。 （上写真、左より）GMOペパボ株式会社 ペパボ研究所 主席研究員 シニア・プリンシパルエンジニアの松本亮介さん（id:matsumoto_r）、株式会社はてな システムプラットフォーム部 シニアエンジニアの坪内佑樹（id:y_uuki）。構成はITジャーナリストの星暁雄です。 （※この記事は、GMOペパボ株式
Scalable and secure access with SSH
Consistent security controls and high reliability are common expectations for any systems administrator. How do you deliver both on a network with thousands of servers supporting thousands of engineers? Most off-the-shelf solutions require a compromise in at least one of these areas — and we refused to accept this. Most systems administrators use the industry-standard Secure Shell (SSH) for access
分散プログラミングモデルおよびデザインパターンの考察 その1 - Software Transactional Memo
Yahooの技術者が書いたブログ techblog.yahoo.co.jp が悪い方向に期待を裏切ってくれたのに対し、 @kuenishi さんがまとまった文章 kuenishi.hatenadiary.jp を書いていたので、僕も2番煎じぐらいでまとまった文章を書く。 始めに断っておくと、分散システムというのはまだまだ事例を集めていくフェーズを抜けきっておらず、体系立った大統一理論的な分類法は確立していない。ここに書くのは、これまでの分散システム事例やこれからの分散システム事例を分類していく際にその性質をカテゴライズする一助となれば良いな、程度の文章なのであまり真に受けないで欲しい。 なぜYahooの記事が期待はずれなのか 人によって意見はあるとは思うが、個人的に感じたのは以下の３つ。 分散システムのデザインパターンと銘打っておきながら並列・並行システムの分野の話からクラウド環境へとこじ
The C10M problem
Scalability. It's the question that drives us. It's an anomaly inherent to the programming of the matrix. It's time for servers to handle 10 million simultaneous connections, don't you think? After all, computers now have 1000 times the memory as 15 years ago when the first started handling 10 thousand connections. Today (2013), $1200 will buy you a computer with 8 cores, 64 gigabytes of RAM, 10-g
大規模、複雑、分散システムに必要な新たなパラダイムと考え方 － Twitter Storm：ヨロズIT善問答：オルタナティブ・ブログ
NoSQL Now 2013の コンファレンスでは、チュートリアルの他２つの基調講演に参加した。２つとも似通ったテーマだが、少し異なった点を強調した。電力系統は電力だけではな く、電力搬送に関する莫大な量のデータや情報も伝達する。これは、電話のシステムに似ている。電話システムはコントロール・システム(シグナリング)と音 声(データ)だ。電話システムも電力系統も国家の根幹をなす重要なインフラであり、予期できる故障や予期できない故障の際にもサービスを停止することはで きない。電力の提供を絶やさないために、インフラやそれに付随するシステムは冗長性、回復性、自己回復性や,フォールトトレラント 性を備えて設計され構築されなければならない。 コンピュータのシステムも同様だ。大規模な分散コンピュータ・システムをモニターしコント ロールするためには、突然であっても不可避な問題に対応できるように設計・構築さ
ネットワーク仮想化の「オーバーレイ方式」はスケーラブルなのか？
ネットワーク仮想化の方式の1つであるオーバーレイ方式は、ネットワークのエッジ部分、物理サーバ上のハイパーバイザでOpen vSwitchのような仮想スイッチを利用し、ハイパーバイザ間にトンネルを張ることで仮想的なネットワークを物理ネットワーク上に作り出す技術です。 しかしこのトンネル通信を用いたオーバーレイ方式は、大量の物理サーバが存在するデータセンターでも使えるほどスケーラブルなものなのか？ という疑念が一部で持ち上がっています。 Are Overlay Networking Tunnels a Scalability Nightmare? « ipSpace.net by @ioshints その疑念に真っ向から反論するのが、米国でネットワーク構築のコンサルタントや教育を行っているIvan Pepelnjak氏。同氏のブログ「ipSpace.net」にポストされた「ARE OVERLA
MySQL :: Developer Zone
"The Documents contained within this site may include statements about Oracle's product development plans. Many factors can materially affect Oracle's product development plans and the nature and timing of future product releases. Accordingly, this Information is provided to you solely for information only, is not a commitment to deliver any material, code, or functionality, and should not be reli
Netlog: What we learned about scalability & high availability
Netlog: What we learned about scalability & high availability The document discusses scalability and high availability for Netlog, a social networking platform with over 35 million members worldwide. It covers topics such as network topology, database scaling, caching techniques using Memcached, and search improvements with Sphinx, emphasizing the architecture that supports high traffic and fast p
【公式】Amazon DynamoDBとは（マネージド NoSQL データベース）| AWS
Amazon DynamoDB は、最新アプリケーションの開発をあらゆる規模で可能にするサーバーレス NoSQL データベースサービスです。サーバーレスデータベースとして、お支払いいただくのは使用した分のみです。DynamoDB はゼロまでスケールし、コールドスタート、バージョンアップグレード、メンテナンスウィンドウ、パッチ適用、ダウンタイムメンテナンスはありません。DynamoDB は、広範な一連のセキュリティコントロールとコンプライアンス標準を提供します。グローバルに分散されたアプリケーションでは、DynamoDB グローバルテーブルは、99.999% の可用性の SLA と高い回復力を備えたマルチリージョンのマルチアクティブデータベースとして使用できます。DynamoDB の信頼性は、マネージドバックアップ、ポイントインタイムリカバリなどに支えられています。DynamoDB ストリー
情報爆発：ITpro
【情報爆発をチャンスに】 情報爆発が始まった Webや携帯電話といった情報ソースの多様化、内部統制に向けた情報保存の要請、マーケティングを目的としたより詳細な情報の取得など、企業が扱う情報が飛躍的に増える“情報爆発”が起きつつある。管理コストの増大を懸念する声があるものの、“次の一手”を見出すためには、この情報爆発をチャンスに変えなければなら．．．[2010/10/25]
ke-tai.org > Blog Archive > OSC 2010 北海道の発表で使用したスライド資料「PHPで大規模ブラウザゲームを開発してわかったこと」
OSC 2010 北海道の発表で使用したスライド資料「PHPで大規模ブラウザゲームを開発してわかったこと」 Tweet 2010/6/28 月曜日 matsui Posted in PHP, お知らせ | 7 Comments » 先日6月26日、札幌で「オープンソースカンファレンス2010 北海道」が行われ、無事終了することができました。 当日は来場者数が過去最高の約450名となり、閉会式は会場に収まりきらないくらいの大盛況でした。 ご来場者の方々、スタッフ・事務局の方々、本当にありがとうございました。 私も1コマセミナー枠を戴くことができまして、弊社で「ブラウザ三国志」というゲームのプログラム開発を行った際の苦労やノウハウなどをまとめた、「PHPで大規模ブラウザゲームを開発してわかったこと」という発表を行わせていただきました。 お越しいただけなかった方のためにも、その際に使用したスライ
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った
快適スケールアウト生活への第一歩。SPIDERストレージエンジンを使ってみよう！
先月、Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジンというエントリでSPIDERストレージエンジンによるスケールアウトが凄い！という話を書いた。SPIDERストレージエンジンは凄いヤツだが、ノウハウがあまりウェブ上で見つからない。唯一見つかる日本語の記事は、ウノウラボによる「国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く 」だけである。SPIDERストレージエンジンは斯波氏による単独の作品であるため、斯波氏は開発だけで手いっぱいであり、使い方の紹介記事を書くことまでは手が回らないのであろう。こんな凄いストレージエンジンをドキュメントが足りないせいで使って貰えないなんて勿体ない！！ というわけで、今日はSPIDERストレージエンジンの基本的な使い方について紹介する。少し長いエントリであるが、最後までお付き
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pokémon GOとGCP
スケーリング Dropbox
1台から500台までのMySQL運用(YAPC::Asia編)
https://packetlife.net/blog/2012/mar/19/defending-active-standby-failover/
ソーシャルゲームスケールアウトの歴史
