タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］
ゲーム業界のデータベース事情。大量のシャーディングで複雑化する負荷分散、メンテナンスで止めないとスケールアップ・ダウンができないなどの課題。解決方法は？［PR］ 日常的に多数の同時アクセスが発生し、大量のデータが蓄積されるオンラインゲームのバックエンドは、データベースにとってもっとも過酷な環境の1つだといえます。 このバックエンドデータベースとしてよく使われているのがMySQLデータベースです。しかしその使われ方は一般的なMySQLとは異なり、データベースを細かく分割して多数のサーバに負荷を分散するシャーディングと呼ばれる仕組みを構築するなど、複雑なシステム構築と運用が行われているのが現実です。 そこで急速に注目度を高めているのが、MySQL互換でありつつ分散データベースの機能を備え、シンプルなクラスタ構成で高い負荷に耐える、いわゆる「NewSQL」と呼ばれる分野の代表的なデータベースの1
TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023
イベント開催日：2023年7月7日 講演者：LINE株式会社 ITSC データベース室 MySQL 1チーム ソフトウェアエンジニア 大塚 知亮 氏 本スライドでは、TiDBで大量のログデータを管理するRDBとして、MySQL及びTiDBを検証した過程と結果、そしてオンプレでの運用方法について発表します。通常、超大量のデータ挿入や更新が発生するアプリケーションにMySQLを利用する場合、適切なデータ量や負荷を基準にシャーディングを行って対応します。しかし、それによってシャードを意識したクエリの発行が必要になるだけでなく、シャードをまたいだデータのジョインや整合性の担保に頭を悩ませることになります。この一つの解決策として、MySQL互換の分散データベースであるTiDBは魅力的な選択肢です。このスライドでは、LINEでシャーディングなしで高負荷案件に対応するために、どのように検証し、オンプレで
MongoDB社は、同名のNoSQLデータベースの最新版となる「MongoDB 5.0」のリリースを発表しました。MongoDB 5.0はオンプレミス用と、クラウドサービス「MongoDB Atlas」の両方で提供されます。 Breaking News - CTO @MarkLovesTech announces the release of MongoDB 5.0! Introducing new workloads Future proof apps Next-gen privacy pic.twitter.com/bZhv7vw8kt — MongoDB (@MongoDB) July 13, 2021 MongoDBは、さまざまな種類が存在するNoSQLデータベースの中でも、ドキュメント指向データベースとしてJSON形式のデータ格納を中心としたデータベースです。JSONを用いること
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ データベースを専門としない人からパワポ絵の解像度でこの質問がされたなら「はい大体そんな感じです」と答えるのですが、わざわざ僕宛に質問をしている時点で質問者はただものではないので詳しく説明します。 まず「LSNをmaster nodeが発行する」の所から正しくないのではないかと思います。手元でRDBMSを作った時の知見ですが、ログデータはリカバリのために任意のLSNからそのログの実体までを高速に索引できる必要があり、その際の一番合理的な実装は「ログのオフセットをそのままLSNにする」という方法です。そして、ログのオフセットを取得する一番簡単な方法は「エンキューが成功した
1つのテーブルを複数のデータベースサーバーに分割して記録するデータベースの負荷分散方法を「シャーディング」と呼びます。このシャーディングという言葉が、老舗大規模多人数同時参加型オンラインRPG(MMORPG)の「ウルティマオンライン」に由来していることを、ウルティマオンラインのゲームデザイナーだったラフ・コスター氏が解説しています。 Database “sharding” came from UO? – Raph's Website https://www.raphkoster.com/2009/01/08/database-sharding-came-from-uo/ コスター氏によると、「シャーディング」という言葉の用例をGoogleで検索した中で最も古いものが、2009年に書かれたFriendstarとFlickrの元従業員だったエンジニアのブログだったそうです。Flickrは今でこ
SREによるElasticsearchのQCD改善！シャーディング最適化とオートスケーラー開発の取り組み - ZOZO TECH BLOG
はじめに こんにちは、SRE部 検索基盤SREブロックの花房と大澤です。普段はZOZOTOWNの検索関連マイクロサービスのインフラ運用を担当しています。 ZOZOTOWNの検索基盤では、商品検索に関わる大規模なデータを取り扱うためにElasticsearchを利用しています。Elasticsearchを運用していく中で、私たちはパフォーマンスとインフラコスト、運用トイルの問題に直面していました。本記事では、私たちが抱えていた問題と、それを解決したアプローチとしてシャーディング最適化とオートスケーラー開発の取り組みについてご紹介します。 目次 はじめに 目次 背景・課題 パフォーマンスの課題 インフラコストの課題 運用トイルの課題 解決策 シャーディング最適化 Elasticsearchのシャーディング ノードのインスタンスタイプ変更 負荷試験によるパフォーマンス検証 コスト見積 安全なリリ
米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）は2023年11月27日（米国時間）、年次イベント「AWS re:Invent 2023」の初日の基調講演で、サーバーレスのデータベース（DB）に関する新機能を3種類発表した。独自開発の新しいハイパーバイザー「Caspian」が使われている。 27日に講演したのは、AWSのPeter DeSantis（ピーター・ディサンティス）シニア・バイス・プレジデント（SVP）だ。ディサンティスSVPは例年、独自ハードウエアについて講演しているが、今年はサーバーレスのDBに関連する新機能と、それを実現するためにAWSが独自に開発した新技術について多くの時間を割いて解説した。
Kubernetesオブジェクトのメトリクスを提供する「kube-state-metrics」で使われているシャーディング手法
本記事は、TechFeed Experts Night#7 〜 コンテナ技術を語るのセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 セッション動画 今から**kube-state-metricsに使われているシャーディング(Sharding)**について話していきます。発表者は黒澤といいます。今はZ Labという会社でKubernetesプラットフォームの開発をしたりしています。 kube-state-metricsとシャーディング kube-state-metricsについて改めておさらいなんですが、KubernetesのAPIサーバを監視して各種オブジェクトの状態のメトリクスを提供してくれるコンポーネントです。Kubernetesを運用されている方ならお馴
オラクル、シャーディングを利用したグローバルな分散DBの新サービス「Oracle Globally Distributed Autonomous Database」正式サービス開始
オラクル、シャーディングを利用したグローバルな分散DBの新サービス「Oracle Globally Distributed Autonomous Database」正式サービス開始 オラクルはデータベースを複数のシャードに分割し、それぞれをグローバルに分散させつつ全体を1つの論理的なデータベースとして扱えるOracle Cloudの新サービス「Oracle Globally Distributed Autonomous Database」を正式サービスとして提供開始しました。 Find out how you can more easily address data sovereignty requirements and achieve the highest possible scale and availability with @Oracle Globally Distribute
シャーディング - Qiita
データベースにおける分割手法の１つで、データを複数のノードのディスクに分割配置することで、データベースへのリクエストを分散し全体のスループットを上げる目的で利用されます。 基本的にはお互いのノードではシェアードナッシングの独立したデータを持っているので、各ノードは自分の担当するデータに対してクエリを実行します。 具体的には、アプリケーションからの書き込みのリクエストが支配的で、Primary/Backupのような処理系統によるルーティングではあまり負荷の分散に繋がらないようなケースで利用されます。 e.g) - スケールしたアプリケーションサーバからの同時接続数の限界 - 巨大なデータを扱う際にbufferが溢れDisk/IOが発生する (appendix) Primary/Backup (Master/Slave) アプリケーションの処理の系統によって接続先のデータベースノードを切り替え
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価［PR］
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価［PR］ 複数のデータベースに負荷分散を行い、スケーラビリティを高める代表的な方法の1つに「シャーディング」があります。 シャーディングによる分散処理には、例えばあるテーブルのプライマリキーが偶数の値はサーバAに、奇数はサーバBに分散させるような方法（水平分割）、あるいは「商品名」「価格」「在庫数」「画像へのリンク」の4列を持つテーブルを、「商品名」「価格」と「在庫数」「画像へのリンク」の2列ごとのテーブルに分割して別々のサーバに受け持たせる方法（垂直分割）などがあります。 『週刊少年ジャンプ』の創刊50周年を記念して製作されたゲーム「ジャンプチ ヒーローズ」やパズルRPG「クラッシュフィーバー」「アリスフィクション」をはじめと
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ データベースを専門としない人からパワポ絵の解像度でこの質問がされたなら「はい大体そんな感じです」と答えるのですが、わざわざ僕宛に質問をしている時点で質問者はただものではないので詳しく説明します。 まず「LSNをmaster nodeが発行する」の所から正しくないのではないかと思います。手元でRDBMSを作った時の知見ですが、ログデータはリカバリのために任意のLSNからそのログの実体までを高速に索引できる必要があり、その際の一番合理的な実装は「ログのオフセットをそのままLSNにする」という方法です。そして、ログのオフセットを取得する一番簡単な方法は「エンキューが成功した
Ruby on Rails 6.1 の水平シャーディング対応 & Octopusからの移行事例 - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
この記事は Akatsuki Advent Calendar 2020 の20日目の記事です。 はじめに ゲームサーバでは大量のユーザーデータなどを取り扱うため、データベースの負荷分散のために水平シャーディング(水平分割)が行われることがあります。 アカツキでも、これまで Ruby on Rails や Elixir 等でゲームサーバを開発する中で、それぞれの方法で水平分割を行ってきています。 さて、先日リリースされた Ruby on Rails 6.1 では、待望の水平シャーディング機能が標準でサポートされました。 早速使っていきたいところですが、これまで別の方法で水平シャーディングを実現していたアプリケーションを移行するにあたってはいくつか課題があるため、 それをどう解決するかの一例をご紹介したいと思います。 また、その解決の一環で利用した Ruby の BasicObject クラス
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、データベース室の小田です。 今回はLINEマンガのデータベースをシャーディングした作業について、サーバエンジニア編とデータベースエンジニア編に分けてご紹介したいと思います。 本エントリでは、シャーディングに至った経緯、データベースエンジニア側で検討したことについて書いていこうと思います。 シャーディングに至った経緯 サービスを引継ぐ 前段として少し昔の話をします。私がLINEマンガの担当データベースエンジニアとなったのは、2018年2月中旬のことでした。 LINEマンガのサービス開始が、2013年4月9日だということですので、ちょうど5周年を迎える直前ですね。前任者からは、いいタイミングだからということで
シャーディングとコンシステントハッシュ法
概要 シャーディングのリクエストの割り振り方を学習する。 わかったこと コンシステントハッシュ法と呼ばれるアルゴリズムを使用するとうまく割り振ることができる。 内容 各ノードにkeyに対応したキャッシュを持っていてシャーディング(水平分割)したいケースを考えます。 ルートノードはリクエストされたkeyをみてキャッシュを保持しているノードにリクエストを割り振ります。 どのように割り振ればキャッシュヒット率を上げることができるのでしょうか？ リクエスト先をmodで割り振る まず初めにkeyの値の余りを利用して各ノードがキャッシュを保持し、リクエストを割り振るアルゴリズムを採用してみます。 この方法を使用すると、keyの番号が7のリクエストが来た場合にはノード数3で割った余りが1であるのでキャッシュが存在するノード1にリクエストを正しく割り振ることができます。 次にリクエストが大量に来たのでノー
Pocochaを支えるバックエンド 〜アーキテクチャとDBシャーディング〜【DeNA TechCon 2021】/techcon2021-3
新たな事業を成功させるためには、少人数で高速に機能をリリースしながら仮説検証を行ったり、増えていく利用者のための負荷対策を行ったり、可能であれば外部のソリューションを活用する必要があります。 DeNA のソーシャルライブサービスである Pococha では、小規模チームと限られた予算で高速に機能をリリースし、Amazon IVS などの外部ソリューションも活用しながら、仮説検証を繰り返すことでサービスを拡大させてきました。 また昨今では巣ごもり需要の影響も受け、Pococha は急激に成長しました。非常に多くの方々にご利用いただいた結果、スケールアップでは対応できない規模の負荷をさばく必要が出て来ました。 本セッションでは Pococha がどのような体制やシステム、工夫でこれらの課題を解決してきたのか、Pococha の裏側をご紹介します。
Databases in 2023: A Year in Review | OtterTune Andy Pavlo (CMU, OtterTune) による毎年恒例の DB 業界動向年間レビュー LLMs による Vector Databases の隆盛 (専用の DB ではなく、既存 DBMS の機能としての提供も追いついてきそう) 新標準 SQL:2023、目玉はグラフ構造へのクエリと、多次元配列のサポート。いずれも実装はまだほぼ無し MariaDB (会社側) のごたごた NOTAM というシステムの障害でアメリカ国内線が不通に。80年代に作られたままの、RDBMS を使っていない、おそらく CSV か何かを編集するような自家製 DBMS らしい などなど。相変わらず技術面からファイナンス含めた企業の隆盛までカバーしており面白い Big Data and Beyond: My Pr
この記事の目的 リレーショナルデータベース（以下、RDBMS）を大規模に利用されるときの構成手法として、データベースシャーディング（Database sharding）という方法があります。オンラインゲームやSaaSなどアクセス頻度が高く、個別のユーザーごとの操作による更新量が大きい用途などでデータベースの書き込み性の限界への回避策として多くの場面で利用されている手法です。 この手法の実現方法や得失について簡単に触れた後、この手法の経験者がSpannerを使う場合にシャーディングでの概念をどのようにSpannerに対応できるか解説します。 シャーディングについては十分わかっており、概念の読み替えだけを知りたい方は最後の表をご覧ください。 RDBMSでのシャーディングの構成 シャーディングは通常水平分割で実現されます。つまり1つのテーブルのレコードを複数の異なる物理データベースに配置します。
[レポート]脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと #CEDEC2023 #classmethod_game | DevelopersIO
[レポート]脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと #CEDEC2023 #classmethod_game こんにちは、ゲームソリューション部のsoraです。 今回は、CEDEC2023のセッションレポートを書いていきます。 セッション概要 脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと 受講スキル： ・ゲーム開発に関わる方 ・データベースでお悩みを抱えている方 得られる知見： ・ 分散型データベースの基本的な概念とTiDBの特徴理解 ・ゲーム基盤でのTiDB活用ポイント ・DB選定時のワンポイント セッションの内容： 楽しいね！と言ってもらえるゲームを作る、ゲーム業界に携わるみなさんにとっても最も重要なことだと思いますが、一方で
![[レポート]脱シャーディング！！NewSQLのTiDBで実現 ~楽しいね！を世界中の日常へお届けするためにエンジニアリングで行ったこと #CEDEC2023 #classmethod_game | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e3d0716483b59f9b42992965cd8612fa3fbd98b9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fcedec2023_banner.png)
こんにちは、虎の穴ラボのT.Mです。 この記事は「虎の穴ラボ 夏のアドベントカレンダー」9日目の記事です。 8日目は片岡さんによる「タイムトラッキングをやってみましょう」が投稿されました。 10日目は磯江さんによる「アジャイルで生活をカイゼンする」が投稿されます。こちらもぜひご覧ください。 はじめに 突然ですが皆さんはデータベース(以下DB)のパフォーマンスを向上させる場合、何を思い浮かべますか？ 最初はINDEXやクエリのチューニング、続いて設定周りの見直しでしょうか。 場合によっては正規化をあえて崩し、テーブルの再設計などを行うかもしれません。 またサーバスペックを上げたり、リードレプリカを増やすなどの負荷分散も試すことでしょう。 今回触れるPlanetScaleは、負荷分散の手法の一つであるシャーディングを得意とします。 シャーディングといえば面倒なイメージがありますが、Planet
テーブル分割の必要性 みなさんBigQuery使っていますか？？私は使っています！！ データエンジニアのような職種の方なら一度は触ったことがあるであろう、Google Cloudで提供されているBigQueryですが、よく意味を間違って使われていたりする言葉や、実施すればパフォーマンスが上がるのに実施されていない処理があるように見受けられます。 今回タイトルにもなっている パーティショニングとシャーディング はまさにそれに該当する用語で、インターネットを回遊しているとシャーディングのことをパーティショニングと呼んでいるような記事も散見されます。 とはいえ私自身も認識を間違っていたらまずいので、今回、改めて調べ直して纏め直します。 いずれもBigQueryで特にログ系のテーブルのような大きなテーブルを扱う場合には必須の内容かと思います。 パーティショニングとシャーディングについては、Goog
多量の情報を扱うシステムを作成する際に一番の問題になるのがDataBaseの負荷です。 DataBaseはデータの保存、検索、管理等が容易に行える点が利点ですが 考えなしに、1箇所にデータを集めてしまうと一定のラインを超えた瞬間から顕著にレスポンスの低下が見られます。 その対策としてよく用いられるのがシャーディングです。 今回はこのシャーディングについて、活用方法とその効果に関して紹介していきます。 シャーディングとはDataBaseの負荷分散方法の1種です。 水平分割とも呼ばれます。 同じテーブルを複数のDataBaseに用意し、1つのテーブルに保存していたレコードを分散する事で 各DataBase内に保持されるレコードの量をへらす負荷分散の方法です。 1つのテーブル内のレコード数が大きくなる事で、低下していく処理速度を複数のDataBaseに分ける事で 1テーブル内のデータ量を減らし、
ブロックチェーンに関わる技術の普及や知識・情報の共有を目的としたイベント「blockchain.tokyo」。オンライン開催第2弾となる今回は、LayerX R&Dチームが直近の研究成果について解説を行いました。Researcherの岡南直哉氏は、「Account/Balanceモデルのシャーディングと課題点」というテーマで登壇。バリデータのシャッフルによるオーバーヘッドやクロスシャードトランザクションによるUXの悪化、特定シャードへの負荷集中といった課題の原因や解決法について、最新の研究も含めて解説しました。講演資料はこちら シャーディングやEthereum、CBC Casperについて研究 岡南直哉氏：「Account/Balanceモデルのシャーディングと課題点」というタイトルで岡南が発表します。 まず自己紹介です。Layer XのResearcherとして働いていまして、2019年
「Merge」完了後のイーサリアム、次は？──シャーディング、ロールアップ、Verkleツリー… | CoinDesk JAPAN（コインデスク・ジャパン）
パリで先日開催されたイーサリアム・コミュニティ・カンファレンスにおいて、イーサリアムの共同創業者ヴィタリック・ブテリン氏は、大型アップグレード「 Merge（マージ）」後のイーサリアムに期待することを語った。そしてブテリン氏はカンファレンスの最後には、マージが完了しても、イーサリアムは約55%しか完了しないと明かした。 関連記事：「イーサリアムの『The Merge』とは？【基礎知識】」 マージとは、現行のプルーフ・オブ・ワーク（PoW）のイーサリアムメインネットプロコトルが、プルーフ・オブ・ステーク（PoS）ブロックチェーンシステムのビーコンチェーン（Beacon Chain）と融合し、PoSとして続いていくことを意味する。 マージ後の世界で、イーサリアムはどうなるのだろうか？多くの人たちはマージを、イーサリアムネットワークの最後の締めくくりと考えてきた。しかしブテリン氏によれば、イーサ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDB 5.0が登場。時系列データ対応、実行中のシャーディング変更に対応など
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ | mond
データベース用語の「シャーディング」はMMORPGの「ウルティマオンライン」が由来かもしれない
AWSがサーバーレスDBの新機能、シャーディングの自動化など実装
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ | mond
日銀、ブロックチェーンスケーラビリティ問題の現況まとめた論文発表 〜オフチェーン・サイドチェーン・シャーディングなど対応策を調査報告
LINEマンガのデータベースをシャーディングしました (データベースエンジニア編)
最近読んだもの 59 - DB 動向年間レビュー、各社のシャーディング事例など
シャーディング経験者に向けたSpannerのコンセプト解説
PlanetScaleでシャーディングに触れてみよう - 虎の穴開発室ブログ
BigQueryのパーティショニングとシャーディングを改めて整理する | ABC DX Tech Blog
シャーディングとは、テーブルシャーディングという可能性【水平分割】 | SEO対策なら株式会社ペコプラ
LayerXのリサーチャーが考える、Account/Balanceモデルのシャーディングの課題
anond.hatelabo.jp
toyokeizai.net
news.yahoo.co.jp
gameboku.com
pc.watch.impress.co.jp
k-tai.watch.impress.co.jp