PostgreSQL Advent Calendar 2019の14日目です。 PG-Stromの開発をやってると、しばしば聞かれるのが 『マルチノードの並列処理って対応してるんですか？』 という質問。 まぁ、『対応しておりませんし、対応する予定もございません』という回答になるんですが、別にこれはウチのやる気の問題ではなく、PG-StromはPostgreSQLの拡張モジュールとして設計されているため、並列分散処理に関しては他のメカニズムに任せてしまえばよい、というだけの話である。 そこで、今回は同じくPostgreSQLの拡張モジュールとして実装されているスケールアウト機能の Citus と、PG-Stromを組み合わせてちゃんと動作するんですよという事を検証してみる事にする。 Citusとは? PostgreSQLにデータ分散と並列処理機構を付加する拡張モジュールで、PostgreSQ
isucon12 チーム「パカパカアルパカ」で本戦Failしてきました #isucon - アルパカDiary Pro
※レポート遅すぎてすみません！ isucon12、チーム「パカパカアルパカ」として初本戦に出場しFailで終了してきました！残念！ チームメンバーのブログもありますので是非ご参照くださいませ。 techblog.tver.co.jp テーマ ISU CONQUESTというソシャゲアプリケーションのチューニングでした。 すでに公式から 解説記事が出ているのでそちらを見ていただいくとわかりやすいと思います。 開始早々サーバが５台あることが判明し、これは分散がキーになりそうだな？という想像がつきました。1 自分のやったこと 序盤はいつもどおり足回り系と、モニタリング系の準備。 また予選では複数デプロイスクリプトがいまいちだったので、それも今回事前に用意しておいてシュッと複数サーバにデプロイ出来るようにしておいたのは良いポイントでした。 あとalpのregex集計が便利すぎて「alp便利〜」とずっ
わかる！Firestore
tl;dr Firestore は NoSQL のサーバーレスデータベース。 新規開発ならネイティブモードを選択する。 ドキュメント指向のデータモデルを採用していて、コレクション、ドキュメントの階層構造で構成される。 サブコレクションを使うと効率よくクエリができる。 直近のアップデートで、より使いやすくなった。 はじめに みなさん、こんにちは。Google Cloud パートナーエンジニアの Sho です。 この記事は Google Cloud Japan Advent Calendar 2022（今から始める Google Cloud ） の 12/11 の記事です。本記事では、Firestore を取り上げてご紹介させていただきます。 Cloud Spanner や AlloyDB など特徴的なデータベースラインナップを持つ Google Cloud ですが、その中でも NoSQL デ
3 か月で 30 倍の需要増: COVID-19 期間中の Google Meet のスケーリングはどのように成し遂げられたか | Google Workspace ブログ
※この投稿は米国時間 2020 年 8 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。 COVID-19（新型コロナウイルス感染症）の蔓延で、私たちは物理的接触を回避した生活を強いられています。そんな中、多くの人が社会、教育、職場のつながりを保つためにオンライン ビデオ会議に目を向け始めました。次のグラフに示すように、この変化によって Google Meet のユーザー数は大幅に増加しています。 この投稿では、COVID-19 による Meet 利用者数の 30 倍の増加に先駆けて Google がどのようにして Meet のサービス キャパシティを確保し、数多くのサイト信頼性エンジニアリング（SRE）のベスト プラクティスを活用してその成長を技術的かつ運用的に持続可能にしたかについて紹介します。 初期アラートCOVID-19 が世界中に広がるにつれて、人々
GitHub Actionsで実行するstorycap / reg-suit の高速化 - ROUTE06 Tech Blog
こんにちは！ROUTE06 プロダクトデベロップメント本部の @mh4gf です。 現在僕が関わっているプロジェクトでは、実装の変更に伴う UI のデグレードを検知するためにstorycapとreg-suitを利用した Visual Regression Test を GitHub Actions で実施しています。 運用を進める中で撮影対象のスクリーンショット数も増え、テスト実行時間の増加に悩まされてきました。テスト高速化に取り組みいくつかの改善に成功したため、この記事でその方法を紹介します。 3 行まとめ まず最初に取り組むべき並列実行の基本についてはこの記事を参照してください https://blog.wadackel.me/2022/vrt-performance-optimize/ turborepo を利用し storybook の差分ビルドを行う GitHub Actions
2021 年の Cloud Spanner を振り返る
この記事は Google Cloud Japan Advent Calendar 2021 の 14 日目の記事です。本記事は 2021 年 12 月 14 日現在の情報に基づいて書いています。 こんにちは、Google Cloud で Database Specialist をやっている佐藤です。今回は Cloud Spanner 冬休み講座と題して、2021 年の Cloud Spanner を振り返ってみようと思います。これらをおさえておけば、来年に向けた Cloud Spanner の復習と予習はバッチリ！さて 2021 年は Cloud Spanner にとってどんな年だったでしょうか？ 目次1 時間目：Cloud Spanner はどんなデータベース？2 時間目：インスタンスの運用管理機能の向上 — 0.1 ノード インスタンスの登場 — 任意の時点のデータを復元する PITR
※この投稿は米国時間 2021 年 4 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。 BigQuery と Bigtable のどちらを使うべきかで迷っているユーザーは多いと思います。この 2 つのサービスは、名前に「Big」が含まれているなど多くの共通点がありますが、ビッグデータのエコシステムにおいてこの両者がサポートするユースケースは大きく異なります。 大まかに言うと、Bigtable は NoSQL ワイドカラム型データベースであり、低レイテンシ、大量の読み取りと書き込み、大規模なパフォーマンスの維持向けに最適化されています。IoT、アドテック、フィンテックなど、一定の規模やスループットでレイテンシ要件が厳しいものは、Bigtable のユースケースに該当します。大規模な高スループットと低レイテンシが優先事項でない場合は、Firestore などの
MySQLを運用していると、さまざまなファイルやテーブルが予想していたよりも大きくなり、ストレージ容量を逼迫する問題が起こることがあります。また、クエリの結果セットが大きいためにネットワーク帯域が逼迫され、問題になることもあると思います。これらの問題はスケールアップ、データベースシャーディング、または圧縮機能などを使って解決できます。 今回はその中から、MySQLが提供しているさまざまな圧縮機能についてまとめて紹介します。MySQLではデータ、テーブル、バイナリログやデータ転送に圧縮機能を提供しています。 関数によるデータ圧縮 はじめに、関数によるデータを圧縮する方法を紹介します。 データ圧縮を行うのはCOMPRESS関数です。指定した文字列をzlibで圧縮して、その結果をバイナリ文字列として返します。展開するにはUNCOMPRESS関数を使用します。 文字コードの変換など発生を防ぐために
[レポート] SmartHR が少人数で Google Cloud へ（ほぼ）全移行を完了させた方法 ＃GoogleCloudDay | DevelopersIO
こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。 「Google Cloud Day: Digital ’22」が2022年4月19日~21日に開催されました。 本ブログはイベント内のセッション「SmartHR が少人数で Google Cloud へ（ほぼ）全移行を完了させた方法」のレポートブログです。 セッション概要 概要 SmartHR は、今年 1 月にほぼ全てのプロダクトを Google Cloud へマイグレーションしました。 我々が、どのような課題を持っており、どう考え、どこで苦労したか？を交えながら、 如何にして少人数でマイグレーションを実施したかをご紹介させていただきます。 取り上げる主な Google Cloud 製品 / サービス App Engine Cloud Run Cloud SQL スピーカー 株式会社SmartHR 藤村 宗彦
![[レポート] SmartHR が少人数で Google Cloud へ（ほぼ）全移行を完了させた方法 ＃GoogleCloudDay | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ff901cd0c5804a8fcde4847f3d33e58ceb4290bc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F12%2Fgcp-google-cloud-eyecatch-2021.png)
チームメンバーの感想エントリーはこちら。 blog.kamipo.net memo.sugyan.com 良い問題だった。 それだけに悔しくて、悔しくて、この2日間ずっと考えてたけど、どこかで区切りをつけなきゃいけないので筆を取る。 去年の失敗から学んだこと 先によかったことを書く。 まずギリギリまで手を動かせるほど力を出し切った。 兎に角みんな id:kamipo さんの 感想戦を見てほしいのだけどやりたいことはまだまだ沢山あった。 けど時間が全然足りなかった。 昨年のような手詰まりにならなかったのは成長だと思う。 github.com また初動の対応やNewRericを試す、愚直なprintデバッグを用意するなど反省を活かせたところも沢山あった。 こういうのは「去年と同じチームで出たメリット」だったなと思う。 だからこそ、去年よりも悔しさは大きかった。 そしてそれだけ力を出し切って負け
サービス開発部Backlog課の@vvatanabeです。今年の4月にSRE課からBacklog課へ異動しました。よりプロダクトにコミットしていく機運の高まりを感じています。 今回は、Backlogが提供するGitホスティングにおいて、可用性・信頼性を保つためにどのように冗長化と負荷分散を実現しているのか、その仕組みについて解説します。 ※ 本記事はNuCon mini 2022 Springで発表した内容をブログ化したものです。 取り扱うデータの特性 初めに、Gitホスティングで取り扱うデータの特性について解説します。 リポジトリという単位のオブジェクトデータベース Gitホスティングではベアリポジトリと呼ばれるリポジトリを取り扱います。ベアリポジトリとはワークツリーを持たないリポジトリです。具体的には、ローカルマシンに git clone して使っているリポジトリ内の、 .git ディ
Cloud Datastoreの日時範囲指定について
こんにちは。GMOアドマーケティングのH.Tと申します。 最近Cloud Datastoreを触った際日時範囲指定の必要があるスキーマ設計について 公式ドキュメントに記載のあるベストプラクティスを試したのでご紹介したいと思います。 Datastoreの概要 まず、Cloud Datastoreの簡単な紹介ですが以下の通りです。 公式ドキュメント[Datastore の概要] Datastore は、自動スケーリングと高性能を実現し、アプリケーション開発を簡素化するように構築された NoSQL ドキュメント データベースです。 インデックスの注意事項 Cloud Datastoreの特徴は色々ありますがその一つに Datastoreのデータをうまくシャーディングさせるためには連続した値を持つプロパティにインデックスを張ってはいけないという注意事項があります。 公式ドキュメント[Cloud D
Vitess as a Service：Vitessのフル・マネージド・サービスを試す（導入編） - そこはかとなく
注意：本記事の内容は所属企業とは全く関係がありません。個人の趣味です。 Kubernetes Advent Calendar 2019 - Qiita 15日目です。 Vitessとは Vitess as a Service：PlanetScale CNDb ログイン Create your first cluster Create Database 終わりに Vitessとは Vitessを皆さんはご存知でしょうか？ CNCFが2019/11/5にVitessのGraduateを発表し、 さらにCloudNativeCon 2019 SanDiegoでもKeynoteに取り上げられたこともあり注目度・認知度が上がってきているのではないでしょうか。 Vitessは一行で説明すると"MySQLの水平スケーリングを実現するためのデータベースクラスタリングシステム"です。 Vitessの大きな特
イーサリアムの周りでいま何が起こっているのか
注目すべきは「ステーキング」と「シャーディング」 イーサリアムは、このままイーサリアムキラーにやられっぱなしというわけではありません。スケーラビリティの問題を認識し、取引記録を保管するブロックスペースで発生する「渋滞」を解消しようと既に動き出しています。これが「イーサリアム2.0」と呼ばれる大型アップグレードです。 イーサリアム2.0は、最近、コンセンサスレイヤーという名称に変更されました。理由は、今のイーサリアム（イーサリアム1.0）と異なるものができるわけではなく、あくまでもともとあったイーサリアムの構想の1つとしてのアップグレードだからといわれています。しかし「イーサリアム2.0」はすでに業界的に定着した用語であることから、この記事では、便宜上「イーサリアム2.0」を使いたいと思います。 イーサリアム2.0の目玉となるのが、イーサリアムの「ステーキング」と「シャーディング」です。ステ
JAWS-UG横浜「Aurora Serverless v2 Deep Dive」に参加してきた | DevelopersIO
AWSチームのすずきです。 2022年4月23日に開催されたJAWS-UG横浜、 アマゾンウェブサービスジャパンの星野豊氏による、Aurora Serverless v2 Deep Dive を視聴する機会がありました。 アーカイブ動画はYoutubeで公開されていますが、4月22日に一般公開された直後の Aurora Serverless v2 (以降v2)について、 印象的だった内容についてレポートします。 JAWS-UG横浜主催「Aurora Serverless v2 GAスペシャル！！」 YouTube(アーカイブ) 直リンク 発表者について Amazon Aurora MySQL 開発チームに所属するSA 星野豊さんでした。 前提事項 v2 GA当日(2022年4月23日)の資料との事でした v2のコンセプト アプリケーション負荷に応じたマネージドなDB性能調整 実際に利用した
とても良い本だった。 MySQL の初級・上級の本は既刊であるが、その間を埋めるものがないので書かれたというもので、難易度を 1 ~ 5 で表すと 4 くらい、難易度 5 は 実践ハイパフォーマンスMySQL とのことだった。 あくまで深堀りしたいアプリケーションエンジニア向けの本で、DBA 向けではないと明記されていた。実際 MySQL (InnoDB) の実装詳細の説明が適度に打ち切られていて、ただし必要十分なトピックはカバーされていて、学習効率が良い。 筆者は Hack MySQL を運営していたり、過去に Percona で数々のツールを作ってきた実績 もあり、信頼が置ける。 1. Query Response Time まず North Star Metrics としてクエリのレスポンスタイムを定義し、その改善に必要な項目を体系立てて説明している。この構成がかなり良くて、明確な指
【レポート】『あんさんぶるスターズ！！ Music』を支える Amazon ECS ～人気ゲームの新作でのコンテナ化～ #AWSSummit | DevelopersIO
【レポート】『あんさんぶるスターズ！！ Music』を支える Amazon ECS ～人気ゲームの新作でのコンテナ化～ #AWSSummit こんにちは、コンサルティング部の後藤です。 皆さん、AWS Summit Online 2020楽しんでいますか？今年のAWS Summitはオンライン形式でライブセッションが9/8 ~ 9/9の期間配信されており、150を超えるオンデマンドセッションも9/30まで視聴することが出来ます。 今回はその中からHappy Elements様の事例セッションを見てきましたので、セッションレポートを投稿させて頂きます。 『あんさんぶるスターズ！！ Music』を支える Amazon ECS ～人気ゲームの新作でのコンテナ化～ セッション概要 2020 年 3 月 15 日スマートフォンゲームアプリ『あんさんぶるスターズ！』の新作リズムゲーム『あんさんぶるスタ
マッハバイトにRedis Sentinelを導入した話とClusterデータ移行ツールを自作した話 - LIVESENSE ENGINEER BLOG
インフラグループの春日です。 従来のパッチワーク的なアップデートとは別に、完全新規にサーバーを構築し直すメンテナンスのことをインフラグループでは 式年遷宮 と呼んでいます。 我々は以下の目的でオンプレサーバーに対して定期的に式年遷宮を実施しています。 OSやミドルウェアのバージョンUPになるべく追従して脆弱性や不具合を回避する アップグレードや設定変更の積み重ねで汚れたOSをクリーンな状態に戻す より良い構成に変えて運用負荷を減らしていく 今回は マッハバイト で使っている Redis の式年遷宮で、 可用性向上のため Redis Sentinel を導入 速さを求めて Redis Cluster のデータ移行ツールを自作 した話をさせていただきます。 Redis Redis Sentinel を導入 Sentinel 導入前の構成と課題 Active Standby 構成 Replica
[レポート]「最近のAuroraのアップデート使いこなし術」という発表を行いました – Developers.IO TOKYO 2019 #cmdevio | DevelopersIO
大栗です。 先日開催したDevelopers.io 2019 Tokyoで最近のAmazon Auroraについてのアップデートをご紹介する発表をさせて頂きましたので、まとめたいと思います。 最近のAuroraのアップデート使いこなし術 セッション概要 Amazon Auroraとは Amazon Auroraはre:Invent 2014で発表され、AWS史上最も早く成長しているRDBMSのサービスです。OSSのRDBMSをベースにして大量アクセスを捌くためにスループットを向上させる方針で開発しています。そのため御自身のワークロードによってはオリジナルのMySQLやPostgreSQLを使うほうが良い場合もあります。 Aurora Storage Engineという3個のAvailability Zoneに跨って構成される論理的な共有ボリュームに対して、マスタやスレーブのインスタンスがア
![[レポート]「最近のAuroraのアップデート使いこなし術」という発表を行いました – Developers.IO TOKYO 2019 #cmdevio | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c25becf1f5c53d8d3bf21985930afa4016c54353/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F11%2Fimg_devio2019_session.jpg)
どうも、記事としては久しぶりの投稿になります。 極度妄想(しなさい)です。 今日は、BitcoinやEthereumのヘビーユーザーなら誰でも苦しむ手数料を解決すると期待されるLayer２について、まとまった情報を提供したいと思います。 この記事を要約すると次の通りです。 ・BitcoinとEthreumではL1の設計思想や目標の違いがL2にもそのまま残っている。Bitcoinはプライバシー重視のP2P取引、Ethereumはスマートコントラクトの利便性最大化。 ・Lightning Networkの仕組みは送金用途に限ると、Ethereum L2の送金よりもはるかにスケーラブルではあるが、Ethereum L2にはない問題がありうる ・Lightning Networkのコストとプライバシーは去年L1のアップデートでさらに改良された ・EthereumのLayer2 はEthereum
この記事は、著者の許可を得て配信しています。 https://lukerissacher.com/blog/optimizing_your_web_app Webアプリを100倍に最適化するのは、99台のサーバーを追加するようなものです。 最近の技術的な議論の多くは、膨大なトラフィックを処理するためにWebアプリのインフラストラクチャをスケーリングすることに焦点を当てています。 Hacker Newsには、Kubernetes、分散システム、データベースのレプリケーションに関する記事が多数掲載されています。GitHubのLarge-Scale System Design Primer は非常に評判が良く（113kスター獲得）、memcacheクラスタやDB シャーディングに関するアドバイスが満載です。 Webベースのノートパットアプリを毎日100億人のユーザーに対応できるようにしようという
TL;DR 原則としてパーティションテーブルを使うが、上位互換ではないため１次保存層にはシャーディングテーブルを使う マサカリください 概要 データ分析を行う際には分析基盤の整備が欠かせません 分析基盤としては様々なプロダクトがありますが、そのなかでBigQueryには下記の利点があります よく使われるため分析者にとって馴染み深い 処理が分散実行されるためとても高速 GCPのフルマネージドであるため運用が楽 ここではデータ加工層(データマート、データウェアハウス)だけでなく、１次保存層(データレイク)としてもBigQueryを用いる場合について考えます ※データの３層構造に関しては下記記事の思想に従います http://yuzutas0.hatenablog.com/entry/2018/12/02/180000 あなたが格納しようとしているデータが日毎に増えていくような大規模データである
PyTorch 2.4におけるベータ版としては、torch.compile()におけるPython 3.12を使用したモデル最適化への対応や、CPUでAOTInductorを使用する際にフリーズフラグをオンにできるようになり、AOTInductorでInductor CPPバックエンドと同じオペレーションシナリオセットをカバーして、同等のパフォーマンスの実現を可能にする機能が追加されている。 あわせて、Pythonの組み込み演算子のように動作するカスタム演算子を使用して、PyTorchを拡張することが容易になる高レベルPythonカスタム演算子APIの追加や、初期化時間を大幅に短縮してスケーラビリティを向上する、TCPStore用の新たなデフォルトサーババックエンドとなるlibuvの導入が行われた。 プロトタイプ機能としては、dim-0パラメータごとのシャーディングを使用してFSDP1のフ
BigQuery ExportしたGA4のデータに対するクエリをGUI操作で簡単に生成できる「GA4 SQL」を試してみた | DevelopersIO
BigQuery ExportしたGA4のデータに対するクエリをGUI操作で簡単に生成できる「GA4 SQL」を試してみた さがらです。 BigQuery ExportしたGA4のデータに対するクエリをGUI操作で簡単に生成できる「GA4 SQL」を試してみたので、本記事でその内容をまとめてみます。 GA4 SQLとは GA4 SQLは、BigQuery ExportしたGA4のデータに対するクエリをGUI操作で簡単に生成できる無料のサービスです。 Metrics、Dimension、日付範囲、クエリ対象のBigQuery上のテーブルの名前を選択すると、ツールはBigQueryから関連データを取得するためのSQLクエリを自動的に生成します。 実際に使いたい場合には、下記のリンク先からすぐに使用することが出来ます！ 参考 なぜこのツールを私が知ったのかと言うと、@ryuka01さんのツイート
HerokuからGCPへのインフラ移行 〜ダブルライト検証編〜 - PLEX Product Team Blog
アイキャッチ こんにちは、Plex Job 開発チームの池川です。 Plex Job では従来、バックエンドのデプロイ先として Heroku を使用していましたが、2024年1月に GCP に移行しました。 移行にあたって、移行後しばらくはいつでも旧環境に切り戻せるようにしておく必要があったほか、切り戻し時に発生するサービスの休止時間もなるべく抑えたかったため、新旧 DB にダブルライトする方法が取れないか検証しました。 結論としてはダブルライトは不採用としたのですが、不採用とした経緯も含め検証して得た知見を今回はまとめたいと思います。 検証環境 設計 1. コールバックは順番が保証されているか 2. コールバックがスキップされる ActiveRecord のメソッドがある 3. Active Storage に対応可能か 実装 1. 設定の追加 2. モジュールを作成する 3. Appl
先日 Deno のv1.9がリリースされ、HTTP/2 に対応したサーバを立てられるようになった。 deno.com zenn.dev この記事では Deno で実際にサーバを立てながら、HTTP/2 の特徴を見ていく。 動作確認は以下の環境で行った。 Deno1.9.0 Google Chrome90.0.4430.72 curl7.54.0 TLS の利用が必須 Deno で HTTP/2 対応のサーバを立てるためには、TLS の利用が必須である。 これは Deno に特有のことではなく、現在の主要なブラウザは全て、TLS 上でのみ HTTP/2 を利用できるようになっている。 仕様上では TLS を使わなくても HTTP/2 を利用できることになっているが、実務においては TLS の利用が前提になっていると考えていいと思う。 そのため、ローカル環境で HTTP/2 を利用したい場合は
今後のプロジェクトで Cloud Spanner の導入を検討すべき 3 つの理由 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 8 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 データベースは、ほぼすべてのアプリケーションの重要構成要素です。アプリケーションを設計するときは、例外なくアプリケーション データを永続的に保存する必要があります。共有データベースにデータを永続的に保存しなければ、アプリケーションのスケールも基盤ハードウェアのアップグレードも行えません。さらに悲惨なことに、インフラストラクチャに障害が発生すると、すべてのデータがただちに失われます。 信頼性の高いデータベースがあれば、アプリケーションをスケールでき、データの永続性と整合性、サービスの可用性を確保し、システムのサポートが容易になります。データベースは、ほぼすべてのアプリケーションの重要構成要素です。 Google Cloud の Spanner データベースは、Google
本記事は2022年11月に開催した「Tech-Verse 2022」で発表したセッションを要約したものです。アーカイブ動画を文末に掲載しています。質疑応答の様子も収録されていますのでぜひご覧ください。 Yahoo!ショッピングは1999年からサービスを開始しており、毎年、年末商戦の大規模なセールを実施してきました。特に11月11日を「いい買い物の日」と定めて、2015年～2019年はセールを開催していましたが、2018年にPayPayがサービスを開始したこともあり、2020年からは「超PayPay祭」と銘打っていくつかの季節で大規模セールを開催しています。 下図は、大型セールで「最も売れた日の取扱高」を棒グラフで示しています。年々記録は伸びており、2014年と2021年を比べると40～50倍もの差がありました。なお、2022年は現在もセール開催中のため、さらに伸びるかもしれません。 また、
※この投稿は米国時間 2020 年 3 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Twitter の広告プラットフォームでは、日常業務の一環として数十億もの広告エンゲージメント イベントが日々発生しています。そしてこれらのイベントのひとつひとつが、ダウンストリームの数百もの集約指標に影響を及ぼす可能性があります。広告主がユーザー エンゲージメントを測定し、広告キャンペーンを効率よく追跡できるように、Twitter はさまざまな分析ツール、API、ダッシュボードを提供しています。これらは 1 秒あたりに数百万もの指標をほぼリアルタイムで集約することが可能です。 本投稿では、Steve Niemitz がリードを務めるTwitter の収益データプラットフォームエンジニアチームが、Twitter の広告分析プラットフォームの収益正確性と信頼性を向上させる
NRI OpenStandia Advent Calendar 2020の20日目です。 本日は他の皆さんとは少し趣向の異なる記事となりますが、よろしくお願いいたします。 はじめに つい先日、2020年12月1日にEthereum 2.0のフェーズ0-ビーコンチェーンが正式に稼働されはじめました🎉 数年前から開発ロードマップで計画されていた Ethereum2.0の幕がいよいよ開けたことに感慨深い方もいらっしゃるのではないでしょうか。何を隠そう、私もその１人です。 Ethereum 2.0の特徴の一つとして、コンセンサスアルゴリズムがPoW（Proof of Work）からPoS（Proof of Stake）に移行することが挙げられます。これにより、巨大なマシンパワーを提供せずともブロックを提案できるノードになれるようになりました（このようなノードをEthereum 2.0ではバリデー
AWS⑦『あんさんぶるスターズ！！ Music』を支える Amazon ECS ～人気ゲームの新作でのコンテナ化～ 『あんさんぶるスターズ！！』新作アプリをコンテナ化してわかったこと 学習コストの低いAmazon ECS導入プロセスとその結果 2020年9月8日から23日間にわたりオンライン上で開催された「AWS Summit Online」。アマゾンウェブサービス（AWS）の最新情報からテクニカル向けの特別講演、ユーザーの事例紹介など、150を超えるセッションが実施されました。本記事では、環境構築の容易さ・可搬性と技術的負債の返済を目的に導入したコンテナ化の成果についてのセッション「あんさんぶるスターズ！！ Music』を支える Amazon ECS ～人気ゲームの新作でのコンテナ化～」の模様をお送りします。 人気ゲーム『あんさんぶるスターズ！！Music』のコンテナ化 鷲見啓志氏：それ
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ データベースを専門としない人からパワポ絵の解像度でこの質問がされたなら「はい大体そんな感じです」と答えるのですが、わざわざ僕宛に質問をしている時点で質問者はただものではないので詳しく説明します。 まず「LSNをmaster nodeが発行する」の所から正しくないのではないかと思います。手元でRDBMSを作った時の知見ですが、ログデータはリカバリのために任意のLSNからそのログの実体までを高速に索引できる必要があり、その際の一番合理的な実装は「ログのオフセットをそのままLSNにする」という方法です。そして、ログのオフセットを取得する一番簡単な方法は「エンキューが成功した
AlloyDB for PostgreSQL の仕組み: データベース対応のインテリジェントなストレージ | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 5 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は本日、Google I/O にて AlloyDB for PostgreSQL を発表いたしました。これは、要求が厳しいエンタープライズ クラスのトランザクション ワークロードと分析ワークロードに使用できる、PostgreSQL 対応のフルマネージド データベースで、PostgreSQL で弾力性のあるストレージとコンピューティング、インテリジェントなキャッシュ、AI / ML による管理といったクラウドの利点を最大限に活用できるようになります。さらに、AlloyDB は圧倒的なコスト パフォーマンスを実現します。パフォーマンス テストでは、標準の PostgreSQL と比較してトランザクション ワークロードで 4 倍以上、分析クエリで最大 100 倍
Tinder における大規模な回復性構築のための Amazon ElastiCache の利用 | Amazon Web Services
Amazon Web Services ブログ Tinder における大規模な回復性構築のための Amazon ElastiCache の利用 この記事は、Tinder 社の William Youngs 氏 (ソフトウェアエンジニア) 、Daniel Alkalai 氏 (シニアソフトウェアエンジニア) 、Jun-young Kwak 氏 (シニアエンジニアリングマネージャー) らの寄稿によるものです。Tinder は、2012 年に大学のキャンパスで生み出され、世界で一番利用されているマッチングアプリに成長しました。現在までに、このアプリは 3 億 4,000万件以上ダウンロードされており、190 の国々において 40 以上の言語で利用されています。2019 年の第3四半期時点において、Tinder には 570 万人の登録者がおり、ゲーム以外のアプリの中では世界で最も成長しているもの
シャーディングとコンシステントハッシュ法
概要 シャーディングのリクエストの割り振り方を学習する。 わかったこと コンシステントハッシュ法と呼ばれるアルゴリズムを使用するとうまく割り振ることができる。 内容 各ノードにkeyに対応したキャッシュを持っていてシャーディング(水平分割)したいケースを考えます。 ルートノードはリクエストされたkeyをみてキャッシュを保持しているノードにリクエストを割り振ります。 どのように割り振ればキャッシュヒット率を上げることができるのでしょうか？ リクエスト先をmodで割り振る まず初めにkeyの値の余りを利用して各ノードがキャッシュを保持し、リクエストを割り振るアルゴリズムを採用してみます。 この方法を使用すると、keyの番号が7のリクエストが来た場合にはノード数3で割った余りが1であるのでキャッシュが存在するノード1にリクエストを正しく割り振ることができます。 次にリクエストが大量に来たのでノー
はじめに 分散システムやってるとどこからでも安全に採番できる強い衝突耐性をもったuuid的なほげほげidがほしくなります。 世にほげほげidはたくさんありますが、適当にREADMEとかよんでもみんな「これイケてるで！」「uuidとかより文字数すくないで！」「sortableでうれしいで！」とかそういうことばっかいっててどの程度衝突耐性があるのかよくわからん問題があります 今回はほげほげidの構成要素の調査と衝突耐性をざっとまとめて比較しようと思います。 比較する項目 ざっくり random bit数 衝突耐性 ソートできるか その他メモ みたいな感じで整理して比較していきます。 衝突耐性は 衝突確率P=0.5のときの必要な試行回数 乱数以外の識別要素 の2つで評価します。たとえばtimestampとか入れてるやつは暗号学的な安全性には寄与しないけど実用上はある精度の時刻で識別できて衝突耐性
週刊Railsウォッチ（20191209前編）Pumaのphased-restartとUnicornのgraceful restart、RailsのTZハックが不要になった話ほか｜TechRacho by BPS株式会社
2019.12.09 週刊Railsウォッチ（20191209前編）Pumaのphased-restartとUnicornのgraceful restart、RailsのTZハックが不要になった話ほか こんにちは、hachi8833です。ChainerがPyTorchに乗り換えられたそうです。 Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 | 株式会社Preferred Networks https://t.co/rytkSs6z7c おお。正しい判断ではないでしょうか。お疲れ様でした。 — Yuta Kashino (@yutakashino) December 5, 2019 サイト: Chainer: A flexible framework for neural networks サイト: PyTorch つっつきボイス:「ついさっき上のツィー
Google様主催のG.I.G.プログラム第2回セッションを受講しました - 虎の穴開発室ブログ
こんにちは。虎の穴ラボの植竹です。 2022年4月より、Google様よりG.I.G.プログラムにお誘いいただき、弊社からは2名のエンジニアが参加しました。 かねてよりFantiaで GCP を利用している繋がりで、この度プログラムへの招待をいただきました。 G.I.G.プログラムとは「各業界をリードするエンジニアに向けた、Google Cloud Platform の特別トレーニング プログラム」でして、G.I.G.の正式名称は「Google Cloud Innovators Gym」となります。 要は、招待制の無料で受けられるGCPスキル向上のための研修プログラムですね。 主な内容としては ・全3回の集合形式セッション講座 ・Google Cloud エンジニアによる学習サポート時間の提供 ・Google Cloud 認定資格試験のサポート ・Coursera を使った学習コースの無料
Amazon ElastiCache for RedisがSSDキャッシュに対応。大容量のキャッシュを低コストに運用できるようになりました | DevelopersIO
Data Tier RedisのMemoryのサイズは従来型と同じです。 Data Tierには SSD が付属し、 Total列に Memory と SSD を足した値を入れています。 ストレージあたりのコストは、同じファミリー内であれば、インスタンスタイプによらず同じです。 従来のインメモリ Redisは $0.0186/GiB 新しい Data Tier Redis は $0.0074/GiB のため、Data Tierは約6割安で利用できます。 次にインスタンスタイプごとに利用費を比較してみましょう。 105.81GiBの 4xlarge ノードを運用している場合、 Data Tierでは最小スペックの xlarge(125.65GiB)に置き換えられます。 時間単価は $1.97 から $0.94 へと約半減します。 クラスターモードで最大スペック 419.09GiB の 16x
イーサリアム最大のアップデートThe Mergeと、ハードフォークETHPoWトークンをノーリスクで得る方法 - FIRE: 投資でセミリタイアする九条日記
時価総額第2位の仮想通貨、Ethereumが大きな節目を迎えようとしています。長い時間をかけて進められてきたPoSへの移行、通称The Mergeが9月19日前後に行われる予定です。これによって、大量の電力と機器を必要としたマイニングを必要とするPoWから、保有だけでOKになるPoSに移行する計画です。 ところが、マイナーたちは当然これを良しとせず、Ethereumは本流のPoSだけでなく、PoWバージョンへのハードフォークが起こることが想定されています。 いまはなきEthereum2.0 ETHPoWの誕生 ETHPoWをノーリスクで手に入れる いまはなきEthereum2.0 このPoSへの移行は、以前はEthereum2.0と呼ばれていました。2018年頃に描かれたロードマップです。ところが、Ethereum2.0への移行には数年かかることが判明。期間の長さから、PoWチェーンの研究
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CitusDB + PG-StromでScale-up+outする。 - KaiGaiの俺メモ
Bigtable と BigQuery: その違いは何か | Google Cloud 公式ブログ
第165回 MySQLの圧縮いろいろ | gihyo.jp
予選敗退から学ぶISUCON10の正しい歩き方 - そーだいなるらくがき帳
BacklogのGitホスティングにおける冗長化と負荷分散の仕組み | 株式会社ヌーラボ(Nulab inc.)
Efficient MySQL Performance を読んだ
BitcoinとEthereumのLayer2の違いについて (LN/Rollup/RGB)
Webアプリを100倍に最適化するのは、99台のサーバーを追加するようなもの
BigQueryのテーブル分割でのパーティションテーブルとシャーディングテーブルの使い分け - Qiita
Python向け機械学習ライブラリ「PyTorch 2.4」がリリース
Deno で学ぶ HTTP/2 の仕組み - 30歳からのプログラミング
超PayPay祭りを支える購入導線の負荷対策について
Twitter の広告エンゲージメント分析プラットフォームをモダナイズ | Google Cloud 公式ブログ
Ethereum 2.0のバリデータになってみた話 - Qiita
『あんさんぶるスターズ！！』新作アプリをコンテナ化してわかったこと 学習コストの低いAmazon ECS導入プロセスとその結果
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ | mond
グローバルなid生成器(UUID v4とか)の比較 - ちりもつもればミルキーウェイ