タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
スケールアウトの落とし穴から学ぶ、SREチームでのダッシュボードのアップデート術 - MonotaRO Tech Blog
どんなことが起こったのか？ モノタロウのサイトの監視について レイテンシ監視 トラフィック監視 エラー監視 リソース監視 ログ トラブルシュートの進め方 発生検知 発生箇所の特定 根本原因の調査 強化 課題 おわりに SREチームの市原(@ichi_taro3) です。 モノタロウでは、www.monotaro.com という大規模なECサイトを自社で開発、運用しています。 Webアプリケーションの運用ではトラブルはつきものです。今回は、とあるトラブルシュート事例を軸に、どのように運用を改善しているのかについて紹介します。 どんなことが起こったのか？ あるとき、モノタロウのWebサービス全体でレイテンシ悪化やバックエンドAPIへのタイムアウトの増加が頻発したことがありました。 当然これらは歓迎される状況ではなく、すぐに開発者やSRE、インフラチームの担当者が集まり調査を開始しました。現象は
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
「スケールアウトできる『PostgreSQL』」――Yugabyte Japanに聞く「分散SQLDB」のメリット
「スケールアウトできる『PostgreSQL』」――Yugabyte Japanに聞く「分散SQLDB」のメリット：「Distributed SQL Summit Asia」の模様をレポート なぜ「分散SQLDB」が注目を集めているのか。日本国内における分散SQLDBの普及に注力しているYugabyte Japanに「分散SQLDB」とその利点を伺いました。記事後半では2022年3月に開催されたアジア圏向けイベント「Distributed SQL Summit Asia」の内容を紹介します。 本連載第4回では、DBエンジニアの祭典「db tech showcase」のイベントレポートをお届けしました。同イベントで多くのデータベース（DB）が紹介された中でも、分散DBのトピックが注目を集めている印象を受けました。 そこで今回は、日本国内における分散SQLDBの普及に注力しているYugabyt
あなたは、新しく開いた塾の先生だ。以前はIT業界で働いていたのだが、思うところあって脱サラし、小中校生を相手に勉強を教える、私塾を開いた。あなたは子ども好きで面倒見が良く、また以前からいろんな形で地域活動にも関わり顔が知られていたので、幸いそれなりに生徒も集まってきた。あなた一人ですべての科目を教えるのは大変なので、知り合いの大学生2人もアルバイトで雇い、手伝ってもらっている。 最初の受験シーズンも終え、成果はまずまずだった。あなたは胸をなで下ろし、新規募集に力を入れよう、と思う。前の職場では途中でエンジニアから営業職に転換され、不本意な思いもしたのだが、その時の経験は、塾生の募集にも多少役立っている。人生、どこで何が役に立つか、分からぬものだ。新学期に向け、新たな入塾希望者も増えてきた。そしてあなたは次第に、子ども達の顔と名前が覚えきれなくなるのを感じる。
[レポート]Amazon Aurora Multi-Master:書き込み性能のスケールアウト #DAT404 #reinvent | DevelopersIO
[レポート]Amazon Aurora Multi-Master:書き込み性能のスケールアウト #DAT404 #reinvent はじめに こんにちは、崔です。 セッションDAT404-R：Amazon Aurora Multi-Master:Scaling out database write performanceに参加しましたので、そのレポートをお届けします。 セッション概要 In this session, learn how the Multi-Master capability of Amazon Aurora MySQL enables applications to scale out write performance and achieve continuous read/write availability. Engineering experts dive int
![[レポート]Amazon Aurora Multi-Master:書き込み性能のスケールアウト #DAT404 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
はじめに ALB+Fargateという構成で動くWebサービスのスケールアウトが遅く、メディア露出や DM配信によるスパイクアクセスに耐えられない、という問題があり改善策を検討していた ところ下記記事を見つけました。 爆速でFargateをスケールさせる「aws-fargate-fast-autoscaler」を試してみた 簡単に動作原理を説明すると、Fargateをオートスケールさせる場合、通常はECSのターゲット追跡 スケーリングポリシーなどを利用しECSサービスにおけるCloudWatchメトリクスとアラームを利用して タスク数などを制御します。 ただ、この場合、CloudWatchメトリクスからアラーム発報までにどうしてもタイムラグが有り数秒単位 でのスケーリングが難しく基本は分単位でのスケーリングとなっていました。 そこを、この「aws-fargate-fast-autoscal
技術記事『Amazon Builders' Library』にフォーカスを当てた勉強会「AWS Tech talk Night#5 クラウドネイティブ時代のエンジニアが押さえておきたい ソフトウェアの構築・運用で考慮すべき5つのポイント ～AWSプリンシパルエンジニアの技術記事をソリューションアーキテクトが解説～」。ここで、ソリューションアーキテクトの川島氏が登壇。まずはローカルキャッシュと外部キャッシュの特徴と欠点について話します。 本セッションのコンテンツ 川島拓海氏：それでは私から「キャッシュの課題と戦略」について話します。よろしくお願いします。（スライドを示して）私はアマゾンウェブサービスジャパンの川島拓海と申します。ふだんはソリューションアーキテクトとして、お客さまのクラウド移行や検討を支援しています。得意な技術領域は機械学習や画像認識です。 本セッションでは、Amazon Bu
従来から12倍高速化した同期呼び出しLambdaのスケールアウト能力を確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 re:inventで大量のアップデート情報が流れる中、Lambdaにもこんなアップデートが来ていました。 なんと同期実行のLambdaが従来の12倍のスピードでスケールアウト可能になったとのことです！ 従来Lambdaの同時実行数は1分ごとに500ずつスケールアウトしていく仕様でしたが、このアップデートによって10秒ごとに1,000ずつスケールアウト可能になりました。 新サービスや新機能というわけではありませんが、コレはなかなか熱いアップデートではないでしょうか？ということで実際にLambdaを大量起動してスケールアウトの速さを確認してみました。 環境 今回検証に利用した環境です。 Lambda ランタイム: Python3.11 アーキテクチャ: arm64 リージョン: バージニア(us-east-1) メモリ割り当て: 128M EC2 インスタンスタ
はじめに 初めまして。エンジニアの有山と申します。普段は主にデータ分析基盤の開発、運用、およびウェルスナビのサービス基盤全般に関わる業務を担当しています。 今回の記事では、主にデータ分析基盤の設計や主要な技術に興味関心のある方を対象に、ウェルスナビで構築しているデータ分析基盤のご紹介と、Digdagを使用して構築したデータパイプラインの性能改善について解説していきます。 ウェルスナビのデータ分析基盤 ウェルスナビでは、データドリブンなサービス改善を行うため、社内にデータ分析基盤を構築しています。この基盤はマーケティング施策などに利用され、社員は必要なデータにアクセスしてPDCAを効率的に回せるような環境*1が整っています。技術スタックとしては以下のような技術を使用しています。 役割 サービス インフラ Amazon EC2, ECR, ECS DWH Bigquery ワークフロー Dig
Ruby on Jetsと組み合わせるデータベースをどうするか問題 Ruby on JetsはRDSまたはDynamoDBをデータベースとして使うことができます。しかし、どちらも一長一短です。 DynamoDBを使う場合 メリット スケールアウトできる 読み書きが速い アクセス制限しやすい デメリット 使い慣れていない テーブル設計が難しい スケールアウトしたとき、料金が高額となる恐れがある インターネット経由もしくはVPCエンドポイント経由でしかアクセスできない RDSを使う場合 一般的にRDSとLambdaは非常に相性が悪いと言われています。ただ、もちろんメリットもあります。 メリット これまで使い慣れている テーブルの結合や検索を簡単に実現できる LambdaをVPCに配置する場合、インターネットを経由せずにアクセスできる デメリット Lambdaがスケールアウトしたとき、Lambd
回答 (4件中の1件目) 分かりやすく、とのことなので、あまり専門用語を使わずに解説してみます。 データベースというのは、全てのデータをまとめて一箇所で管理するというものです。 もし預金データであれば、つねに一つの正しい値になっていなければ困りますよね。 二つのサーバがあって、Aさんの預金が100だったり200だったりと別の値になっていたら困ってしまいます。 そのため、Aさんの預金を書き換えるときは、必ず全てのサーバで同じ値になるように書き換えなければなりません。(これをReplicationと呼びます) そのため、書き換えに関しては、サーバを増やしても処理能力が増えないので...
スケーラブルなWebサービスのよくある設計はWebサーバの前段にロードバランサーを設置し後段にWebサーバを複数台配置するというものである。通常のWebサービスはステートレスなHTTP(もしくはHTTPS)通信のためこの方式で問題なく稼働する。 しかし、ステートフルなWebSocket通信においては以下の課題が存在する。 ロードバランサーがWebSocket通信を判別しセッションを保持しているバックエンドサーバに転送できなければならない。自分以外のWebSocketサーバが管理しているクライアントにはWebSocket通信を行うことができない。 そこで本稿では以下の方法でこの2つの課題の解決を試みる。 WebSocket対応のロードバランサーを使う。Pub/Subを使う。全バックエンドサーバはsubscribeしておき、情報を送信したいサーバはpublishする。 この方法をオンプレミスで
まず、スケールアウトという言葉について説明します。 規模を大きくするときに２つの表現があります。 ①スケールアウト ②スケールアップ この違いはご存知でしょうか。 スケールアウトとは、同じ機能のものを横に増やして規模を大きくするというやりかたです。お店で例えるなら、本店の立ち上げがうまく行ったので、同じ規模のものを別の地域で出店する、というようなやり方です。 スケールアップとは、今動いている機能を強化することで規模を大きくすることです。本店を増床しつつ、スタッフを増やし、お客さんをもっとお店に入れるようにする、などです。 世の中いろんな仕事がありますが、関わる仕事についてどんどん成長しているビジネスに関わった方が、給与も待遇も年々良くなるという話は一般論としてあると思います。ただ、では社員、もっと絞ればマネージャーの立場として、ビジネスを拡大していくことはどれだけ自分にとって得なのかな？と
新しい Tau VM: スケールアウト型ワークロード向けに優れたコスト パフォーマンスを提供 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 6 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 スケールアウト型ワークロードでは、アプリケーションの配信コストを引き下げながら、優れたユーザー エクスペリエンスを提供するために、パフォーマンスと価格の最適な組み合わせが要求されます。このたび Google Cloud は、新しい仮想マシン（VM）ファミリーである Tau VM が登場することをお知らせします。Tau VM は、スケールアウト型ワークロードのパフォーマンスをコスト効率的に最適化した新しいオプションで、Compute Engine の VM サービスを拡張します。 Tau VM ファミリー初のインスタンス タイプである T2D は、第 3 世代 AMD EPYCTM プロセッサをベースとしており、パフォーマンスとワークロードの総所有コスト（TCO）のどちら
NTTグループが、新たな成長領域の一つとして力を入れる電力関連事業。その中心が2019年設立のNTTアノードエナジーだ。NTTグループの電力関連事業を集約したほか、23年8月には再生可能エネルギーを開発するグリーンパワーインベストメント（GPI、東京・港）を子会社化した。NTTグループの電力事業の今後について、NTTアノードエナジーの岸本照之社長に聞いた。 NTTグループは約2500億円を投じてGPIを買収するなど、ここに来て再生可能エネルギーを中心とした電力事業に力を入れている印象です。 NTTアノードエナジー岸本照之社長（以下、岸本社長）：NTTは21年に、40年度までにカーボンニュートラルを実現する新たな環境エネルギービジョンを発表しました。 40年度には、データセンターなどでの需要増で、NTTグループ全体の電力消費量が13年度と比べて倍近く増えると予想しています。この電力消費量を、
2021/3/25に行われたオンライン勉強会 https://spacemarket.connpass.com/event/206463/ で発表した資料です。 AWSでWordPressのスケールアウト https://speakerdeck.com/ykanazawa/awsdeword…
ECSタスクのスケールアウト中に、CloudFormationのデプロイを行いECSサービスを更新した場合、DesiredCountはテンプレートで指定している値で更新されますか | DevelopersIO
困っていた内容 ECSタスクでApplication AutoScaling ( AWS::ApplicationAutoScaling::ScalableTarget、ScalingPolicy を指定) を使用しています。 Application Auto ScalingのScheduled Actionによって、アクセスが集中する特定の時間帯でECSタスクをスケールアウトしています。 具体的には、アクセスが集中する夜間に DesiredCount を6に設定し、アクセスが減少する深夜に再び 3 に戻しています。 CodePipelineにより、ソースコードが更新されたタイミングで、CloudFormationのスタックのデプロイを行うよう設定しているのですが、 スケールアウトしている時間帯に、CloudFormationのデプロイが実行されてECSサービスが更新された場合、 ECSタ
弁財天: パフォーマンスを考えずにユニケージ(シェル実装)をリファクタリングしたのでスケールアウト不可能になり無印良品が沈没したストーリーw update8
パフォーマンスを考えずにユニケージ(シェル実装)をリファクタリングしたのでスケールアウト不可能になり無印良品が沈没したストーリーw update8 muji.net→【重要】ネットストア・MUJI passport 再開のお知らせ（1月18日7時00分時点） →「無印良品」の障害の原因はbash実装ではなくエプスタインなawsらすいw →awsが2009年の古典的なSACK攻撃で微妙に故障(out of order)してしまうw →aws障害時免責規定「当社は法的に責任を負う立場にない以上何の対応もいたしません」w ＭＤシステム （自社開発） ・商品マスタ ・店舗マスタ ・顧客マスタ ・在庫データ 大事なところが自社開発（笑） 無印ってエンジニア採用してたの？https://t.co/MECXAXjZ6A pic.twitter.com/Ba20OFKjDA — hoge (@runeoc
スケールアウトするPostgreSQLを目指して！その第一歩！ ▼講演者 NTTデータ 技術開発本部 データベーステクニカルリード 藤井 雅雄 ▼講演概要 スケールアウトは、今、PostgreSQLで最もユーザが実現を期待している機能のひとつです。 NTTデータでは、スケールアウトするPostgreSQLを目指し、その第１弾として複数台のPostgreSQLをまたがる 分散トランザクション(グローバルトランザクション)機能の実現に取り組んでいます。 本セッションでは、PostgreSQLコミュニティで提案・議論されているスケールアウト機能を紹介するとともに、 NTTデータのスケールアウト実現に向けたビジョンについてPostgreSQLコミッタが語ります。 ▼イベントページ NTTデータ テクノロジーカンファレンス 2020 https://oss.nttdata.com/techco
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
管理という仕事をスケールアウトするために | タイム・コンサルタントの日誌から
スケールアウトNASは「Isilon」から「PowerScale」へ――、Dell Technologiesがブランドを刷新
Fargateのスケールアウトを高速化する - Qiita
キャッシュ戦略で大規模スケールアウトのコスト問題を解決 「ローカルキャッシュ」「外部キャッシュ」それぞれの利点
DigdagをECSでスケールアウトして性能改善をしました - ウェルスナビ開発者ブログ
Ruby on JetsとAurora Serverlessでスケールアウト可能なアプリケーションを構築する
なぜデータベースのスケールアウトは難しいのですか？分かりやすく教えてください。
Pub/Subを使ってWebSocketサーバをスケールアウトさせる（オンプレ版） - テトシスの備忘録
スケールアウトしても「うまみ」の無い日本のビジネスを思う - orangeitems’s diary
NTTの再エネ事業社長「スピード感を持ってスケールアウトする」
ECS Fargate + EFSで�WordPressのスケールアウト
デル・テクノロジーズ、スケールアウトNAS「PowerScale」のハイブリッド型、アーカイブ向けに新モデルを投入
スケールアウトするPostgreSQLを目指して！その第一歩！
pc.watch.impress.co.jp
komachi.yomiuri.co.jp
newalbumreleases.net
www.j-cast.com
news.yahoo.co.jp
x.com