タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
スケールアウトの落とし穴から学ぶ、SREチームでのダッシュボードのアップデート術 - MonotaRO Tech Blog
どんなことが起こったのか？ モノタロウのサイトの監視について レイテンシ監視 トラフィック監視 エラー監視 リソース監視 ログ トラブルシュートの進め方 発生検知 発生箇所の特定 根本原因の調査 強化 課題 おわりに SREチームの市原(@ichi_taro3) です。 モノタロウでは、www.monotaro.com という大規模なECサイトを自社で開発、運用しています。 Webアプリケーションの運用ではトラブルはつきものです。今回は、とあるトラブルシュート事例を軸に、どのように運用を改善しているのかについて紹介します。 どんなことが起こったのか？ あるとき、モノタロウのWebサービス全体でレイテンシ悪化やバックエンドAPIへのタイムアウトの増加が頻発したことがありました。 当然これらは歓迎される状況ではなく、すぐに開発者やSRE、インフラチームの担当者が集まり調査を開始しました。現象は
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目的 本稿では、DuckDBがもたらす新しいシステム設計の可能性を探ります。特に、2024年時点で主流な「スケールアウト」モデルを前提としたデータ処理システムから、よりシンプルで効率的な「スケールアップ」モデルが将来的に主流となり得る理由を説明します。また、DuckDBの技術的特性、注目されている理由、具体的なその用途についても詳しく解説します。 対象読者 ソフトウェアアーキテクト：システム設計や運用コストの最適化を検討している人 データエンジニア：アプリケーションデータやログデータなどの様々なデータセットを効率的に処理したい人 システ
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
「スケールアウトできる『PostgreSQL』」――Yugabyte Japanに聞く「分散SQLDB」のメリット
「スケールアウトできる『PostgreSQL』」――Yugabyte Japanに聞く「分散SQLDB」のメリット：「Distributed SQL Summit Asia」の模様をレポート なぜ「分散SQLDB」が注目を集めているのか。日本国内における分散SQLDBの普及に注力しているYugabyte Japanに「分散SQLDB」とその利点を伺いました。記事後半では2022年3月に開催されたアジア圏向けイベント「Distributed SQL Summit Asia」の内容を紹介します。 本連載第4回では、DBエンジニアの祭典「db tech showcase」のイベントレポートをお届けしました。同イベントで多くのデータベース（DB）が紹介された中でも、分散DBのトピックが注目を集めている印象を受けました。 そこで今回は、日本国内における分散SQLDBの普及に注力しているYugabyt
あなたは、新しく開いた塾の先生だ。以前はIT業界で働いていたのだが、思うところあって脱サラし、小中校生を相手に勉強を教える、私塾を開いた。あなたは子ども好きで面倒見が良く、また以前からいろんな形で地域活動にも関わり顔が知られていたので、幸いそれなりに生徒も集まってきた。あなた一人ですべての科目を教えるのは大変なので、知り合いの大学生2人もアルバイトで雇い、手伝ってもらっている。 最初の受験シーズンも終え、成果はまずまずだった。あなたは胸をなで下ろし、新規募集に力を入れよう、と思う。前の職場では途中でエンジニアから営業職に転換され、不本意な思いもしたのだが、その時の経験は、塾生の募集にも多少役立っている。人生、どこで何が役に立つか、分からぬものだ。新学期に向け、新たな入塾希望者も増えてきた。そしてあなたは次第に、子ども達の顔と名前が覚えきれなくなるのを感じる。
はじめに ALB+Fargateという構成で動くWebサービスのスケールアウトが遅く、メディア露出や DM配信によるスパイクアクセスに耐えられない、という問題があり改善策を検討していた ところ下記記事を見つけました。 爆速でFargateをスケールさせる「aws-fargate-fast-autoscaler」を試してみた 簡単に動作原理を説明すると、Fargateをオートスケールさせる場合、通常はECSのターゲット追跡 スケーリングポリシーなどを利用しECSサービスにおけるCloudWatchメトリクスとアラームを利用して タスク数などを制御します。 ただ、この場合、CloudWatchメトリクスからアラーム発報までにどうしてもタイムラグが有り数秒単位 でのスケーリングが難しく基本は分単位でのスケーリングとなっていました。 そこを、この「aws-fargate-fast-autoscal
技術記事『Amazon Builders' Library』にフォーカスを当てた勉強会「AWS Tech talk Night#5 クラウドネイティブ時代のエンジニアが押さえておきたい ソフトウェアの構築・運用で考慮すべき5つのポイント ～AWSプリンシパルエンジニアの技術記事をソリューションアーキテクトが解説～」。ここで、ソリューションアーキテクトの川島氏が登壇。まずはローカルキャッシュと外部キャッシュの特徴と欠点について話します。 本セッションのコンテンツ川島拓海氏：それでは私から「キャッシュの課題と戦略」について話します。よろしくお願いします。（スライドを示して）私はアマゾンウェブサービスジャパンの川島拓海と申します。ふだんはソリューションアーキテクトとして、お客さまのクラウド移行や検討を支援しています。得意な技術領域は機械学習や画像認識です。 本セッションでは、Amazon Bui
従来から12倍高速化した同期呼び出しLambdaのスケールアウト能力を確認してみた | DevelopersIO
CX事業本部@大阪の岩田です。 re:inventで大量のアップデート情報が流れる中、Lambdaにもこんなアップデートが来ていました。 なんと同期実行のLambdaが従来の12倍のスピードでスケールアウト可能になったとのことです！ 従来Lambdaの同時実行数は1分ごとに500ずつスケールアウトしていく仕様でしたが、このアップデートによって10秒ごとに1,000ずつスケールアウト可能になりました。 新サービスや新機能というわけではありませんが、コレはなかなか熱いアップデートではないでしょうか？ということで実際にLambdaを大量起動してスケールアウトの速さを確認してみました。 環境 今回検証に利用した環境です。 Lambda ランタイム: Python3.11 アーキテクチャ: arm64 リージョン: バージニア(us-east-1) メモリ割り当て: 128M EC2 インスタンスタ
回答 (4件中の1件目) 分かりやすく、とのことなので、あまり専門用語を使わずに解説してみます。 データベースというのは、全てのデータをまとめて一箇所で管理するというものです。 もし預金データであれば、つねに一つの正しい値になっていなければ困りますよね。 二つのサーバがあって、Aさんの預金が100だったり200だったりと別の値になっていたら困ってしまいます。 そのため、Aさんの預金を書き換えるときは、必ず全てのサーバで同じ値になるように書き換えなければなりません。(これをReplicationと呼びます) そのため、書き換えに関しては、サーバを増やしても処理能力が増えないので...
スケーラブルなWebサービスのよくある設計はWebサーバの前段にロードバランサーを設置し後段にWebサーバを複数台配置するというものである。通常のWebサービスはステートレスなHTTP(もしくはHTTPS)通信のためこの方式で問題なく稼働する。 しかし、ステートフルなWebSocket通信においては以下の課題が存在する。 ロードバランサーがWebSocket通信を判別しセッションを保持しているバックエンドサーバに転送できなければならない。自分以外のWebSocketサーバが管理しているクライアントにはWebSocket通信を行うことができない。 そこで本稿では以下の方法でこの2つの課題の解決を試みる。 WebSocket対応のロードバランサーを使う。Pub/Subを使う。全バックエンドサーバはsubscribeしておき、情報を送信したいサーバはpublishする。 この方法をオンプレミスで
まず、スケールアウトという言葉について説明します。 規模を大きくするときに２つの表現があります。 ①スケールアウト ②スケールアップ この違いはご存知でしょうか。 スケールアウトとは、同じ機能のものを横に増やして規模を大きくするというやりかたです。お店で例えるなら、本店の立ち上げがうまく行ったので、同じ規模のものを別の地域で出店する、というようなやり方です。 スケールアップとは、今動いている機能を強化することで規模を大きくすることです。本店を増床しつつ、スタッフを増やし、お客さんをもっとお店に入れるようにする、などです。 世の中いろんな仕事がありますが、関わる仕事についてどんどん成長しているビジネスに関わった方が、給与も待遇も年々良くなるという話は一般論としてあると思います。ただ、では社員、もっと絞ればマネージャーの立場として、ビジネスを拡大していくことはどれだけ自分にとって得なのかな？と
Amazon EC2 Auto Scaling のスケールアウトが遅い時に確認すること | DevelopersIO
困っていること Amazon EC2 Auto Scaling のターゲット追跡スケーリングポリシーを作成しました。 ターゲットの追跡スケーリングポリシーでは、指定されたメトリクスがターゲット値を超えている場合、Auto Scaling グループをスケールアウトする挙動と認識してます。 指定されたメトリクスがターゲット値を超えているものの、時々スケールアウトするまでの応答時間が長く掛かっていることを確認しています。 確認するべき点（原因）と、対処法を教えてください。 どう対応すればいいの? 確認するべき点（原因） ターゲットグループに対して CloudWatch の詳細モニターリングを使用しているか確認する CloudWatch の基本モニタリング は 5 分間隔でメトリクスが公開されます。 基本モニタリング データは自動的に 5 分間隔で取得されます。 詳細モニタリング データは 1 分
新しい Tau VM: スケールアウト型ワークロード向けに優れたコスト パフォーマンスを提供 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 6 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 スケールアウト型ワークロードでは、アプリケーションの配信コストを引き下げながら、優れたユーザー エクスペリエンスを提供するために、パフォーマンスと価格の最適な組み合わせが要求されます。このたび Google Cloud は、新しい仮想マシン（VM）ファミリーである Tau VM が登場することをお知らせします。Tau VM は、スケールアウト型ワークロードのパフォーマンスをコスト効率的に最適化した新しいオプションで、Compute Engine の VM サービスを拡張します。 Tau VM ファミリー初のインスタンス タイプである T2D は、第 3 世代 AMD EPYCTM プロセッサをベースとしており、パフォーマンスとワークロードの総所有コスト（TCO）のどちら
NTTグループが、新たな成長領域の一つとして力を入れる電力関連事業。その中心が2019年設立のNTTアノードエナジーだ。NTTグループの電力関連事業を集約したほか、23年8月には再生可能エネルギーを開発するグリーンパワーインベストメント（GPI、東京・港）を子会社化した。NTTグループの電力事業の今後について、NTTアノードエナジーの岸本照之社長に聞いた。 NTTグループは約2500億円を投じてGPIを買収するなど、ここに来て再生可能エネルギーを中心とした電力事業に力を入れている印象です。 NTTアノードエナジー岸本照之社長（以下、岸本社長）：NTTは21年に、40年度までにカーボンニュートラルを実現する新たな環境エネルギービジョンを発表しました。 40年度には、データセンターなどでの需要増で、NTTグループ全体の電力消費量が13年度と比べて倍近く増えると予想しています。この電力消費量を、
2021/3/25に行われたオンライン勉強会 https://spacemarket.connpass.com/event/206463/ で発表した資料です。 AWSでWordPressのスケールアウト https://speakerdeck.com/ykanazawa/awsdeword…
ECSタスクのスケールアウト中に、CloudFormationのデプロイを行いECSサービスを更新した場合、DesiredCountはテンプレートで指定している値で更新されますか | DevelopersIO
困っていた内容 ECSタスクでApplication AutoScaling ( AWS::ApplicationAutoScaling::ScalableTarget、ScalingPolicy を指定) を使用しています。 Application Auto ScalingのScheduled Actionによって、アクセスが集中する特定の時間帯でECSタスクをスケールアウトしています。 具体的には、アクセスが集中する夜間に DesiredCount を6に設定し、アクセスが減少する深夜に再び 3 に戻しています。 CodePipelineにより、ソースコードが更新されたタイミングで、CloudFormationのスタックのデプロイを行うよう設定しているのですが、 スケールアウトしている時間帯に、CloudFormationのデプロイが実行されてECSサービスが更新された場合、 ECSタ
スケールアウトするPostgreSQLを目指して！その第一歩！ ▼講演者 NTTデータ 技術開発本部 データベーステクニカルリード 藤井 雅雄 ▼講演概要 スケールアウトは、今、PostgreSQLで最もユーザが実現を期待している機能のひとつです。 NTTデータでは、スケールアウトするPostgreSQLを目指し、その第１弾として複数台のPostgreSQLをまたがる 分散トランザクション(グローバルトランザクション)機能の実現に取り組んでいます。 本セッションでは、PostgreSQLコミュニティで提案・議論されているスケールアウト機能を紹介するとともに、 NTTデータのスケールアウト実現に向けたビジョンについてPostgreSQLコミッタが語ります。 ▼イベントページ NTTデータ テクノロジーカンファレンス 2020 https://oss.nttdata.com/techco
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スケールアウトはもう要らない？DuckDBが描くシステム設計の新時代 🦆 - Qiita
管理という仕事をスケールアウトするために | タイム・コンサルタントの日誌から
スケールアウトNASは「Isilon」から「PowerScale」へ――、Dell Technologiesがブランドを刷新
Fargateのスケールアウトを高速化する - Qiita
キャッシュ戦略で大規模スケールアウトのコスト問題を解決 「ローカルキャッシュ」「外部キャッシュ」それぞれの利点 | ログミーBusiness
なぜデータベースのスケールアウトは難しいのですか？分かりやすく教えてください。
Pub/Subを使ってWebSocketサーバをスケールアウトさせる（オンプレ版） - テトシスの備忘録
スケールアウトしても「うまみ」の無い日本のビジネスを思う - orangeitems’s diary
NTTの再エネ事業社長「スピード感を持ってスケールアウトする」
ECS Fargate + EFSで�WordPressのスケールアウト
デル・テクノロジーズ、スケールアウトNAS「PowerScale」のハイブリッド型、アーカイブ向けに新モデルを投入
スケールアウトするPostgreSQLを目指して！その第一歩！
anond.hatelabo.jp
inakatano2.hatenablog.com
anond.hatelabo.jp
ameblo.jp/rascal555
fusetter.co.jp
drama-latest.com