AWSでAZ障害が起きたので困ったことを書いておく - なんかかきたい
前にも似たようなこと書いたなと思ったけどもう一年半も前のことになるのか t-cyrill.hatenablog.jp ご存知の通り昨日 2021/02/19 23:20頃 AWSにて東京リージョンの一つ apne-az1 にて大規模な障害が発生。多くのAWSを利用していたサービスで影響があった。 そんな私はいつものように アラストリリィ アサルトリリィ ラストバレット というゲームを呑気にプレイしていたのだけど、23:25 から緊急メンテに入ってしまった。 どうしたんだろうと思っていたら、社内SlackにてAWSを利用しているサービスがたまに応答しなくなる、Elasticacheが切り替わったなどなどの報告が入り、もしかすると面倒ごとかなと思いながら対応することになった。 起きていたこと 既にAWSからも公開されていることであるが、今回は2019年8月に起きた障害と類似するタイプの障害だっ
High SierraにしたらSlackアプリがクラッシュするようになったけど直った - Umi Uyuraのブログ
先日Mac OSからmacOSにアップグレードしたわけですが。 その後、Slackアプリを実行すると、起動中にクラッシュしてしまうらしく、使えない状態になってしまいました。 ログアウトして再ログインしてもダメ、アンインストールしてMac App Storeから再インストールしてもダメ、そんなことをしている間にSlackアプリのアップデートが来ていたけど、それを入れてもダメ。 必要なときはブラウザでアクセスしていたものの、やはり使い勝手が悪く、困っていました。 直った ググっていろいろと試していたのですが、最終的にElectronのIssueに載っていた方法で復旧することができました。 Crash in GetLoginItemSettings on macOS 10.13 · Issue #10561 · electron/electron 具体的には、 /Users/$your_user
ペパボ トラブルシュート伝 - node プロセスの general protection fault を追う - abort(3) の意外な実装 - Pepabo Tech Portal
セキュリティ対策室の伊藤洋也 @hiboma です。 業務中に、Haconiwa コンテナ で動くとある node プロセスが general protection fault ( 一般保護違反! ) を起こしてdmesg にログを残す現象を調べ、問題解決にあたっていました。その際の痕跡をまとめなおして記したエントリになります。 エントリの概要 本エントリでは、以下のような内容を扱います。 Haconiwa コンテナの node プロセスが general protection fault を起こしている ライブラリ関数 abort(3) の概要 abort(3) がプロセスを停止する方法の検証 node プロセスが abort(3) を呼び出すケース glibc x86系の abort(3) 実装が HLT 命令を呼び出し、general protection fault を起こすこと
Ansibleのトラブルシューティング(1) : トラブルシューティングのファーストステップ - 赤帽エンジニアブログ
この記事は「Ansible Advent Calendar 2019」24日目の記事です。 レッドハットでAnsibleのテクニカルサポートエンジニアをしている八木澤(ひよこ大佐)です。 我々テクニカルサポートエンジニアは、お客様からのお問い合わせに基づいて、提供いただいたAnsibleのログなどからおおよそのエラーの原因を推定し、調査を進めます。そういったトラブルシューティングの知識は、現場レベルで伝えられることはあっても、文章として伝えることは困難です。 しかし「Ansibleを使い始めてみたけれど、エラーがわかりにくくて何が問題なのかわからない！」という方にとっては、まさにトラブルシューティングのための情報こそが有用なのではないでしょうか。この記事では、そういった方々を対象に、日々Ansibleのテクニカルサポートをしている経験をもとに、Ansibleで確認するべきトラブルシューティ
美容内服薬ラボットメディカルクリニック【公式】
オンライン診療とは、自宅にいながら医師に直接毎日のスキンケアを相談したり、医薬品や漢方薬の処方を受けることができたりする診察のこと。お薬が処方された場合は郵送で薬局等にお薬を取りにいかなくても、自宅に届けられます。 普段、病院では発生する診察費用や処方箋費用はもちろん、お薬代以外の費用は一切かかりません。
突然サーバーが遅い・繋がらないといった障害に遭遇した時のトラブルシューティング（TCP Send-Q/Recv-Qまわり） | DevelopersIO
突然サーバーが遅い・繋がらないといった障害に遭遇した時のトラブルシューティング（TCP Send-Q/Recv-Qまわり） はじめに こんにちは植木和樹＠上越オフィスです。本日はTCPネットワークのトラブルシューティングの備忘録です。 先日、本社サーバー室にあったSOCKSプロキシー(delegated)をAWS EC2に移行しました。EC2環境は3ヶ月前から並行運用を開始しており問題なく稼働していましたが、本社プロキシーを停止し全面的にEC2プロキシーに切り替えたところ「ネットに繋がらない」「遅い」という苦情が社内からあがりました。 本日はその時の対応、原因調査、対策の経緯を残しておきたいと思います。 最初に結論を書いておくと、net.core.somaxconnやdelegatedプロセスの同時接続数設定の話です。これまでこの辺の話は何度も何度も何度も何度も、調べて読んで理解していたつ
MySQLがメモリー不足の時に何をするか : トラブルシューティングガイド | Yakst
MySQLがメモリー不足で停止してしまった(OOM Killerに停止させられた)時に確認すべき項目を紹介する。特に、MySQLのバグでメモリリークが起きている可能性がある場合に手がかりを得る方法について。 [MySQL]原文 What To Do When MySQL Runs Out of Memory: Troubleshooting Guide - Percona Database Performance Blog (English) 原文著者 Alexander Rubin 原文公開日 2018-06-28 翻訳依頼者 翻訳者 doublemarket 翻訳レビュアー kakuka4430 原著者への翻訳報告 1948日前 原文へのコメントで報告済み 編集 クラッシュした時のトラブルシューティングが楽しいタスクであったためしはありませんが、クラッシュの原因をMySQLが教えてくれ
GitトラブルをGetしてしまったら：バージョン管理のお話 | POSTD
非常におかしい題名を笑ってくださってありがとうございます。しかし、おかしくないことがありますが、何か分かりますか。git repoにコミットをプッシュした時で、これを GitHubデスクトップ で見ることができます。 Googleを使ってこれが何を意味するか調べてください。 もちろん、 いけている人 が Git Tower を使い、 本当に いけている人は コマンドライン のみを使っていることを知っています。我々は本当にいけているので、ここではコマンドラインを使って問題を解決します。実は他に選択肢がないのです。この記事で、git専門のコマンドライン知識が全くないのにも関わらず、コマンドラインを使い、全く プログラムの書き手に非がない のに、突然git repoが壊れてしまう問題を解決する冒険に誘います。少なくとも自分に非がないのに突然壊れてしまった時のパニックの度合いを見ていただけるかと思
嵐のコンサートがあるとダブルブッキングしてしまうホテル予約システムを作ってみた
今年の5月1日に、仙台市内のホテルで多重予約のトラブルが発生したと報道されています。 部屋数２０３室の仙台市のビジネスホテルで、９月１８～２３日の宿泊予約を数千件受け付けるトラブルがあった。アイドルグループ「嵐」のライブが宮城県内で開催される期間だった。インターネットでの申し込みが殺到し、システム障害が起きたとみられるという。 トラブルがあったのは、仙台市泉区の「ホテルルートイン仙台泉インター」。ホテルなどによると、９月１９、２０、２２、２３日に宮城スタジアム（宮城県利府町）で嵐がライブを開くことが明らかになった後の５月１日午前５時ごろ、ネットを使った予約申し込みが殺到していることに気づいたという。 ２０３室のホテルなのに「予約」数千件 嵐公演で殺到か：朝日新聞デジタル より引用 5月1日の朝に何があったのか調べてみると、この日の早朝にテレビや新聞でコンサートの情報が流れたようですね。 お
Oracle Databaseが起動できない時の確認ポイント
データベースが起動できない事例 最初に、実際にサポートセンターにお問い合わせいただいた「データベースが起動できない」トラブルの事例をご紹介します。 「データベースが起動できない」というお問い合わせの原因を分類分けしたのが図1です。最も多いのは、電源障害によるサーバ停止やディスク障害などによってデータファイルが破損しているケースです。 図1.データベースが起動できない原因 ここで着目していただきたいのは、人的ミスである設定ミスや操作ミス、リソース不足の3つが50%を占めている点です。つまり、事前の手順確認やリソースの使用状況を確認することでトラブルは半減できるということです。 図2はトラブルを最終的にどのように復旧したのか、原因ごとに表しています。人的なミスの中でも、誤って構成ファイルなどを削除したという操作ミスの場合には、バックアップからの復旧やデータベースの再作成といった大掛かりな復旧作
トラブルには技術的原因と、マネジメント的原因がある | タイム・コンサルタントの日誌から
トラブルの原因分析について、このところ2回にわたって考えてきた（「熱気球の浮上、または原因分析のシステムズ・アプローチについて」・「経験から学びすぎることの危険 ～ゆらぎある事象の原因分析について」 ）。原因分析の手法にこだわっているのは、それが「学び」と「成長」の鍵だからである。自らの能力を向上させ、成長するためには、仕事の結果（成果）から学ぶべきだと、わたしは信じている。個人も、組織集団も、である。 仕事の結果としてトラブルが生じたら、そこから素直に学ぶ。成功からも学べるが、失敗から学ぶ方が、記憶に強く残るからだ。そして（当然ながら）すべてに成功できる人なんていない。あの本田宗一郎だって、「自分は失敗ばかりしていた」と言っているくらいだ。他人から見たら成功でも、自分ではそこに足りない点を見る、というのがこの経営者の卓越した点だったのだろう。 さて、繰り返すが、『根本原因』Root Ca
【社内資料公開】AWSトラブルシューティングページまとめ／より早い原因把握のために心がけること | DevelopersIO
はじめに こんにちは植木和樹です。オンプレで10年近くサーバーの保守運用をやっていた経験からいいますと、AWSの障害発生率は非常に低くて驚きます。数百台規模のサーバーを扱ってますと、毎日どこかでのサーバーでディスク、CPUファン、メモリーパリティエラーなんかの故障が起きていて日々対応に駆けまわってた覚えがあります。 さてAWSの障害発生率が低いといってもゼロというわけではありません。仮に0.1%だとしても1000日つまり3年運用していれば1回くらい障害に遭遇するものです。0.01%だったとしてもサーバーが1万台あれば1日1回なにかしらのトラブルに遭遇しても不思議ではありません。 トラブルに遭遇すると、当然サービスや処理に影響をきたしてしまうわけで早期の暫定処置と、その後に恒久的な対策が求められます。その時に重要なのは早く正しく原因を特定することです。トラブルシューティング力が重要です。 A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
