クラスタのノード欠損を復旧しようとしてクラスタを丸ごと落とした話 - Qiita
これは、私が若…くはないけどピカピカのAWS1年生だった、数年前のお話です。 何をやらかしたのか やらかし前の状態 本番運用しているWebアプリケーションの裏側に、EC2インスタンス3台でクラスタを組んだ某データストア製品を使用していました。データはクラスタ内でレプリケーションされており、1台がダウンしただけならクラスタは稼働を継続できます。2台がダウンするとクラスタ全体が機能しなくなります。 ある日、3台のうち1台で障害が発生してインスタンスへ疎通できない状態になりました。この時点ではクラスタは正常に応答しており、あと1台ダウンしない限りはサービスに影響が出ない状態でした。 まず、ダウンしてしまったインスタンスを再起動して復旧させようとしました。ところがEC2マネジメントコンソールから再起動、停止を選択しても障害中のインスタンスは反応しません。そして私は間違いを犯します。 やらかしたこと
日本の法務省での遠隔コード実行がついさっき販売されてた話 - Qiita
※当記事は購入を推奨するものではありません ※いかなる場合においても、当記事の著者は責任を負いかねます 概要 日本時間05:00~06:00頃、日本の法務省にて遠隔コード実行が可能であるという脆弱性が突如ブラックマーケットで販売されました。 with privilege nt authority\system とあるように、法務省のWindowsPC若くはWindowsServerが狙われたと推測できますね。 法務省はこの事実を受け止め、万が一に備えて省内のWindowsPC及びWindowsServerを全て調査・総入れ替えしなければならないでしょう。 しかしながら、通報しても相手にされないと思うので暖かい目で見守りつつ、記事にしてみました。 追記: 記事以前より通報は一応行っています。 追記 色々と議論が上がっていますが、ここで私の当記事の目的とするところをお話ししますと、 公開にさし
Kubernetesの負荷試験で絶対に担保したい13のチェックリスト - Qiita
概要 ※この記事は弊ブログ記事(はてな)、Kubernetesの負荷試験で絶対に担保したい13のチェックリストと同内容です ここ最近、Kubernetesクラスタを本番運用するにあたって負荷試験を行ってきました。 Kubernetesクラスタに乗せるアプリケーションの負荷試験は、通常の負荷試験でよく用いられる観点に加えて、クラスタ特有の観点も確認していく必要があります。 適切にクラスタやPodが設定されていない場合、意図しないダウンタイムが発生したり、想定する性能を出すことができません。 そこで私が設計した観点を、汎用的に様々なPJでも応用できるよう整理しました。 一定の負荷、スパイク的な負荷をかけつつ、主に下記の観点を重点的に記載します。 Podの性能 Podのスケーラビリティ クラスタのスケーラビリティ システムとしての可用性 本記事ではこれらの観点のチェックリスト的に使えるものとして
MySQLで3億レコード物理削除した話 - Qiita
はじめに こんにちは。webエンジニア社会人をしている ningenMe です。 タイトル通り。MySQLで3億レコード物理削除した話。 ちょっとハマったので備忘録。 はじまりはアラート はじまりはアラートだった。 僕が運用・保守しているバッチサーバでは、mysqlからちょうど直近1ヶ月分のデータを毎日1回selectする定期処理をしている。 いつもなら1時間程度で終わる処理のはずが、その日は7,8時間経っても終わらずアラートが鳴り止まない.....。 原因追求 とりあえずリトライしたり、ログ見たりしたもののあんまり悪いところがなかった。 クエリもちゃんとindex効いてる。なんでだろうと思ったらDBの容量が結構大きくなっていたことに気づいた。 3億5千レコード。インデックスちゃんと効いてたので多分普通に遅いだけっぽい。 必要なデータ取得は1ヶ月分である12'000'000件ほど。このse
Goは本当に1980年代の言語みたいなのか。 - Qiita
はじめに 2020年8月15日現在、golang.orgのトップページに、The Why of Goという動画が、Featured Videoとして紹介されています。 Goに初めて触れて、ちょうどなぜこうなっている？と思う機会が多かったので、自分なりにまとめてみようと思います。 注: 要約というよりは、気になる部分をピックアップして解釈して文字にしているものなので、総合的な内容は動画を見てください。 Goとは1980年代の言語なのか Goとは1980年代の言語のようだと批判される。糖衣構文、多態、Genericsが使えない、依存性管理が粗末等と批判する人にとってGoは、1980年代以降のプログラミング言語の進化の歴史を無視しているように見えるようだ。 だけど、それらの要素があったら21世紀のプログラミング言語といえるということなのだろうか？ このプレゼンテーションでは、そういう疑問をきっか
最近のポケモンはデジモンっぽいのか、ディープラーニングに聞いてみた - Qiita
はじめに ポケモンについて何となく知っている人向けの記事です（デジモンは知らなくてOK） ３月ごろにポケモンたかさおじさんが集計したアンケートの分析をお手伝いしたところ、アンケートの自由記述回答の6353件中、155件もデジモンについて言及するコメントがあった。 「デジモンと区別付かないよね」 「もはやポケモンじゃない…。デジモン…。昔のデザインに戻ってほしいなぁ…。。。」 「主観ですが、伝説のポケモンが角張った印象で、デジモンのような印象を受ける。」 「全体的に毛がなさそうなツルッとしたフォルムの子達が増えた気がします。デジモンっぽい」 「デザインがごちゃごちゃしすぎて子供が描くのが難しい デジモンに近くなってきている」 「ダイパまでのデザインがポケモンっぽいデザイン。それ以降はデジモンみたいな雰囲気。」 私は幼少期からポケモンには触れてきたが、デジモンにはあまり縁がなかったため、 デジ
とあるAIプロジェクトの失敗とそこから得た鬼十則 - Qiita
私自身もこういったアンチパターンに遭遇し失敗した経験がある。 冒頭にあげた鬼十則はその反省から生まれたものであるが、ここからそれぞれの項目を解説していきたい。 1. データは自ら集めるべきで、与えられるべきではない 主人公の「データがないから開発できない」の発言は間違ってはいない。しかしデータがないと嘆くのではなく、そのデータを取りに行く努力が必要である。昨年データサイエンティスト界隈で話題となった『アルキメデスの大戦』では上のいざこざでデータ（設計図）が手に入らない時、自らデータを集めて突破口を開くエピソードが綴られている5。この姿はまさに理想のデータサイエンティスト像といえるだろう。データ収集の壁は数多く挙げられるが6、その壁を乗り越える努力を怠ってはいけない。自らが安心して開発を進めるためにも、データ取りには十分に入り込んでいくべきである。 2. 目標とは、先手先手と働き掛けていくこ
日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita
先日、弊社では Community Geocoder というサービスをリリースしました。 Community Geocoder 紹介記事 さて、このジオコーダーは、住所を正規化してそれを「大字町丁目コード」という12桁の数字に変換し、そのコードをファイル名として GitHub ページ上に大量においた JSON ファイルにアクセスして緯度経度を取得するということをやっています。 つまり、住所の正規化からコードに変換する部分がとても重要で、そもそも正規化に失敗してしまうとどうしようもないという仕様なんです。 さいわい先日経産省が公開した IMI コンポーネントツール である程度のことをやってくれるのですが（というかそうであることを期待したのですが）、いろいろ調べ始めると住所という仕組みはほんとに複雑で、Facebook で絡んでくださった @hfu さんいわくまさに「自然言語処理そのもの」であ
WSL2によるホストのメモリ枯渇を防ぐための暫定対処 - Qiita
5/27にWindows 10 2004 Updateが正式リリースされて、それに伴いWSL2もWindows Insider Preview版を使用しなくても利用可能となりました しかしWSL2を使用してるとVmmemというプロセスのメモリ使用量が増加し続けて、Windowsホストのメモリが枯渇してしまう問題があります。そしてこの問題は正式リリース後も解消されず残っています。 NOTE: Windowsホストで動いているVmmemプロセスで「WSL2のHypver-V仮想マシン全体が消費＆確保しているCPUとメモリ」を確認できるという大雑把な理解でOKです。 microsoft/WSLのIssueは１年近くOpenのままとなっており、Microsoft側も問題を認識して取り組んでいるものの未だに根本対処されていません。 本問題のアップデート情報 (2023/07/04更新) 本問題に関す
ポートスキャンしただけで落ちるCentOS6サーバ - Qiita
Nessusで遊んでいて、「まったくパッチのあたっていないCentOS6.0」を診断してみたら、カーネルパニックで落ちてしまった。こういうことは、たまに（まれに）あって、流石にインターネットからだと滅多にないけど、ローカルから診断するとポートスキャンだけでもサーバーがダウンすることがある。久しぶりに見かけたし、手元の環境では初めてだったので、追いかけることにした。 デーモンが落ちるのではなくカーネルがいきなり落ちることから、NFSかなと思って切り分けたらビンゴだった。NFS単体の脆弱性ではなく（という言い方は変か、とにかくNFS関連のモジュール）、カーネルの脆弱性（どれだろう）のようだ。NFSサーバーではなく、クライアントとしてNFSマウントしているだけで落ちる。 netstat でNFSが開いてるポートを探して $ sudo netstat -anp Active Internet co
メインフレームの異常処理 - Qiita
はじめに この記事では、メインフレームでは異常時の処理でどのようなことをやっているのか、また、Linuxの異常処理との違いなどについて話してみようと思います。 この記事を書くに至った直接的なきっかけは、とある人からリクエストがあったからです。が、日ごろからメインフレームの異常処理の考え方については、PCサーバーやクラウドによるシステムがメジャーになった現代であっても、参考になることは多いと感じていてはいました。 筆者は今でこそLinux Kernel周りの仕事をしていますが、20年ぐらい前のころはメインフレームのOS開発部隊に配属されていて、メインフレームのとあるコプロセッサのドライバを書いたりしていました。この際、その異常処理における考え方を体験する機会が多々あり、当時のその経験が20年後の現在でも大いに役にたっていると感じていたからです。 そもそもメインフレームは、これまで長年にわたっ
数週間後の日本の姿？イタリアの新型コロナウィルス感染者数を免疫も考慮したモデルで解析してみた - Qiita
はじめに 新型コロナウィルスでイタリアが大変な状況です。イタリアと言えばガリレオ・ガリレイ。「自然という書物は数字の言葉で書かれている」と言ったそうです。私の頭の中も数学の言葉で書かれておりますので、イタリアの状況を数学で記述してみたいと思います。 環境: Windows10 Pro 64bit + anaconda + Python 3.7.3 (1) 基本式 「東京での感染爆発をざっくり予測する」というほんの小学校の算数みたいなものを使って導出した回帰式がけっこういろいろな示唆に富んでいて驚愕の帰結をもたらすことを先日投稿させていただきました。ざっと復習すると、 $N(t)$：便宜的に「感染源候補者数」と呼ぶ。第$t$日の直前$n$日間に陽性と報告された人数 $n$：感染力を持ち始めてから失うまでの日数 として「感染源候補者数」の1日当たりの増分が、その日の「感染源候補者数」に比例する
東京での感染爆発をざっくり予測する - Qiita
更新履歴 2020/4/7 新記事へのリンクを追加しました。 はじめに 老技術者は新型コロナに感染したらひとたまりもない満身創痍の古老であります。妻は私に感染させようと日々東京に出向いてウィルスをかき集めては埼玉の我が家に運搬しております。というのは悪い冗談であってほしい今日この頃。 高校数学を使って、妻が毎日東京へ行くことがどれほど危険なことか示したいと思います。 環境: Windows10 Pro 64bit + anaconda + Python 3.7.3 (1) 基本式 感染症というのはウィルスを持っている「感染源候補者」からある割合で感染して自分も「感染源候補者」となるわけです。ということは「感染源候補者」が多ければ多いほど「感染源候補者」の増え方も激しくなるのは明らかですよね。そこでここでは単純化して、「1日当たりの感染源候補者の増分は、その前日～n日前に存在した感染源候補者
WSL2が突然動かなくなって公式Issueが荒れてる話 - Qiita
概要 WSL2で困ったときに使う魔法の呪文の次の日ぐらいから、突然、会社のPCのWSL2が動かなくなりました。 自分はかなり致命的で、WSL2が動かないと仕事にならないレベルだったのでだいぶ焦りました。 そんな人用への解決方法を書いておきます。 事象 wslを起動しようとすると、bashが起動せず、以下のようなメッセージが出ます。 A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond. 日本語だと、「接続に失敗しました」みたいな文面が表示されます。(スクショを取り忘れた) 解決方法
WSL2で困ったときに使う魔法の呪文 - Qiita
絶対だいじょうぶだよ 引用：Windows 7、Linuxのリーナス・トーバルズも太鼓判 みなさん。WSL2使ってますでしょうか。 WSL2とは2019年5月に「Build 2019」で発表された、Windows Subsystem for Linuxのアップデート版です。 ざっくりというとMS公式が作ったWindows上で動くLinuxです。 正直、こういうものは昔からあり、眉唾ものだったのですが、WSL2あたりから、dockerが正常に動作するようになり、開発環境として常用するようになりました。 そこで、私が半年使ってきた中で、WSL2関連でどういう問題が発生したのか、どういう解決をしたのか。そのあたりを紹介したいと思います。 それらの問題は、大体1つの魔法の呪文でなんとかなります。 apt-getが失敗する ピーリカピリララ ポポリナペーペルト！ なんかapt-getが失敗する とい
「アプリケーションが壊れているのに検知できないテストコード」を書かないようにするための、べからず集 - Qiita
はじめに テストコードを書くことは重要です。 テストコードがないアプリケーションよりもテストコードがあるアプリケーションの方が望ましいことは間違いありません。 ですが、テストコードも書き方を間違えると、アプリケーションが壊れているのに正しく検知できないテストを書いてしまう可能性があります。 この記事ではそんな「アプリケーションが壊れているのに正しく検知できないテスト」のコード例を「〜するべからず（〜してはいけない）」の形式で紹介し、その修正方法を説明していきます。 サンプルコードはRSpecで書いてます（でも他の言語でも考え方は同じはず） サンプルコードはRailsアプリケーションをRSpecでテストする場合を想定したものになっていますが、基本的な考え方自体は他の言語やテスティングフレームワークでも適用可能なはずです。 RSpecのイロハについて先に学んでおきたいかたは「使えるRSpec入
0.1は浮動小数点数で正確に表せないのに、printしたときに0.1と表示されるのはなぜか - Qiita
当たり前のことに感じますが、0.1は浮動小数点数(IEEE 754)では正確に表現できません。 なのにprintをしたときに0.1と表示されるのは不思議です。 このことについて分かったことを書いておきます。 環境 この記事ではPython 3.7を使用しています。 【前提】浮動小数点数 この記事で、以降"浮動小数点数"という場合は、"IEEE 754 倍精度"のことを指します。 浮動小数点数のフォーマットは、数を以下の形式に変換し、sign、exp、fracを順に並べたものです。
AWS・GCP・AzureのIoTプラットフォームを調べている - Qiita
プロトコルはMQTTかHTTP、各社デバイスパートナを持っており、そのデバイス上で使えるSDKを提供している感じ。エッジでは機械学習 各サービスの資料 軽くググったら出てきた資料たち AWS が提供する IoT ソリューションと ITS における活用 「AWS IoTのベストプラクティス」それホント！？ オートモーティブIoT GCP Azure SORACOM SORACOMはこの分野でかなり頑張ってる感じ。GAFAのIoTプラットフォームの劣化版を作らず、彼らに乗っかって早くPoCを回してやりたいことをやってしまおうというアイデア。以下の資料は、技術だけじゃなくて、IoTプロジェクトの進め方、ベストプラクティスに言及していて面白い。GCP, Azure, AWSともにアーキテクチャの図が横通しで見られる。 「作りこまない IoT 」を実現するためのクラウドネイティブな IoT システム
LTE-M通信できなくなった時に確認したい7つの大罪 - Qiita
IoTデバイスを開発していると、NB-IoT, LTE-M, Sigfoxなど、様々な通信形式で取得データを送信したくなることがあります。 ファームウェアを書き込んで、いざ通信！と期待したものの、データがうまくクラウドに送信されていない。。。 ソースを読み直しても、正しく処理されているはずのに、どうして送ってくれないの？！！！ なんでぇぇぇーーーーー。 という状態に、一度ならず何度でも直面するかもしれません。 そんな時の簡易的なトラブルシューティングを、私の経験をもとに作ってみました。 なお、本記事ではLTE-M通信を対象にしているため、BG96モジュールにATコマンドを送ることを前提としております。 LTE-M通信、不通時の7つの大罪 BG96へのUARTピンの接触不良 SIMカードが刺さっていない 電波強度不足 基地局との高い頻度での通信 電源電力不足 バッファーオーバーフロー スタッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows環境のWSL2とDockerのある開発環境構築メモ2022/04 - Qiita
