この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか?みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います 背景 おそらく今から7年くらい前、インフラエンジニアとして転職してきて1年ほどが経ち、本番環境での作業もこなれてきたなというバッチリのタイミングで事を起こしてしまいました。サーバーは CentOS 6 だったと思います。 職場としてはまだまだベンチャー感にあふれ大きな裁量が与えられスピード感のある環境ながら、サービスの登録ユーザー数は1,000万を超え、本番環境の規模としては既になかなかの大きさがあり、ウェブサーバーだけでも60台くらいあったと思います。ひと山につき
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー株式会社のシステム統括本部に所属している奥村です。現在、私はシステム統括本部内でプライベートクラウドを担当しています。私たちのチームはヤフー内のIaaS(Infrastructure as a Service)基盤の開発及び運用を担当しています。 IaaSとはサーバーやストレージ、ネットワークといったインフラリソースを仮想的に定義し、ユーザーへ提供するサービスです。 ヤフーのIaaS基盤は社内のユーザーやサービスに対して幅広く提供しており、ヤフーがエンドユーザーに対して公開している多くのサービス(Yahoo!ニュースや、ヤフオク!など)もこのIaaS基盤を利用しています。 本項では、「構築編」と「運用編」という前
ウェブサービスが障害などで利用できないダウンタイムは、できるだけ少ない方がサービスを提供する側にとってもされる側にとっても望ましいもの。しかし、物理的なサーバーの移動といった作業は、電源を切ってダウンタイムを生じさせなければ困難にも思えます。そんなサーバーの物理的な移動を「ダウンタイムゼロ」で達成したという記事が海外掲示板のRedditに投稿され、話題を呼んでいます。 [Rant... sorta] Physically moved a server today... : sysadmin https://www.reddit.com/r/sysadmin/comments/i3xbjb/rant_sorta_physically_moved_a_server_today/ [FAQ][Rant... sorta] Physically moved a server today... :
サーバルームのエアコンを止めるとこうなりますよ、という内容を実際に遭った昔話の形でご報告します。 節電のためにサーバ室のエアコンを停止しようとする人にも読んでもらいたい体験談です。 最近、猛暑も収まり、過ごしやすい気温になってきました。 が、サーバ室のサーバ達は外気が何℃であれ、動作範囲内の稼働環境でなければボイコットを招くことになります。 あの日も今日と同じく土曜日でした。 むかーし昔、10年くらいちょっとした昔。 ある日の土曜日夕方、会社から携帯に入電。 「サーバが全停止しているそうです。すぐ来てください。」 えぇっ!どしたの? 「最初はサーバ室が火事だ、って騒ぎになっていたんですけど、それは誤報で、どうやらエアコンが止まったせいでサーバが全停止したらしいんです。」 うゎぁ…。 急いで電車に乗って最寄駅からダッシュすること15分、会社に到着すると緊急事態で駆けつけた部員と何人かの休日出
北海道の震災の影響によって非常用電源設備での運用を続けていたさくらインターネットの石狩データセンターだが、2018年9月8日に北海道電力からの電力供給が回復。9月8日12時30分より復電作業を開始し、14時5分に非常用発電設備の稼働を停止した。 さくらの石狩データセンターは、9月6日未明の震災の影響で北海道電力からの電力供給が停止され、備蓄済みの48時間分の燃料をもって非常用電源設備での運用を続けていた。その後、9月7日にはデータセンターの運用に必要な電力の約50%分の電力供給が再開。また、非常用電源設備の稼働に必要な燃料を石狩市役所、経済産業省などの支援によって調達し、本日11時15分追記で9月13日まで稼働できる燃料を調達したと発表されていた。
2018-01-28 10:00: 反響にお答えしてタイムラプス動画を追加しました! 2018年1月21日、東京近県の某所でデータセンターの開設式が行われた。日本国内では毎年新しいデータセンターが複数開設されており、そのこと自体はそれほどのニュースバリューはない。しかし、この日オープンしたデータセンターは企業ではなく個人が所有しており、しかもほぼ手作りで建設したデータセンターだった。しかも、ビジネス目的ではなく、趣味で作られた日本国内では初だろうし、欧米でもこんな話は聞いたことがないため、これは世界初の事件なのかも知れない。 趣味としてのデータセンター作り このデータセンターのオーナーは宇田周平氏、27歳。外資系IT企業に勤務するいたって普通の若手エンジニアだ。勤務先は確かにデータセンターとの関わりは深いが、彼が今回のデータセンター建設に至ったのは、業務上の要請ではないし、かといってサイド
4. 4 下記はiostat -x のログのサンプル iostat -x 1 : avg-cpu: %user %nice %system %iowait %steal %idle 0.76 0.00 0.51 1.52 0.00 97.22 Device: rrqm/s … rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util sda 0.00 … 2000.00 88.00 208.80 0.14 13.70 8.00 8.00 sdb 0.00 … 0.00 24.00 8.00 0.09 31.33 21.67 6.50 avg-cpu: %user %nice %system %iowait %steal %idle 0.76 0.00 0.51 0.25 0.00 98.48 Device: rrqm/s … rsec/s ws
無限とも思えるコンピュータリソースを擁するパブリッククラウド。ところが、新年早々のユーザー企業への取材で「クラウドは性能不足」との声が相次いだ。いずれもオンプレミス(サーバー設置型)で利用する業務システムをクラウドに移行しようとして壁に突き当たった。 「まさか、最初から最高性能のサービスを使うことになるとは思わなかった」。こう話すのは、社内システムのクラウド移行を積極的に進めるA社のIT担当者。サーバーをはじめハードウエアの調達や保守作業をオフロードする目的で、IaaS(インフラストラクチャー・アズ・ア・サービス)を活用する方針である。同社がつまずいたのが、販売管理や営業支援で活用するCRM(顧客関係管理)パッケージだ。 検証目的でクラウド上で動かしてみたところ、オンプレミスよりも遅い。原因を調べると、CPUがボトルネックとなり、データベース(DB)で遅延が発生していた。IaaSでは、仮想
企画の人って、時にさらりと難しいこと言うんですよねw 監視対象がさくらのIPなら無料にしたいとか。気持ちはわかるけどw あ、去年11月くらいから思いつきで作り始めた監視機能が、先日無事にリリースされました。 さくらのクラウドニュース:「シンプル監視」提供開始のお知らせ ※ 開発やリリース準備に携わった皆さま、お疲れ様でした m(__)m 「シンプル監視」これは何か? いわゆる「外形監視」に特化した監視機能になっていて、pingやhttpなどのパラメータを登録するだけで、異常を検知した時にメールやSlackで通知されます。 「Slack対応」と言うだけでちょっとナウイ感じがするんで、実装がんばりました。 監視先が弊社のIPアドレスの場合、無料でご利用できますので、是非ともバリバリ監視しちゃってください! 実はこれ、中身はnagiosそのもので、お客様がコンパネで設定された監視パラメータを集約
1日育児体験記事を『日本人の1000人に1人』が読んでくれた事もあり、記事公開後に三十路男の悪あがきブログが全く表示出来ないという状況に陥りました。 記事を読みに来て下さった皆様、ご不便おかけしてすみませんでした。 副業ブログにとってアクセス数は正義。 ブログを表示出来る人を増やす為に、色々な対応を試みました。 最終的にはエックスサーバーに乗せ換え(月額費増加・・・)を選びましたが、色々な施策を打つ中で『アクセス数に応じたサーバーを選ぶ基準』が見えてきたので、今回はその辺りを記事にしていきたいと思います。 サーバー落とし祭り当日 育児系の記事は更新初日に200~300読まれたら多い方なので、さくらサーバーのブースト機能を使うという事すら頭にありませんでした。 更新からまもなく『三十路さんのサイト落ちてますよ!!』という連絡を戴きました。 ※この連絡が無ければ100%気付いていませんでした、
全て 1.このサイトについて 2.作品DB開発/運用 3.ホームページ制作技術 4.Perl 5.C言語 / C++ 6.検索エンジン&SEO 7.サッカー 8.自分のこと 9.Linux 10.旅行 11.思ったこと 12.パソコン 13.Berkeley DB 14.その他技術系 15.企画 16.スマートフォン 17.鑑賞 18.皆声.jpニュース 19.インターネット業界 20.運用マニュアル(自分用) 21.技術系以外実用書 22.料理 23.ALEXA 24.アニメ 25.会計 26.漫画 27.設計書 28.色々サイト作成 29.サーバー 30.自分専用 31.生活 32.OP/ED/PV 33.ゲーム 34.DB整備 35.新規開始作品紹介 36.英語圏の話題 37.大道芸 38.映画 39.PHP 40.ダイエット 41.Mac 42.JavaScript 43.MySQ
サイボウズの無料グループウェア/情報共有サービス「サイボウズLive」は、2010年にローンチしてから着々とユーザー数を増やし、2014年10月4日に登録者数100万人を超えました。サイボウズはこれに合わせ、サイボウズLiveのデータセンターを移行しています。100万ユーザーを擁するサービスのデータセンター移行、実際はどのように行われたのでしょうか。はてなCTOの田中慎司(id:stanaka)が、サイボウズの皆さんにお話を聞きました。記事の終わりにはプレゼントのお知らせも!(編集部) (※この記事はサイボウズ株式会社提供によるPR記事です。) ▽ https://live.cybozu.co.jp/ ▽ https://www.cybozu.com/jp/live/1million.html 田中 はてなCTOの田中(id:stanaka)です。サイボウズLive▼の100万ユーザー突破
日本のアニメや漫画に描かれたキャラクターや世界設定などのIP(知的財産)をコアとしたオンラインゲームを提供し続けているのが、株式会社ストラテジーアンドパートナーズだ。 同社は「魔法少女まどか☆マギカ オンライン」などのソーシャルゲーム/オンラインゲームのタイトルを次々にサービスインし、ビジネスを成長させているが、この過程で浮上してくるのが、これらのコンテンツの運用を支えるIT投資の問題である。 「オンラインゲームの基本的なアーキテクチャはWebサイトと類似していますが、膨大なトランザクションを処理しなければならない点が大きく違っています。1秒間に何度もクリックを行う、インタラクティブな操作によってゲームを進めていきます。しかも、こうしたアクセスは、学校や会社から帰宅して寝る前までの夜間に集中します。日中と夜間で発生するトランザクション数を比べると、20~100倍もの開きがあるのです」(武川
さくらインターネット、「さくらのVPS」のサービスリニューアルを実施 〜月額635円のSSDプランや1.6TBの大容量ストレージ搭載プランを提供開始〜 インターネットデータセンター事業を運営するさくらインターネット株式会社(本社:大阪市中央区、代表取締役社長:田中 邦裕)は、I/O性能に優れたSSDを手軽な価格で利用できる仮想サーバサービス「さくらのVPS」のサービスをリニューアルし、2014年11月27日より提供開始いたします。また、コントロールパネルもより使いやすく一新いたします。 「さくらのVPS」は、Linuxカーネルに標準搭載の仮想化技術である「KVM」を採用し、完全仮想化を実現した仮想専用サーバサービスです。1台でのご利用はもちろん、サービス規模に合わせて複数台に拡張していけるよう、台数無制限のローカルネットワーク接続も提供しています。各サーバは3つのネットワークインターフェー
接続処理中の状況が大量にあり、接続によってはアクセス開始から数分間「接続受付中」だったりと、通常では考えられない状況でした。 わかりやすく言うと「もうダメ、これ以上アクセスが来ても処理できないです」という状態でした。 Yahoo!砲などの大量アクセスがあったわけでもないのになぜだろうと考えて、思い当たったのがスマホでした。特に、スマートニュースやグノシーなどのニュース系アプリからのアクセスですね。 PCからのサイト閲覧が中心のとき問題なかったのに、同じアクセス数でもスマホからのアクセスが増えるとWebサーバーがいっぱいいっぱいになってしまうことがあるのです。 ガラケー向けのケータイサイトをやっていた人には当然のことなのですが、モバイルからのアクセスというのは、サーバーから見るとちょっと面倒なんです。通信速度は遅いし(つまりデータの送受信に時間がかかる)、接続の途中で電波の状況が悪くなってし
YAPC::Asia 2013で"はてなのサーバ管理ツールの話"というはなしをします - ゆううきブログ YAPC::Asia Tokyo 2013で、アルバイトで開発してたサーバ管理ツールのはなしをしました。 前半がサーバ管理ツールの開発思想で、後半がサーバメトリクス可視化の実装についてです。 キワモノツールであるRRDtoolの話は後ろに押し込んであるので、興味ない方は最初のほうだけ見てもらえればよいと思います。 感想 トーク後に結構話しかけられたりしてうれしかった。 トークの内容をブログに書いて、インターネット上で何か反響を得たことはあったけど、トークしたその後、直接話しかけられることは今まであまりなかった気がする。 コミュニティで認められるのに何か発表するのって大事だなと改めて思った。 RRDtoolをご存知の方が会場内でパッとみで1/4くらいいらっしゃったので、結構インフラ系の人
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く