実践的インフラ監視＆運用 - 4000万人以上のユーザーに快適なサービスを提供するピクシブの裏側 - エンジニアHub｜Webエンジニアのキャリアを考える！
実践的インフラ監視＆運用 - 4000万人以上のユーザーに快適なサービスを提供するピクシブの裏側 大規模サービスを安定運用するコツってなに？実運用に基づく知見をピクシブ株式会社のインフラエンジニア、末吉さんと小出さんに聞きました。 ピクシブのサービスを支えるサーバーは大部分がオンプレミス 監視はNagiosとMuninでシンプルに 多数のリリースを支える独自のデプロイ手法 運用上のスペックは開発者との綿密なやりとりで決める 開発者と“温度感”を共有したい システム運用は、生き物です。 人気が出ればリクエスト数は急上昇。経年劣化でサーバーが壊れることもある一方で、次々と新しいサービスも展開しなければなりません。規模が大きくなると、システムを障害なく運用することは至難のワザです。 大規模サービスを安定運用するコツは何か──その秘訣を探るべく、ピクシブ株式会社のインフラチームで活躍する2人に疑問
YJTC19 B-6 Yahoo! JAPANの巨大インフラの運用と展望 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
石狩データセンターの非常用発電機が停止する瞬間、商用電源に切り替わる作業の動画 － Publickey
9月6日に北海道で発生した地震の影響による停電で北海道電力からの電力供給を失い、ディーゼル発電機による発電で稼働を続けていたさくらインターネットの石狩データセンターは、9月8日土曜日に北海道電力からの電力供給が回復、非常用発電設備を停止させました。 同社の田中邦裕社長がツイートで、その非常用発電設備が停止する瞬間の動画をツイートしています。 石狩データセンターの非常用発電設備の運転終了の瞬間です。60時間近くという、恐らくDCの歴史的最も長時間稼働した設備の一つで、最後まで支障なく動いてくれた事に感謝です。結果として備蓄燃料は70時間程度あり、節電運転する事で100時間程度が無給油で出来る状態でした。 pic.twitter.com/016aQg10Pj — 田中邦裕 (@kunihirotanaka) 2018年9月8日 ちなみに、石狩データセンターにはV12の1MWが6機、V16の1.
インフラエンジニアがSegmentation fault をなんとか治してみる - メモとかそんな感じなやつ
普段Webサーバを運用していて、めんどくさいトラブルのひとつに「Segmentation fault」があります。 あれー？なんか500エラーがでるなーなんて思ってログを見るとSegmentation faultになってるときは死にたくなります。 そもそもSegmentation faultはメモリ上にあるデータに対して不正が行われたときに起こるもので、 インフラエンジニアにとってはなかなか手がだせないところでもあります。 それでもなんとかして治さないといけないわけなので せめてどのプログラムが悪さしてるかどうかぐらいは調べ上げてみます。 apacheでのログ apache + mod_perl での環境です。 こんな感じでエラーがでます。 #tail error_log [notice] child pid 26028 exit signal Segmentation fault (11
マイクロソフトはどうやってBingをFPGAで実装したか - Qiita
ドワンゴがニコ動の画像配信向けにFPGAエンジニアを募集したり、マイクロソフトはBingをFPGA実装したり、Baiduもディープラーニングの高速化にFPGAを導入したりと、なんだか世の中急にハードウェアくさくなってきた。IoTとは違う意味で。 金融分野ではすでにCPUでは遅すぎてFPGAによるナノ秒単位の株取引が行われているって記事を書いたのは2年前だけど、ここ数年はIntelのCPUのクロックもあまり上がらなくなってきたし、Fusion-ioやNetezzaといった大手御用達のハイエンド鬼速ストレージも、フタを開ければ中身はすでにFPGAに移行済み。IBMが最近出したData Engine for NoSQLという製品ではPOWER8プロセッサにFPGAを直付けしてRedisを高速化したり。いよいよデータセンターにも、先の見えないCPUに代わってFPGAやGPUを導入する波が押し寄せつ
このコンピュータ書がすごい！2015のランキングと参加レポート（長文）（動画追記あり）
2015年1月10日にジュンク堂池袋店で開催された「このコンピュータ書がすごい！2015新春座談会 －2014年に出たコンピュータ書ならこれを読め！－」に行ってきましたのでレポートをつらつらと書いていきますね。 最初に言っておきますが、怖ろしい文量というか、紹介書籍量なので時間のあるときにでもゆっくり読んでもらうことをお薦めします。 このイベントは、日本Rubyの会代表でありプレゼンの高橋メソッドでお馴染みの高橋征義さんのマシンガントークでコンピュータ関連書籍をひたすら紹介するというもの。19時30分にスタートして、終了したのは21時45分。ジュンク堂の担当者さんが「時間、超ヤバイ！！」という泣きカンペを出すぐらい、濃密なイベントでした。 【追記】技術評論社さんの公式チャネルに動画が上がってました。 2014年すごいコンピュータ書総合ランキング 1位 リーダブルコード 2位 インフラ／ネッ
CentOS 5 - RPM作成ツール - Checkinstall : Server World
ソフトウェアをインストールするときに、全てのものがRPMで配布されているわけではないため、 時には tarボールからコンパイルしてインストールしなければならないこともあります。 しかし、ソースからインストールすると、パッケージ管理に入らないため、いろいろ入れていると 何を入れたか分からなくなってくるため、やはりRPMのパッケージでインストールしておきたいものです。 そんなときはこの Checkinstall を使うと RPM でインストールできるため、管理も容易になります。 tar ボールに SPEC ファイルが含まれていれば、特にこの Checkinstall を使う必要もなく、 RPMを作って入れればよいのですが、この Checkinstall を使うと SPEC ファイルがなくても RPM でインストール することができます。（できないものもあります）
Ansibleを使い出す前に押さえておきたかったディレクトリ構成のベストプラクティス - 双六工場日誌
Ansibleのディレクトリ構成を決める際、プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定を変更する方法でしっくり来るものを思いつかず、どうしたものかと悩んでいたのですが、今日見つけたブログ記事でそれもスッキリ解消したのでメモっておきます。 結論 まず結論を。プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定する場合は、以下のように対応するのが良さそうです。 ディレクトリ構成は、公式ドキュメントに従う。 Best Practices — Ansible Documentation プロダクション、ステージング、開発など、ステージごとの変数切替は以下のブログを参考に、"group_vars"を利用して行う。 インベントリファイルの中に、"[production:children]"のようなグループすべてが属するグループを作ってしまい、そのグ
RHL7/CentOS7の時代なのでcoreutils 8.22まで追いかけてみた - Qiita
はじめに <余談> 2017年末現在、Amazon Linux 2 LTS Candidate AMI 2017.12.0、並びに Amazon Linux AMI 2017.09.1 は coreutils 8.22です。まだまだいける。</余談> 2014年はついにRHLやCentOSが7系に移りました。古い環境が CentOS 6.x だったもので、いろいろ変わっていて戸惑うところです。ホットなのは systemd とか mariaDB とか OpenLMI とか net-tools 周りでしょうか。 ここではあまり注目されていない気がする、 coreutils のリリースノートを読んだメモを公開します。翻訳ではありません。メモです。 なお、私はSELinuxやSMACK周りは改めて勉強中の身なので、そこら辺の改善点については特に触れません。dd とかファイルシステムとの連携周りも改
Webエンジニアが知っておきたいインフラの基本 インフラの設計から構成、監視、チューニングまで
Webエンジニアが知っておきたいインフラの基本 インフラの設計から構成、監視、チューニングまで 馬場俊彰 マイナビ出版 2,948円 (2,680円+税) Webサービスを高速化し、可用性を高めるスキルを身につける！ Webエンジニアの仕事の幅を広げるためのインフラの知識をピックアップしてまとめました。インフラまわりの技術の基本から、インフラ基盤の手配の方法、設計のセオリー、システム監視、チューニングまで、ツボを押さえてまとめています。 関連サイト本書の関連ページが用意されています。 Webエンジニアが知っておきたいインフラの基本｜マイナビブックス内容紹介本書は、Webアプリケーションエンジニアや、フロントエンドエンジニアを対象に、知っておくと便利なインフラの知識をまとめた本です。 担当しているWebサービスをもっと高速化させたい方や、バックエンドと最適化された無駄のないアプリケーションを
IPMIでの大規模サーバー管理 - Yahoo! JAPAN Tech Blog
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の藤見です。 今回はIPMIを利用した大規模なサーバー管理の仕組みをご紹介したいと思います。 IPMIについて IPMI（Intelligent Platform Management Interface）はサーバーベンダやOSに依存する事なくエージェントレスでハードウエアの各種センサ情報の取得や遠隔操作を行うためのインターフェースです。 一般的にIPMIとして動作するチップはマザーボード上に搭載されておりBMCやサーバーベンダ固有のiLO、iDRAC、iRMC等と呼ばれます。 それぞれにチップはサーバーベンダ独自の機能や管理UI等が存在する等の違いはありますがIPMIコマンド（ipmitoolやfreei
Serverspec - Home
About V2 Serverspec/Specinfra v2 has been just released. See the document about v2. About With Serverspec, you can write RSpec tests for checking your servers are configured correctly. Serverspec tests your servers’ actual state by executing command locally, via SSH, via WinRM, via Docker API and so on. So you don’t need to install any agent softwares on your servers and can use any configuration
Security/Server Side TLS - MozillaWiki
The ordering of cipher suites in the Old configuration is very important, as it determines the priority with which algorithms are selected. OpenSSL will ignore cipher suites it doesn't understand, so always use the full set of cipher suites below, in their recommended order. The use of the Old configuration with modern versions of OpenSSL may require custom builds with support for deprecated ciphe
Postfix パフォーマンスチューニング
Postfix パフォーマンスチューニングの目的 このドキュメントにあるヒントや tips はすでに動いている Postfix システムの パフォーマンスを向上するのに役立ちます。あなたの Postfix システムがメールを 送信したり受信したりできないのであれば、 DEBUG_README ドキュメントを手引きとして 使い、まずその問題を解決する必要があります。 外部コンテンツフィルタのパフォーマンスをチューニングするには、まず FILTER_README と SMTPD_PROXY_README ドキュメントの 情報を読んでください。そしてコンテンツフィルタコードのレイテンシをなくす ようにします。できるだけ遅延が大きかったり遅延のバラツキが大きい外部 データソースへの問い合わせを避けるようにしてください。CPU/メモリを使い 果たさないように、コンテンツフィルタは並列数を小さくして走
“使用”より“構築”で学ぶオープンPaaS「OpenShift」
“使用”より“構築”で学ぶオープンPaaS「OpenShift」：DevOps時代のJavaプログラマのためのオープンクラウド入門（1）（1/5 ページ） オープンなクラウドで重要性を増すJava。DevOps時代のJavaプログラマはアプリケーション開発者（Dev）もデプロイや運用（Ops）面におけるクラウド／インフラ技術への幅広い理解が必要となる。本連載では、さまざまなオープンクラウド技術を紹介していく。初回は、オープンソースのPaaSであるOpenShiftを紹介。どんな技術を使ってPaaSが実装されているのかを理解しよう オープンなクラウドで重要性を増すJava 最近、これからは「DevOps時代」だといわれるようになっていますが、DevOps時代のJavaプログラマにとってクラウドサービスを使った開発は、どのようにアプローチしていくのが良いのでしょうか。 Javaは、これまでオン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
楽天ネットワークエンジニアたちが目指す、次世代データセンターとは
Itamae - Infra as Code 現状確認会
ヌーラボのサービス開発の裏側公開しちゃいます
意識の低い自動化
第1回 一撃サーバー構築シェルスクリプト勉強会
