さくらの専用サーバPHYとその裏側 〜物理ホスティング環境構築自動化の取り組み〜 (後編) | さくらのナレッジ
この記事は2020年10月23日に行われたオープンソースカンファレンス2020 Online/Fallにおける発表を文章化したものです。 さくらインターネットの井上です。本記事では、最近リリースした新サービス「さくらの専用サーバPHY」の紹介と、その裏側、中でも主に物理サーバーやネットワーク環境の構築自動化の取り組みについてご紹介します。前編ではサービスのご紹介、およびサービス提供までの流れと、機器の設置・配線に関してご説明いたしました。それに続く後編(本記事)では、機器のセットアップ、監視、バックアップといった環境構築の自動化についてご説明します。 設置した機器のセットアップ 前編では機器をラックに設置し配線するまでをご説明しました。機器をラックに搭載した後は、セットアップを行います。セットアップはDHCPを起点としておりまして、その理由はほとんどの装置において管理用インターフェースの初
さくらの専用サーバPHYとその裏側 〜物理ホスティング環境構築自動化の取り組み〜 (前編) | さくらのナレッジ
この記事は2020年10月23日に行われたオープンソースカンファレンス2020 Online/Fallにおける発表を文章化したものです。 さくらインターネットの井上と申します。私はクラウドサービス部という部に所属しておりまして、主にさくらの専用サーバ関連の業務に従事しております。本記事では、最近リリースした新サービス「さくらの専用サーバPHY」の紹介と、その裏側、中でも主に物理サーバーやネットワーク環境の構築自動化の取り組みについてご紹介します。記事は2本あり、前編となる本記事ではサービスの紹介およびサービス提供までの流れ、および機器の設置・配線に関してお話しさせていただきます。 物理サーバーホスティングは創業期からのサービス 「さくらの専用サーバPHY」は物理サーバーのホスティングサービスです。物理サーバーのホスティング事業は弊社創業期から続いているサービスでして、1997年には専用サー
ソーシャルゲーム サーバーアーキテクチャ選定 | GREE Engineering
※Read / Write のレスポンスタイムは大まかに計測した値のため適切な設定ができていない場合もあることをご了承ください MySQL 信頼と実績のあるRDBMS。新規タイトルの場合AWSではAurora、GCPではCloud SQLを利用することで運用の手間をある程度減らすことができる。分散システムではないため1クラスタでの書込性能には限界があり、ソーシャルゲームのように大規模なwrite処理がある用途では水平/垂直分割が必要になり、そのための設計とコーディングが煩雑になりがちである。またインスタンスのスケールアップ・ダウンで対応しきれない場合のクラスタの分割・統合のオペレーションは複雑なものになる。 スケールアップ・ダウンやnodeのメンテナンスなどでMaster nodeを切替える際には不通時間が発生してしまうため、安全のためゲーム自体をメンテナンス状態にする必要が発生する。 ※
あつ森のサーバーを分析してみる
あつまれどうぶつの森でやることといえば、「サーバー」を入手して地下室にデータセンターを作ることだ。 発売から1か月、タヌキ商店がアップグレードされて3日目の高額商品がサーバーで、ようやく手に入れることができた。あつ森のラックは、ぶつ森時代に比べてはるかに高精細になっており、搭載装置もサーバーだけではないようだ。そこで本稿では、どんな装置が搭載されているのかを分析してみたい。 前面を見て分かるのは、サーバらしき装置が6台、最下段にグリル状のベゼルでカバーされた装置が1台、最上段に謎の装置が1台の合計8台で構成されたラックということだ。ファクタが分からないので何とも言えないが、村人と比較すると44Uぐらいにみえる。しかし装置のサイズは感覚的にはせいぜい3U程度にしかみえない。3U×8＝24Uではまったく足りないが、あつ森世界ではEIA規格は通用しないのかもしれない。 サーバについては「どっかで
インフラ・サービス監視ツールの新顔「Prometheus」入門 | さくらのナレッジ
サーバーやインフラなどの監視ツールの1つとして最近注目されているのが「Prometheus」だ。Prometheusはインストールや設定が容易で、かつ十分な機能を持ち管理しやすいという特徴を持つ。本記事ではこのPrometheusの導入方法、基本的な監視設定の流れを紹介する。 クラウド時代の監視管理ツール ネットサービスを運営する場合、そのサービスを運営するソフトウェアやサーバー、ネットワーク機器などの状況を監視する手段を用意するのが一般的だ。監視を行い、意図しない状況になったら自動的にメールなどで通知を行うシステムを構築することで、問題をいち早く解決できるようになる。さらに、サービスやマシンの稼働ログを適切に記録することで潜在的な問題を事前に見つけたり、最適化に向けた分析を行うといったことも可能になる。 監視や問題発覚時の通知などを行うオープンソースのツールとしては、過去にElastic
サーバ「管理」ツールとしてのMackerelの起源 - ゆううきブログ
この記事は、SaaSのサーバ監視サービスMackerelを起源を遡り、そこから現在の姿に至った経緯をはてな社内のエンジニアに共有するためのものです。 なお、ここに書かれていることは、Mackerel開発チームの公式見解ではありません。 概要 Mackerelは、もともとは2007年ごろに開発されたはてなの社内のサーバ管理ツールであり、動的なインフラストラクチャに対応するために、現在でいうところのInfrastructure As Codeを目指したものです。 そこから2013年にSaaSのサービスとして開発され、コードベースとアーキテクチャは全く新しくなり、監視機能を備え、サーバ「監視」サービスと呼ばれるようになりました。 しかし、はてな社内では、プログラマブルなAPIを備えたサーバ「管理」サービスとして、Mackerelを中心にしたインフラストラクチャを構築しています。 Mackerel
LinuxのI/OやCPUの負荷とロードアベレージの関係を詳しく見てみる - Qiita
大人気TBSドラマ、「逃げるは恥だが役に立つ」でも話題になったインフラエンジニアという言葉ですが、今ではインターネットインフラを知らないまま開発をするのも難しい状況になっています。クラウドが一般化されたからといって単にリソースの調達が簡単になっただけで、つまりハードウェアの知識が無くても何とかやっていけるようになっただけであり、インフラの知識が要らなくなったなどということは全くなく、むしろdevopsの掛け声とともに、ソフトウェア開発者にインフラを見なければならない新たな責務が課せられたという、なかなか痺れる状況なのだろうと思います。 そういった中で、先日のさくらインターネットのAdvent Calendar最終日に「いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方」という記事を書かせて頂きましたが、今回はLinuxサーバの「負荷」と、ロードアベレージに関して、掘り下げ
スケールアウト再考
3. 広告システムについて システム ： インターネット広告システム アクセス ： 月間数千億〜 サーバ台数： 1000台程度 レスポンス ： 〜100msec ユーザ数 ： 数億UU〜 上記のシステムを安定運用するための考え方 について話したいと思います。
Linuxをかっこよくグラフィカルに監視出来るモニタリングコマンド５選 | 俺的備忘録 〜なんかいろいろ〜
今まで、標準コマンドからの乗り換えコマンドやネットワークのモニタリングに特化したコマンド、コンソールをカラフルにする設定について紹介してきたが、今回はコンソール上でリアルタイムに、そして値をバーで表示させてちょっとグラフィカルにモニタリング出来るコマンドのみを選択して紹介する。 1.htop topコマンドをより見やすくしたコマンド。こういったモニタリングコマンドの中では、もはやお約束といってもいいものだろう。Linuxだけではなく、Macにもインストール可能。 以下のコマンドでインストールできる。 sudo apt-get install htop # Debian/Ubuntu系の場合 sudo yum install htop # RHEL系の場合 2.Glances こちらの記事でも紹介したコマンド。htopのようにグラフで表示させることはできないが、様々な情報をひと目で見ることが
徹底比較！ 運用監視を自動化するオープンソースソフトウェア10製品の特徴、メリット・デメリットをひとまとめ
徹底比較！ 運用監視を自動化するオープンソースソフトウェア10製品の特徴、メリット・デメリットをひとまとめ：特集：運用自動化ツールで実現する、クラウド時代の運用スタイル（2）（1/12 ページ） 運用自動化のポイントを深掘りする本特集。今回は「個々の作業項目の自動化」に焦点を当て、「Zabbix」「JobScheduler」「Sensu」など、運用・監視系の主要OSS、10種類の特徴、使い方などを徹底解説する。 前回は、運用自動化が多くの一般企業に浸透しつつある現状と、運用自動化ツールの導入・活用のステップを紹介した。ポイントとなるのは、サーバー監視、ネットワーク監視といった「個々の運用管理作業の自動化」と、それらをつなぎ合わせた「個々の運用管理作業を連携させた自動化」の実現だ。今回はこの第一ステップとなる「個々の運用管理作業の自動化」に焦点を当て、多くの企業の注目を集めている、10種類の
dstat + fluentd + Elasticsearch + kibana でサーバモニタリングする - blog.nomadscafe.jp
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
ゲームサーバ開発現場の考え方
11. 通信システム リアルタイム通信が不要であればHTTP 送受信（POST）するデータ形式は？ XML, JSON, MessagePack, Google Protocol Buffers, 独自シリアライズ 通信の頻度とデータ量、デシリアライズ処理の重 さ、開発＆デバッグのやりやすさなどから検討（慣 れないうちはJSONオススメ） 11 12. 想定負荷 例）DAU(Daily Active Users) 10万 10万 x 20 Login/日= 200万 Login/日 = 23 Login/秒 3倍して 23 x 3 ≒ 70 Login/秒 これが日々のピーク Webサーバ1台で12程度さばけると仮定すると、Webサーバ6台 となる。（この時点はざっくり） 基本的にログインが最も重い（多くのデータを読み込み、送信 する必要がある）ので、まずはログインの負荷を目安に考える。
ScaleOut | Supership
2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。本件に関する詳細は、プレスリリースをご確認ください。 2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。 本件に関する詳細は、プレスリリースをご確認ください。
自動モニタリングツール「Cacti」でサーバーのリソースを監視する | OSDN Magazine
サーバーやネットワーク機器を管理する際によく使われるのが、機器のリソース情報をネットワーク経由で取得するためのSNMPというプロトコルだ。SNMPではある瞬間のリソース情報しか取得できないが、これらを一定間隔で収集することで、リソースの時間的変化を観測できる。本記事ではこのようなSNMP経由でのリソース情報収集に利用できるツール「Cacti」について紹介する。 シンプルで使い勝手が良いUIが特徴のCacti サーバーやネットワーク機器の情報を取得して表示する管理ツールにはさまざまなものがあるが、昔から使われていたツールの1つに「MRTG（Multi Router Traffic Grapher）」というものがある。MRTGはSNMPというプロトコルを使って対象機器からリソース情報を収集し、グラフなどを作成するソフトウェアだ。MRTGは取得したデータを管理する「RRDtool」というソフトウ
無料で始められる監視・モニタリングサービス 5選
※1: 2013/12/27追記 1台→Noneに書き換えております。これは、はてブで「制限が無いのでは」と指摘ありましたので再度調べました所、"None"と記述がありました。別項目で"Unlimited"の表記があり「無制限」とは違う意味で書かれていると認識しまして、上記の通りに変更しております。 なお、サービス内容は有償プランになると強化・増えている場合がほとんどです。 New Relic 監視・モニタリングがセットになったサービスです。 対象のサーバにエージェントをインストールすることで、監視・モニタリングを行う事ができます。監視項目毎に一つ一つ設定をしなくても良い点が、監視を始めたばかりの方にとっては便利かもしれません。 また、特徴的なのは、スマートフォンからデータの参照、及び障害通知をPush通知で受け取る事ができる点です。現代的ですね。 無償プランでは、サーバは1台、モニタリン
Serf by HashiCorp
Gossip-based Membership Serf relies on an efficient and lightweight gossip protocol to communicate with nodes. The Serf agents periodically exchange messages with each other in much the same way that a zombie apocalypse would occur: it starts with one zombie but soon infects everyone. In practice, the gossip is very fast and extremely efficient. Failure Detection Serf is able to quickly detect fai
エンジニアならウェブサーバーのひとつでも自腹で立てて運用すべき理由と、サーバー環境の選び方 : akiyan.com
エンジニアならウェブサーバーのひとつでも自腹で立てて運用すべき理由と、サーバー環境の選び方 2013-08-26 なんかスイッチが入ったので書いてみる。 目次 技術的なレイヤーは掘り下げるべきなので、ソフトウェア・エンジニアだってサーバー運用は経験すべき ウェブ系のソフトウェアエンジニアを職業としているのであれば、ウェブサーバーのひとつやふたつは自腹で立てて、実際に運用したほうがいい。 なぜかというと、技術的な仕事にはなんでもあてはまることなんだけど、技術的なレイヤーを掘り下げることには大きな意味がある。他にもやったほうがいいことは多々あるにせよ、レイヤーの掘り下げは特に重要だ。 ウェブ系ソフトウェアエンジニアであれば、仕事で使っているサーバーや言語を支えているOSレイヤーやミドルウェアのレイヤーが、どうセットアップされて、どう管理されているのか、知っているのと知っていないのでは、ソフトウ
Kyoto.pm 05で自作のサーバリソース可視化ツールのはなしをしました - ゆううきブログ
nekokakさんを呼んで、7/13(土)にKyoto.pm 05 Tech Talkを開催します！！！！！ - $shibayu36->blog; Kyoto.pm 05で自作のサーバリソース可視化ツールについて20分くらいしゃべりました。 簡単にいうと、既存のサーバリソース可視化ツールのサブシステムとして個別に実装されているであろうRRDtool周りの処理を汎用化したものです。 Monitorelと呼んでます。 まだちゃんとしたプロダクトにはなっていません。 Proof Of Conceptです。 スライドはこんな感じです。 なにがRRDtoolだ。 トーク感想 今日はJPA派遣講師としてnekokakさんに来ていただいていました。 分散型Job QueueシステムのClutchのお話でした。 どうもありがとうございました。 あとTengとかQudoとかいつもお世話になっています。 そ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stop using Nagios (so it can die peacefully)
サーバー未経験者がソーシャルゲームを通して知ったサーバーの事
