12.5億UUを解析するKARTEを支える監視構成について記事を書きました。
12.5億UUを解析する大規模解析サービスの監視構成 | PLAID engineer blog
12.5億UUを解析するKARTEを支える監視構成について記事を書きました。
インフラエンジニアのこれまでとこれから
3. © 2017 Groovenauts,Inc. 本発表における「インフラエンジニア」の定義 システムにおけるサーバ・ネットワークなど 『システム基盤』への作業を実施し、責任を持っている人を本スラ イドにおける インフラエンジニア と定義します。 - システム構成の設計（用途・台数・スペック） - 物理設置 - OS・パッケージのインストール/各種設定 - システム監視の導入/設定 - パフォーマンスチューニング - トラブルシューティング 4. © 2017 Groovenauts,Inc. 自己紹介 熊野 良 (Ryo Kumano) 40歳 社会人歴=ITエンジニア歴=17年目 (インフラ歴 10年程度) 2014年6月より 株式会社グルーヴノーツ にJOIN。 自社システム MAGELLAN BLOCKS における 基盤インフラの構築・運用・監視業務など いわゆる インフラエン
Ansible + Mackerel APIによる1000台規模のサーバオペレーション - ゆううきブログ
Ansible と Mackerel API を組み合わせて、1000台規模のサーバ群に対して同時にパッケージの更新やその他のサーバオペレーションのための方法を紹介します。 タイトルに Mackerel とありますが、それほど Mackerel に依存しない話です。 (AnsibleとDockerによる1000台同時SSHオペレーション環境 - ゆううきブログに続編を書いています。) 背景 社内では、サーバ構成管理ツールとして Chef を使用しています。 Chef Server は運用が大変なので使用しておらず、knife-solo と Mackerel APIを組み合わせてホストと Chef role とのマッピングに Mackerel のロール情報を用いています。 また、Mackerel の Ruby クライアントを利用して recipe 内で API を叩いて、Mackerel か
Rundeck - cronから移行しやすいジョブスケジューラを使ってみよう
こんにちは。斎藤です。 最近、Dockerなどのコンテナ型仮想化技術、Chef, Ansible, Itamae などによるITインフラ構築・運用自動化技術の利用が進んでいます。一方で、何年も動いて「歴史」を積み重ねているシステムも数多くあります。そして、私を含めてそれらの運用に関わる事もあるでしょう。そんな「歴史」のあるシステムも、何とか運用を効率化したいと思う事があるかもしれません。 今日は、バッチジョブや複数サーバに対する運用を効率化するRundeckを取り上げます。「何ができるの？」「はじめかた」そして「利用時の留意点」の3点についてお話しします。 ※OSはCentOS 6系、Rundeck はバージョン 2.4.0、Java VM は Oracle JDK 1.7.0_72 を利用しています。 cron。Linux系OSに標準搭載されているジョブスケジューラです。標準で使えるため
Ansibleを使い出す前に押さえておきたかったディレクトリ構成のベストプラクティス - 双六工場日誌
Ansibleのディレクトリ構成を決める際、プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定を変更する方法でしっくり来るものを思いつかず、どうしたものかと悩んでいたのですが、今日見つけたブログ記事でそれもスッキリ解消したのでメモっておきます。 結論 まず結論を。プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定する場合は、以下のように対応するのが良さそうです。 ディレクトリ構成は、公式ドキュメントに従う。 Best Practices — Ansible Documentation プロダクション、ステージング、開発など、ステージごとの変数切替は以下のブログを参考に、"group_vars"を利用して行う。 インベントリファイルの中に、"[production:children]"のようなグループすべてが属するグループを作ってしまい、そのグ
Zabbixとjob scheduler連携による運用システムoss化の実現
This document discusses Zabbix, an open source monitoring software, and its job scheduling capabilities using HyClops. It also talks about TIS's support for open source software and monitoring infrastructure using Zabbix. The presentation provides an overview of Zabbix's features for monitoring servers, networks, databases and applications using agents. It also describes how Zabbix uses APIs to in
Docker + Chef + serverspec + Jenkins でインフラCIの環境を構築してみた - hidemium's blog
Dockerが使えるようになったため、Jenkinsにより仮想サーバの起動から、サーバ構築、テスト、仮想サーバの廃棄までを自動化してみました。 やりたいこと 以下のように、Chefのリポジトリの更新をトリガーに、仮想サーバの起動から、サーバ構築、テスト、仮想サーバの廃棄までをJenkinsにて自動化します。 Chefのレシピをリモートリポジトリへgit pushすると、Jenkinsが通知を検知 JenkinsからDockerの仮想サーバ(コンテナ)を起動 起動が成功すれば、Chefを実行し、サーバを構築 サーバ構築が成功すれば、serverspecを実行し、サーバの状態をテスト テストが成功すれば、Dockerの仮想サーバ(コンテナ)を廃棄 また、Dockerの起動停止、サーバ構築、テストは全てSSH接続により行います。 構成 CentOS 6.5 : Chef、serverspec、J
CPU、メモリ、ディスク使用量…ひと目でわかるモニタリングツール『Glances』コマンド | 俺的備忘録 〜なんかいろいろ〜
以前、モニタリングコマンド『nmon』を紹介したが、今回は同様に便利な『Glances』というコマンドについて紹介する。 このコマンドの特徴としては、多くの情報をひと目で確認出来るということだ。 さて、それでは早速インストールをしてみよう。 以下のコマンドを実行する事で、インストールが行える。 sudo apt-get install python-pip build-essential python-dev sudo pip install Glances sudo pip install PySensors インストール完了後、以下のコマンドで『Glances』を実行する。 glances ぱっと見で多くの情報を参照出来て、かなり便利なコマンドだ。 これはいいね！！ 他には、どんな事が出来るんだろう？ヘルプの内容を見てみよう。 test@test-vm-ubuntu:~$ glance
Docker専用ツールのまとめ(PaaSとUI、OS、コンテナ管理ツール、ホスティングなど)
横田です。Dockerが盛り上がっておりますが、Dockerの盛り上がりと同時に「Dockerを利用してPaaSを構築できるツール」や「DockerにUIを追加するツール」さらに「Dockerの利用を前提としたOS」など「Docker専用ツール」も登場してきています。 今回は、そのような「Docker専用ツール」を色々とご紹介したいと思います。 《PaaS》 Docker上にPaaSを構築するツールがいくつか登場してきています。かつては「Dokku」が人気でしたが、最近では「Flynn」と「Deis」というツールに人気が集まっているようです。 日本だとWeb上のドキュメントが少ないですが、先日の「Docker meetup tokyo #3」で発表されたtaichi nakashimaさんの記事が「flynn」関連のドキュメントを多く公開してくださっているので「Flynn」の方がやりやすい
[翻訳] Dockerについてよくある勘違い｜TechRacho by BPS株式会社
こんにちは、hachi8833です。今回は弊社システム管理者のyamasitaさん監修のもとで、Matt Jaynes氏のDocker Misconceptionsを翻訳いたしました。それなりに文言を最適化してあり、原文と一対一対応しているとは限りませんのでご了承ください。エラーがありましたらお知らせいただけると助かります。 Dockerについてよくある勘違い Matt Jaynes 元記事: Docker Misconceptions Dockerは最近のシステム管理業界で大変な脚光を浴びてます。これによるシステム管理の進歩ははかりしれないものがありますが、いくつか重要な点で勘違いしている人を見かけます。 分野を限定して語っているのでよろしく この記事で説明する内容は、主にWebサービスにおけるミッションクリティカルなシステムのマルチホストセットアップに限定しています。Dockerをそれ
![[翻訳] Dockerについてよくある勘違い｜TechRacho by BPS株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/bba8947fb1fb4d0e9acba9c31526a1b7e40488a3/height=288;version=1;width=512/https%3A%2F%2Ftechracho.bpsinc.jp%2Fwp-content%2Fuploads%2F2014%2F02%2Fhomepage-docker-logo.png){kind=logo}
最新インフラエンジニア技術勉強会に行ってきました #dli_infra | こえむの編集後記
昨夜、ドリコムさんで行われた「最新インフラエンジニア技術勉強会 〜Fluentd, Elasticsearch,Chefの実践実例〜」に足を運んできました。 タイトルにもありますように、Chef, モニタリング, Fluentd, そして elasticsearch が使われている現場の情報を伺える機会となりました。 それでは、いつものようにノートをアップしておきます。 概要 2014-05-23 ドリコム 本社 (目黒アルコタワー) 19:30-20:00 ひらしー ドリコムのInfrastructure as Code 20:00-20:30 mickey Winning the metrics battle 20:30-21:00 外山 寛 Fluentd プラグイン開発講座 21:00-21:30 yoshi_ken MySQLと組み合わせて始める全文検索エンジン「elastics
GREEがOpenStackを導入した理由と苦労と改良点（前編）。OpenStack Days Tokyo 2014
GREEがOpenStackを導入した理由と苦労と改良点（前編）。OpenStack Days Tokyo 2014 オープンソースで開発されているIaaS型クラウド基盤ソフトウェアのOpenStackをテーマにしたイベント「OpenStack Days Tokyo 2014」が、2月13日、14日の2日間にわたり開催されました。OpenStackはIBM、HP、シスコシステムズなど大手ベンダも相次いでサポートを表明し、急速に注目度を高めています。 OpenStack Days Tokyo 2014、2日目の基調講演ではグリー株式会社 インフラストラクチャ本部 渡辺光一氏、松橋洋平氏が登壇。GREEの本番環境で稼働しているOpenStackについて、導入の経緯から苦労した点、実装方法などについて紹介しました。本記事ではそのダイジェストを紹介します。 GREEにおけるOpenStackの導入
プライベートクラウド作ってみました
7. 自己紹介 名前：長谷部 光治（インフラエンジニア） ・2012年2月 サイバーエージェント入社 ・今まで：一貫してクラウドシステム構築 2012年2月 〜 6月 OpenStack検証、導入 2012年7月 〜 現在 プライベートクラウド開発 ・現在：インフラ3割、開発7割 7 copyright(C) 1998-2013 CyberAgent, Inc. All rights reserved
プロセスのCPU使用率を制限する方法 - Qiita
CPU負荷制限 cpulimit というツールがあり、%指定でそのプロセス(子プロセス含む)のCPUの利用率を制限することができます。例えば infinity という単にシングルスレッドで無限ループするプログラムがあったとして、CPU使用率10%で制限するには以下のようにします。 この10%というのは1論理コアの割合です。100と指定すると論理コア1個分(100%)まで許可することになります。例えば4論理コアの環境ではこの値は0～400まで設定できます。なのでシングルスレッド・シングルプロセスのプログラムであれば100以上指定しても意味はありません。 infinityを2論理コア上で50%で制限すると、以下のようになります。 (↓では論理コア全部を100%として表示してます) 既に走っているプロセスに制限をかけることもできます。
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
Serf+HAProxyで作るAutomatic Load Balancer - Glide Note
hashicorp/serf Serf Serf使ってますか！サーフ！ 諸事情というか大人の事情で急遽自前でロードバランサを用意しないといけなくて、それをissueに書いてたら、 あんちぽさんがSerf+HAProxy使ったらいいのでは、 とIRCで助言をくれて、同日のmizzyさんのブログでもSerfに言及していたので、 ちょっとSerfの概要を知るためと、Serf+HAProxyが実際ロードバランサとしてどんな感じに使えるのか検証してみた。 I told @glidenote about a combination of Serf and HAProxy this morning, and he has already implemented the arch. and done investigation… — kentaro (@kentaro) October 29, 2013
Yahoo! JAPANの爆速連絡ツール
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、インフラを担当しています鈴木秀典です。 入社以来、数年に渡ってオークション、ショッピングなどのサービス開発、運用を担当していましたが、昨年インフラ部門に移り、今はヤフー全体のシステム監視、可視化をはじめ、オペレーションエンジニアが抱える共通的な課題の解決につとめています。 このたび、障害時の電話連絡を自動で行うシステムを構築したので、ご紹介したいと思います。 休祝日や夜間などに、営業部門からシステム担当者に連絡を取る際、なかなか担当者をつかまえられなかったり、大きなサービスの場合は、担当者を一発で引き当てられず連絡に時間をかけてしまうことがありました。 連絡を受けるシステム担当者の立場からは、少し遅れて連絡が入っていた
chef + fabricを用いたクラウドサービス管理 | SmartNews開発者ブログ
ゴクロの大平と申します。はじめまして。 ４月からjoinさせていただいた、特に特記事項の無い平凡なプログラマです。さだまさしが好きです。 SmartNews開発者ブログをご覧になる方々は、サービスの裏側で動作するクローラーや多種多様な機械学習のロジックであったり、フロントエンドのUIの話であったり、サービス固有の話に興味が有る方が多いと存じますが、都合上（原稿の担当順番の都合上）、今回は一般的な話をさせていただきます。 ※先掲の話題については次回以降取り上げられますので、お楽しみに。 一般的な話題とはいえ、大企業とスタートアップでは取り巻く環境や解決すべき課題も異なっていますので、その辺もあわせてお伝え出来ればなと思います。 なお、今回のテーマは、サーバー/ミドルウェアの構成管理ツールとして最近有名になってきた「chef」と「fabric」です。 かなり長文のエントリーになってしまい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テスト駆動インフラ構築-Chefとserverspecを使ったインフラ自動化のすすめ-
はてなのサーバ管理ツールの話
