ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン
TCPパケットを解析して構造化ログでダンプするツール tcpdp を作った - Copy/Cut/Paste/Hatena
やっと形になってきました。 github.com 「データベースのクエリログを取得したい」 例えば、データベース（RDBMS）のクエリログを取得したいとき一番確実な方法は、そのRDBMSに備わっているログ機構を利用することです。 一方で、全てのクエリログを出力するとなるとそれなりにIO負荷がかかることが予想されるので、負荷状況によってはクエリログ出力（のIO負荷）を別サーバに分離したくなります。 では、どうすればよいかというと、例えば アプリケーションサーバとデータベースサーバの間にプロキシサーバを挟んでそこで記録することでIO負荷を分離する アプリケーションサーバ側で（notアプリケーションで）記録することで（大抵、サーバ台数の多い）アプリケーション側にIO負荷を分散する というような方法を思いつきます。 そこで、「もし、TCPコネクション上に流れている（例えば）クエリログを解析してログ
PHP歴ゼロでも使えたLaravelに感動して、社内でLaravelを布教した話 - ぐるなびをちょっと良くするエンジニアブログ
はじめまして、サーチサービス開発グループの松村です。 2016年3月に入社して以来、レストラン検索のサーバーサイドエンジニアとしてフロントや内部ロジック改修、データ連係などを担当しています。PHPフレームワークのLaravelを使い、文字でなく写真をメインにした検索結果一覧ページの作成や管理画面の開発も手がけました。 私が担当したプロジェクトでは、社内ツールと本番サービスの一部に社内で初めてLaravelを導入しました。そこで、社内ツールにLaravelを導入した際の話と、本番サービスに導入し稼働させた話を連載で記事にします。 今回は「社内ツールにLaravel導入した際の話」です。社内でLaravelを導入した際の苦労話と周りからの反響についてまとめました。 Laravelとは なぜLaravelを好きになったのか artisanはかしこい 布教のきっかけ Laravelで開発開始 既存
泥臭いサーバ運用自動化の話 | GREE Engineering
こんにちは、North America事業本部のLiang Fanです。このエントリーは GREE Advent Calendar 2015 10日目の記事です。 本日は、以前所属していたインフラストラクチャ部のサーバ運用と自動化の話を少しご紹介したいと思います。 よろしくお願い致します。 はじめに 運用自動化と聞いて、みなさんは頭の中に何を浮かべますか？仮想化技術(docker、VM)、構成管理ツール(chef、puppet)やクラウドサービス(AWS、Google Cloud Platform）などの答えがたくさん出てくるかもしれません。本日はそれらの技術を使って、かっこいい運用自動化ができたという話ではなく、レガシー環境のサーバ運用を少しでも楽にするための泥臭い自動化の話を紹介したいと思います。 グリーのレガシー環境 レガシー環境と言っても、もう歩けない80歳のおじいさんではなく、
Mac/Windows/Linuxで利用可能なDB専用GUIツール『0xDBE』について | DevelopersIO
これまでに、(主に)Amazon Redshiftで活用出来るGUIツールとして『Intellij IDEA Ultimate Edition』や『Aginity』等を紹介して来ましたが、Intellij IDEAを開発しているJetBrain社から別種のDB関連ツールが開発されているという情報を先日知りました。 Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 ｜ Developers.IO それがこの『0xDBE』と呼ばれるものになります。アナウンス自体は1年以上前からなされていた様で、
【入門】PrometheusでサーバやDockerコンテナのリソース監視 | Pocketstudio.jp log3
新しい監視ツールとして開発途上の Prometheus 概要と、インストール・設定方法、そして複数サーバのCPUやメモリ情報を参照したり、Docker コンテナ情報の取得方法、そしてアラートの確認の仕方を調べました。実際使い始めるまで少々とまどった所もあり、Prometheus を知りたい方、使いたい方向けに、ここで共有します。 ■ Prometheus とは？ Prometheus（プロメテウス）は、オープンソースのサービス監視システムと時系列データベースであり、要は監視ツールです。先月末にバージョン 0.1.0 が公開され、目下開発が進んでいます。開発は、音楽のソーシャル・プラットフォームを展開しているSoundCloud社によって2012年から行われ、数千ものサーバを管理することが目的でした。現在はGitHub上で公開されています。開発言語は Go です。 ■ これまでの監視ツールと
サーバが増えた時にインフラ担当者がやってきたこと - Qiita
はじめに これは ドリコムAdventCalendar の9日目の記事です。 8日目はsazae657さんによるドリコムの俺を支えるUIツールキットです。 自己紹介 @hiracy といいます。 ドリコムのインフラやってます。 最近発表したスライド ドリコムのInfrastructure as Code インフラ自動化とテストについて この内容について WEBサービス・ソーシャルゲームのインフラにてサーバが増加した時の管理について採用してきたツールとノウハウについて書かせて頂きました。 サーバ増加時の管理にお悩みのインフラ担当者は参考にしてみてはいかがでしょうか。 プロビジョニング 業者又は自前でラッキングされたサーバやクラウド業者で契約し使えるようになったサーバからOS設定・ミドルウェアインストール等を1台1台コマンドで設定すると日が暮れてしまいます。(たまにやってみるといい気付きがあり
メール通知テストに便利な“ダミー”のSMTPサーバー「smtp4dev」
今回紹介するツール ［ツール名］smtp4dev ［対象］Windows ［提供元］Robert N Wood、Microsoft Shared Source Community License（MS-CL) ［ダウンロード先］［URL］http://smtp4dev.codeplex.com/［英語］（CodePlex） “ダミーのSMTPサーバー”って何者？ 何のため？ インターネットメールのプロトコルであるSMTP（Simple Mail Transfer Protocol）は、古くからシステム管理ツールのメッセージ通知にも利用されてきました。例えば、サーバーのダウン、ディスク領域不足、電源異常などなど、さまざまなトラブルやその予兆をIT担当者に電子メールで自動的に通知するといった使い方です。 SMTPによる通知機能が正常に動作するには、メッセージ転送が可能なSMTPメールサーバーが
Rails複数DB Casual Talks (2014/11/10 19:20〜)
概要 Rails を使ってサービスを運営している各社による、Rails で複数のDBを使う上で工夫している点、苦労している点についてシェアする会です。 Rails は基本的に複数のDBを取り扱うことをサポートしていないので、gem などで拡張する必要がありますが、それによって開発の仕方やテスト、本番での運用が大きく変わってきます。 これらのノウハウは個々のサービスのインフラ構成に依存するところが大きく、なかなか表に出てくることは無く情報が乏しいという現状があります。 この会によって少しでも Rails で複数のDBを取り扱うことの知見を共有できればと思います。 タイムテーブル 19:00 開場 19:30〜19:40 前説 (@ryopeko) メイントーク(20分) 19:40〜20:00 複数DBとRails way (仮) (@eagletmt) 20:00〜20:20 ソーシャルゲ
「Ansibleではじめるサーバ作業の自動化」を発表してきました
2014/10/11 に開催された PHPカンファレンス にて、「Ansibleではじめるサーバ作業の自動化」という発表を行ってきました。 午前中のセッションだったのですが、多くの方にご参加頂き、ありがとうございました。 発表資料 発表資料をslideshareに公開しました。 今回は、これからAnsibleを使ってみようという方を対象として、Ansibleの基本的な内容をメインにしました。また、実際に私自身がPHPプロジェクトで採用した際のユースケースを紹介しています。 発表後、「Ansibleをやってみます！」という意見を頂けたので、このセッションの目的は達成することができました:D このセッションのフィードバックは、joind.in にて受けて付けています。すでにいくつか好評価を頂いていて安心していますが、もし良かったらお願いします。 https://joind.in/talk/vi
CentOS 6.5 - サーバ監視ツール（munin）でCPU温度・電圧・ファン回転数測定！
前回は CentOS 6.5 サーバ上のサーバ監視ツール munin でハードディスク温度監視の設定を行いました。 今回はサーバ監視ツール munin で CPU 温度・電圧・ファン回転数監視の設定を行います。 0. 前提条件 CentOS 6.5(x86_64) を Minimal で最小インストールしている。 クライントマシンは Linux Mint 14(64bit) を想定。 閲覧に使用する Web(HTTP) サーバは Nginx を想定。 1. lm_sensors インストール ハードウェア状況を取得するのに必要な lm_sensors をインストールして、ハードウェアを検出する。
Mackerelをベータ公開しました - Mackerel お知らせ #mackerelio
本日、Mackerelをベータ公開しました。 Mackerelは、ウェブアプリケーションのパフォーマンスとインフラを管理するための新しいサービスです。 Mackerelとは Mackerelは、次のような問題を解決することを目指しています。 複数のサーバのリソース状況を効率的に可視化 各種ツールと連携することでサーバ情報の多重管理を解消 複数のクラウド環境を一元管理 リソース消費状況を可視化するだけではなく、APIによる各種ツールとの連携で、開発と運用の自動化をより促進させていきます。 詳細は、下記のリンクからどうぞ。 利用開始 https://mackerel.io/ja/ ヘルプページ https://mackerel.io/ja/docs/ 正式化に向けて ベータ期間中は、すべての機能を無料でご利用いただけます。正式版では無料でご利用いただける範囲に制限がつきます（料金などの詳細は正
Gitonomy – PHP製のGit管理サーバ
おお、これは企業で使えそうですよ！ 企業によっては外部にソースコードを預けられないため、自社でGitサーバを構えているところも多いでしょう。しかしそうなると管理画面が欲しくなります。GitHubの管理画面は優秀で、ああいったWebブラウザ上でリポジトリの情報を見たいと思うはずです。 そこで使ってみて欲しいのがGitonomyです。デザインの格好いい、Gitリポジトリマネージャです。 Gitonomyの使い方 GitonomyはPHP + Symfonyの組み合わせで作られていて、Webブラウザ上でGitリポジトリの操作が一通りできるようになっています。ユーザはプロジェクト単位にグループに入り、そこで権限管理される仕組みです。 ソーシャル機能はありませんが、企業ユースであれば十分ではないでしょうか。社内でGitサーバを立てている場合はぜひ導入を検討してみてください。 GitonomyはPHP
Sensuを使ってクラウド環境の監視を効率よく行おう - UNIX的なアレ
AWSなど様々な環境でサーバを管理してくると、すべて同一の監視ツールを使うのがなかなか難しくなってきます。そんなこともあり、私も定期的にいろいろな監視ツールを試しています。 http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/ nagiosとクラウドの相性が悪い！ 監視するには様々なツールがありますが、その中でも特に有名なツールはnagiosでしょう。古くから使われているツールで、プラグインも数多くあり様々な監視を行うことができます。 クライアント側にnrpeをインストールすることで、各ホストの詳細の状態まで監視することができますし、うまく活用すればかなり細かい監視までできます。 しかし、AWSのようなクラウド環境で使うには非常に使いづらいです。というのも、nagiosはサーバ側にどのホストを監視するのかという情報を持たなけ
Chefを読んで実行するための全知識 - Qiita
このドキュメントでは、Chefを実行して、インフラを作成したい人が、既存のレシピがあるのを前提に、Chefの概要を理解するためのドキュメントです。Chef-soloの構成のみに対応した記述になっています。理解が間違えているところとかあればご指摘ください。 1. Chefの概要 1.1. Chefとは シェフは、インフラストラクチャーをコードに変換するための自動化プラットフォームです。仮想環境でも、物理環境でも、クラウドでも使う事ができます。インフラストラクチャを自動化することで、プロダクトのマーケット投入を早めたり、スケールや複雑さに対応したり、システムを安全に保ちます。 1.2. Chefの仕組み Chefはサーバーをセットアップして、希望の状態にするための「クックブック」「ノードオブジェクト」というDSL(設定ファイルっぽいもの)をローカルのワークステーションで作成します。それらのDS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
Engadget | Technology News & Reviews