私の考えた最強のログ＆モニタリング設計 - 下町柚子黄昏記 by @yuzutas0
この記事はRecruit Engineers Advent Calendar 2018 - 8日目の記事です。 注意点 タイトルは煽りです。「新規事業におけるデータエンジニアリングの勘所」の方が正しいかもです。 クオリティというか記事の信頼度は、投稿時間がギリギリになってしまったことから察してもらえるとありがたいです。 本エントリーの内容は個人的な見解であり、所属する組織を代表するものではありません。データの取り扱いは非常にセンシティブなトピックでもあるため気軽に発信すべきではないということは重々承知しております。もし誤りや考慮不足だと感じる点があれば、それは全て私個人の力不足によるものですので、どうぞ私個人当てにご指摘のコメントをいただけると幸いです。 もくじ 注意点 もくじ 背景 前提 体制 システム 開発スコープ 機械学習WebAPIは分離 データ基盤設計 全体の設計ポリシー データ
TCPパケットを解析して構造化ログでダンプするツール tcpdp を作った - Copy/Cut/Paste/Hatena
やっと形になってきました。 github.com 「データベースのクエリログを取得したい」 例えば、データベース（RDBMS）のクエリログを取得したいとき一番確実な方法は、そのRDBMSに備わっているログ機構を利用することです。 一方で、全てのクエリログを出力するとなるとそれなりにIO負荷がかかることが予想されるので、負荷状況によってはクエリログ出力（のIO負荷）を別サーバに分離したくなります。 では、どうすればよいかというと、例えば アプリケーションサーバとデータベースサーバの間にプロキシサーバを挟んでそこで記録することでIO負荷を分離する アプリケーションサーバ側で（notアプリケーションで）記録することで（大抵、サーバ台数の多い）アプリケーション側にIO負荷を分散する というような方法を思いつきます。 そこで、「もし、TCPコネクション上に流れている（例えば）クエリログを解析してログ
Windowsのログ管理ツールをJPCERT/CCが公開、サイバー攻撃の挙動調査に役立つ：Windows用ツールを分かりやすくする - ＠IT
Windowsのログ管理ツールをJPCERT/CCが公開、サイバー攻撃の挙動調査に役立つ：Windows用ツールを分かりやすくする JPCERT/CCは、Windowsのログ収集ツール「Sysmon」のログを管理、分析するツール「SysmonSearch」を公開した。複数のWindows端末のログを一元管理でき、監視ルールに基づいて定期的に検索する機能も備える。 JPCERTコーディネーションセンター（以下、JPCERT/CC）は2018年9月6日、Microsoftが提供するWindowsのログ収集ツール「Sysmon」が出力するログを管理、分析するツール「SysmonSearch」を公開した。サイバー攻撃を受けたときなどに、複数の端末のログを一元的に管理し、分析できる。GitHubからダウンロード可能だ。 Sysmonは端末上で動作したアプリケーションの情報やレジストリエントリの作成、
Python: ロギング設定をファイルから読み込むときの注意点 - CUBE SUGAR CONTAINER
大昔にハマった問題を忘れていて、またやってしまったので備忘録として残しておく。 結論から先に書いておくと、まず Python でロギングの設定をファイルから読み込むときは logging.config.fileConfig() という関数を使う。 そのとき disable_existing_loggers というオプションに False を指定するのを忘れないようにしましょうね、という話。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.4 BuildVersion: 17E199 $ python -V Python 3.6.5 下準備 次のようにロギングの設定ファイルを用意しておく。 出力するときの行フォーマットとかファイルのローテーティングとか色々と設定できる。 ログ自体は /var/tmp/exam
ネットワーク機器のリアルタイムログ解析ツール「LForM」をOSSで提供開始
エーピーコミュニケーションズはファイアウォールやIDS/IPS、認証サーバなど様々なネットワーク機器のログを収集・閲覧・分析するソフトウェア「LForM（エルフォーム）」を、3月1日にオープンソース（OSS）として提供開始いたします。 LForMはネットワーク機器のログ、機器ステータスの可視化を行うソフトウェアです。 ログを集約・可視化することにより、トラブル調査や傾向分析をスムーズに行うことができます。 また、LForMによって長期間のログ保存、可視化を行うことができ、機器本体で保存できない容量のログを管理することが可能となります。 現在はFortinet社のFortiGateのログ可視化に対応しており、今後はその他の機器にも対応する予定です。 尚、LForMはオープンソースとして無料で公開・配布しています。 ■LForM 概要 ・サービス名：LForM （エルフォーム） ・サービスサイ
ソーシャルゲームのカスタマーサポートを支える行動ログとredash - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2016の21日目の記事です。 こんにちは、ソーシャルゲーム事業部のぼくらの甲子園！ポケットのサーバサイド開発・運用を担当しておりますマコピーことid:mackee_wです。 ↑のヘッダ画像の人物はワタクシ、という噂があります。みなさま答えはあっていましたでしょうか。 ぼくらの甲子園！ポケットとは 2014年9月にリリースされた共闘スポーツRPGのスマートフォン向けゲーム 現在3年目でございます！！！ 甲子園をモチーフにしてプレイヤーとプレイヤーが協力して別のチーム(CPUではない)と対戦して甲子園の頂点を目指す チーム(高校)の部員がプレイヤー9人揃わなければ試合が始まらない縛りとかも特徴です そんな感じで運営しておりますので興味を持たれましたらこちらからダウンロードのほどよろしくお願いしますm( )m。 ちなみにこの記事は
Log解析の超入門
The document provides an overview of how search engines and the Lucene library work. It explains that search engines use web crawlers to index documents, which are then stored and searched. Lucene is an open source library for indexing and searching documents. It works by analyzing documents to extract terms, indexing the terms, and allowing searches to match indexed terms. The document details Lu
ハフィントンポストで小室淑恵さんが「長時間労働をやめれば、日本は変わる」 - hamachanブログ(EU労働法政策雑記帳)
ハフィントンポストで小室淑恵さんが「長時間労働をやめれば、日本は変わる」と熱く語っています。 http://www.huffingtonpost.jp/2014/12/12/komuro-yoshie-election2014_n_6313526.html ・・・よくよく考えてみると、少子高齢化といった社会保障に関わる問題だけでなく、個人消費の冷え込みといった経済的な問題も含めて、日本の抱える課題の元凶は“長時間労働”なんですね。長時間労働をやめれば、日本は変わります。 ・・・この長時間労働の解決にこそ、政府は一番介入していくべきだと思います。政府が、長時間労働に踏み込めるか。経済団体からの風当たりは強いかもしれませんが、「これで景気がよくなる、企業経営がよくなるんだ」と、ちゃんと説得していけるかが重要だと思います。 ところがこれがなぜか一番難しい。 次の一節では私も出てきますが、 ･･･
食べ歩きの達人が選ぶ「東京の麻婆豆腐」10選｜男子ハック
ハマると病みつき！東京の麻婆豆腐の名店！麻婆豆腐は清の時代の成都で、一人の女性によって生み出されたとされる料理です。ありあわせの食材を使って客人をもてなそうとして考案された料理で、この由来から、非常に家庭的な料理であると言えます。 日本には、1952年に来日した陳健民氏によってもたらされ、今や知らない人はいない程の、代表的な中国料理となっております。麻婆豆腐とは本来は唐辛子の辛さ「辣」と、花椒の辛さ（痺れ）「麻」の力強い協奏が魅力的な料理。 日本料理には無い「麻辣」こそが麻婆豆腐の味わいと言えます。最近ではその麻辣の魅力が再認識され、現地仕様の麻辣味を楽しめるお店や、本格的な豆板醤と花椒の使い方をしつつ上品にアレンジするお店などが出てきました。 1 神田 雲林【神田】香り豊かで端正な麻婆豆腐 主人が中国・四川で食べ歩き開発した四川麻婆豆腐。 よりストレートな辛さと刺激的な痺れ感の中に旨みが
Webサーバのログをリアルタイムで解析、監視できる『GoAccess』コマンド | 俺的備忘録 〜なんかいろいろ〜
今回は、Webサーバのログ解析をリアルタイムで行えるコマンド『GoAccess』を紹介する。 1.インストール まずはコマンドのインストールから。 以下のコマンドを実行する。 ソースコードからmakeする場合 wget http://tar.goaccess.io/goaccess-0.8.5.tar.gz tar -xzvf goaccess-0.8.5.tar.gz cd goaccess-0.8.5/ ./configure --enable-geoip --enable-utf8 make sudo make install パッケージ管理ソフトからインストールする場合 brew install goaccess (Mac OS Xの場合) sudo apt-get install goaccess (Debian/Ubuntuの場合) sudo yum install goacc
東京で行ってみたいお店をまとめてみた #食 vol.4 #備忘録 - ぶっ飛んでいた方がおもしろい
2014-09-14 東京で行ってみたいお店をまとめてみた #食 vol.4 #備忘録 食 食事はコミュニケーションツールだ！と考え、一人の時は何も食べない主義でしたが、最近は食べることを心から楽しめるようになりました。熊本です。 人とお会いしている時は貴重な時間をお互いに頂いてる分、両者にとって、その時間を特別かつ充実した時間にしたい。そのため、時間や場所などはかなりこだわる主義。空間を楽しみたいなぁと。 前述したように、店も人もサービスも、相手にどれだけ楽しんでもらえるか（＝感動してもらえるか）で次にどう繋がるかが決まると思うし、楽しんでもらえている中で、相手の内面を如何に引き出せるかで更に深い関係（信頼度など）に繋がると考えるため、私はそれができた時に幸せを感じるんですよね。 <a href="http://aikakumamoto.hatenablog
食べログの最低評価から見える客が飲食店に求める基準 - 田舎で底辺暮らし
飲食店の評価を皆で書き込む人気サイト「食べログ」。 ぼうっと店の評価やメニューの画像を見ているだけで楽しかったりします。 ふと、最低評価の店ってどんな感じなのかしら、と気になったので調べてみました。 「最悪」というキーワードで検索。 検索結果がこちら↓ 口コミ検索 [食べログ] なんと全部で21547件も出てきました。 全てが低評価というわけではないですが、みんな結構辛辣にコメントしています。 で、ざっと目を通してみると… やはり、印象を最も悪くするのは接客態度のようです。 星の数が１つだけ（星５つのうち）など、極端に評価が低い店へのコメントには、接客への不満がかなり多い。 接客態度で不快になり、食べるものの味も比例して低い評価になる、という印象をうけました。 味、立地条件、待ち時間が長いなど接客態度以外の部分で気に入らないという場合なら、星が２つや３つだったりするのが興味深ところ。 味が
ログをカラフルにしてもっと見やすく！『ccze tool』 | 俺的備忘録 〜なんかいろいろ〜
今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする『ccze tool』を紹介する。 1.インストール まずはインストール。 以下のコマンドを実行する。 sudo yum install ccze --enablerepo=epel (CentOSの場合) sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行 さて、それでは実際にコマンドを実行してみよう。 tailコマンドで、「/var/log/messages」を確認する。 tail /var/log/messages | ccze -A 上半分はcczeを利用していない状態。 下半分でcczeを用いている。 うーむ、確かに見やすい… むろん、「tail -F」でも閲覧可能だ。 tail -F /var/log/messages | ccze -A ちなみ
1日10分で時間の使い方をうまくする5つの方法 | jMatsuzaki
1日たった10分で時間の使い方をうまくする5つの方法 2014年8月14日投稿 2019年9月8日更新 カテゴリ：タスク・スケジュール管理 著者: jMatsuzaki 私の愛しいアップルパイへ 「忙しいわりには、充実感がぜんぜんない……」 「タスクをこなしてもこなしても終わりが見えない。時間の使い方が下手なのかな……」 このように時間をどうしたらうまく使うのかは、誰もが抱える永遠の命題です。 平等に与えられた時間をどう使うかこそ、もっともも違いを生む能力の１つではないでしょうか。 私も以前は時間の使い方が下手くそでひどく苦労したくちです。 平日はヘトヘトになるまで働いて、休日はというと、 インターネット 昼寝 たったこれだけで終える日々でした。 「さすがにこれはマズイ……！」 そう感じてから時間管理の重要性に目覚め、今となってはタスク管理ツール「TaskChute Cloud（タスクシュ
第4回 状態の確認とログ出力
ネットワークの運用管理においては、ネットワークの接続状況を調べる、インタフェースの状態を確認する、といった作業がしばしば発生する。そうした際に利用できるnmcliコマンドの使い方や、NetworkManagerが出力するログのチェック方法について説明する。最後に、特定インタフェースをNetworkManagerの管理下から外す方法を紹介する。 コネクションやデバイスの状態確認 コネクションの概要を確認するには、操作対象のコネクションを指定してnmcliコマンドを実行すればよい。図4のように、指定したコネクションのUUIDやタイプ、デバイスが表示される。また、コネクションについて詳しい情報を得たいなら、「nmcli connection show "コネクション名"」 のように、showサブコマンドにコネクションの名前を指定して実行すればよい（図5）。 # nmcli connection
サーバの負荷や使用率などを見るコマンドの一覧 - [Linux [Red Hat/CentOSなど]/サーバー] ぺんたん info
サーバの負荷などの監視に使うコマンドいろいろ [参考記事] ログをリアルタイムに表示させて監視する方法 [参考記事] PHPでロードアベレージを表示させる方法 [参考記事] Cacti RRDToolを利用したサーバ監視ツール ロードアベレージ(CPU負荷状態) w または uptime ディスク使用率 df メモリ使用状況 free 起動中のタスク ps aux ロードアベレージ、メモリ使用状況、タスク(負荷順) top ディスクI/O iostat リアルタイムで見るには watch iostat iostatを利用するにはsysstatのインストールが必要です。 yum install sysstat その他いろいろ sar -u 3 10 sarとはSystem Admin Reporterの略です。 CPUやネットワーク、メモリ、ディスクなどの情報を見ることができます。 ログは日
簡単なロギングならJava標準APIを利用すれば捗る | Glob
Java のプロジェクトでロギングをする場合、SL4J とか Logback、Log4J なんかを使うと思うのだけれど、ちょっとしたサンプルプログラムや検証用のプログラムにライブラリを組み込んだり、設定ファイルをカキカキするのは面倒くさい。 かといって、手ずからログファイルを書き出す処理を実装するのはばからしい。 こんな時には、Java標準APIのロギング(java.util.logging)を利用すると捗る。 http://www.atmarkit.co.jp/ait/articles/0801/08/news128.html 以下の様な感じ。 java.util.logging.FileHandler.pattern には、出力ファイルのパスを含むパターンを設定 java.util.logging.FileHandler.formatter に、XMLFormatter を指定すると、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FLGMAP その場の出来事を記憶する無料住所録サービス
MySQLトラブル解析入門
BANDIT77 - Situs $L0T Online Hadiah Paling Besar