無線 LAN の通信品質を見える化する話 - Technology of DeNA
これは DeNA Advent Calendar 2018 その2 の 7 日目の記事です。 こんにちは、IT 基盤部ネットワークグループの寺増です。 ネットワークグループでは、各サービスを提供している DC ネットワークの他、DeNA グループ全体のオフィスネットワークの管理・運用も行っています。 今回は、中でも日々重要性が増している無線 LAN の特徴と、それを安定的に運用するための通信品質観測の仕組みについて、本社ヒカリエを例に紹介します。 目次 はじめに 無線 LAN とは 有線 LAN との違い オフィスの無線 LAN と家庭の無線 LAN オフィスの無線 LAN で発生する様々な事象 無線 LAN の通信観測の仕組み リスト生成 データ収集 データ集計 データ蓄積／可視化 まとめ はじめに 1. 無線 LAN とは 無線 LAN とは、国際標準規格 IEEE802.11 で定義
構造化ロギング | Cloud Logging | Google Cloud Documentation
フィードバックを送信 構造化ロギング コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このドキュメントでは、構造化ロギングのコンセプトと、ログエントリのペイロード フィールドに構造を追加する方法について説明します。ログペイロードが JSON オブジェクトとしてフォーマットされ、そのオブジェクトが jsonPayload フィールドに保存されている場合、ログエントリは構造化ログと呼ばれます。これらのログでは、特定の JSON パスを検索するクエリを作成できます。また、ログペイロード内の特定のフィールドをインデックスに登録できます。一方、ログペイロードが文字列としてフォーマットされ、textPayload フィールドに格納されている場合、ログエントリは非構造化になります。テキスト フィールドは検索できますが、コンテンツをインデックスに登録することはできません。
2017年12月7日 「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン | gihyo.jp
Linux Daily Topics 2017年12月7日「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン 12月6日（米国時間）、米テキサス州オースティンで開催中の「KubeCon + CloudNativeCon」（主催: The Linux Foundation）の会場において「Fluentd v1.0」がリリースされた。米Treasure DataのファウンダーでFluentdの開発者である古橋貞之氏も自身のTwitterでv1.0のローンチを明らかにしている。 Fluentd v1.0 - Cloud Native Computing Foundation Did you see so many amazing news from Fluentd...!? Fluentd 1.0 is released! #CloudN
FluentdでS3にログを収集してみる | DevelopersIO
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket
Datadog Log ManagementでNginxのエラーを監視する - Kaizen Platform 開発者ブログ
SRE Group Managerをしている前田 (@glidenote)です。 弊社では先日監視システムを刷新し、Datadogを全サーバに導入し、今年3月にDatadogから正式リリースされたDatadog Log Managementを利用しNginxのエラー監視をするようにしました。今回はその件について紹介します。 TL;DR Datadog Log Managementを利用して、Nginxのエラーを監視するようにした とりあえずLogを送っておいて、グラフを作ったり、後から必要な形に加工するという運用が簡単に出来るようになった 正式リリース間もないので、まだまだな部分があるが、手軽にログ監視が出来るので今後の機能拡張が楽しみ 前提 以前から弊社では、 Fluentdを利用して計10数億行/dayの各種ログを処理 NginxのログはFluentdを利用して、BigQueryとSe
MicroAdのデータ基盤 - MicroAd Developers Blog
こんにちは。インフラエンジニアの@kanga333です。 最近マイクロアドではデータ基盤を刷新しました。 今回はデータ基盤の刷新に至る背景と新基盤での設計ポイントについてざっくり書いていきたいと思います。 刷新に至る背景 マイクロアドを長年支えてきた既存データ基盤は長年の改修の結果、色々な課題を抱えていました。 データの転送がNFS, Fluentd, Kafkaなど機能毎に色々な方法で行われており、共通基盤的な部分にもかかわらず共通化ができていませんでした。 Hadoopクラスタはサービス毎に立ち上がっていました。クラスタのバージョンは更新できておらず、運用コストが膨らんでいました。 クラスタが分散しているので、データサイエンティストが新しい環境にデータを集める際に、どこににデータがあるのか各担当者にヒアリングする必要がありました。 そして、そこに第一回の記事でも触れているようにDWHの
Check! はじめての Fluentd 〜 IAMロールで Amazon EC2 と S3 間をセキュアに - Qiita
こんにちは、cloudpack の @dz_ こと大平かづみです。 Prologue - はじめに 今回は、Fluentd から Amazon S3 へのログを送ってみます。 S3 への出力は、デフォルトで out_s3 プラグインが用意されています。セキュアな通信にするには、Credentials ( aws_key_id と aws_sec_key ) を設定すればよいのですが、設定ファイルに Creadentials を記載するのは、セキュリティやメンテナンスの点で不便です。 そこで、AWSが提供する AWS IAM の機能を利用して、Amazon EC2 インスタンスと Amazon S3 の通信を制限し、上記を実現してみたいと思います。 [余談] 実は、起動中のEC2インスタンスにはIAMロールを付与できない…のですよ… ずっと悩んでいたんです。前回作った Fluentd 起動中
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
fluentdとKibanaでSSHアクセス元マップ - Qiita
大学外にポートが空いている研究室のサーバに対して，不正なSSHのアクセスが結構来ています． 今回は以下のステップで，不正アクセス元の国をKibana mapで可視化してみました． fluentdでSSHのログから不正アクセスのIPアドレスを解析 GeoIPを使ってIPアドレスから国を特定 Elasticsearchにログを収集 Kibanaのmap panelを使って可視化 GeoIPとは サイトアクセス者の位置情報を取得するGeoIP | SourceForge.JP Magazineより引用． GeoIPとは、IPアドレスを国、都市、インターネットサービスプロバイダ(ISP)にマッピングしたデータベース群である。 そうしたデータとともにC、PHP、Javaその他いくつかの言語を使ってデータベースにアクセスするためのLGPLライセンスのAPIも用意されている。 fluentdでSSHログ
Logging of Rails in Lograge - Qiita
ログはアプリケーションの開発中はもちろん、運用でもとても大切な情報です。 Rails の標準機能のロギングではアクセスログやエラーログなど様々な情報が混在しています。 ログはアクセスログ・業務ログや正常系・異常系など関心事を分離して設計することが大切です。 今回はアクセスログに注目したログの入門編としてサンプルを作成しました。 Rails はスケールアウトを構成することがあるのでログは Fluentd で集めて 全文検索機能がある Elasticsearch などに登録するとよいですね。 Environment Ruby: v2.2.3 Rails: v4.2.5 Elasticsearch: v2.1.1 Fluentd: v0.12.16 Simple Authentication まず、ログのサンプルに単純な認証のWabアプリケーションを作ります。 Setup rails new の
WindowsのCPU使用率/空きメモリ量ログを fluentd で転送して、GrowthForecastでグラフ化 - Qiita
0.前書き WindowsのCPU使用率/空きメモリ量のログを、fluentd で転送し、GrowthForecastでグラフ化します。 Windowsの監視におけるfluentdのユースケースとしてはフォワーダーとしてnxlogを使うパターンが紹介されています。 http://docs.fluentd.org/ja/articles/windows が、 ここではあえてfluentdのWindowsブランチを使って直接fluentdがログを読み、そのままGrowthforを使うことにチャレンジしてみます 。 目指す構成はこんな感じ。 CPU使用率/空きメモリ量の取得には、Windowsに標準添付されている typeperf コマンドを使用します。これはWindowsのパフォーマンスオブジェクトにアクセスし様々な情報を取得し標準出力することができるツールで、間隔指定および繰り返し回数も指定
Google Data Studio で BigQuery ログを可視化してディレクターのデータ依頼から解き放たれる - Qiita
この記事は「エムスリー Advent Calendar 2016」の 10日目の記事です 今年の5月に無償版が提供されている Google Data Studio ですが、使った人たちのコメントを見ているとドキュメントを読まなくても、いきなり使えるというメリットがあったものの、SQLを書けないというデメリットがあって、 他の無料ツールの Re:dash (無料だとサーバーが必要)の方がデータ分析的に使えるかなと思っていました。 しかし、最近この記事を読んでいて、逆に SQLクエリを書かなくて良い ということが (ディレクターに丸投げできるという意味で) 最大の魅力ということに気づきました。ということで、 Google Data Studio を使うことで、ディレクターがよく見たい指標ランキングTOPに挙がるであろうユーザーのアクセスログを可視化したので、ログ収集部分からまるっと解説します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.fluentd.org/doc/
https://www.fluentd.org/doc/index.html
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
http://fluentd.org/doc/index.html
Norikraで遊んでみた - Qiita
nginxのログをLTSV形式で出力して、fluentd経由でMongoDBに保存する - Qiita
td-agent(Fluentd)をバージョン指定でインストールする - Qiita
FluentdでRuby DSLを使う - Qiita
