ロギングベストプラクティス - kawasima
#翻訳 https://www.scalyr.com/blog/the-10-commandments-of-logging/ CC BY 4.0 @Brice Figureau 1.自分でログの書き出しをしない printfをつかったり、ログエントリを自分でファイルに書き出したり、ログローテションを自分でやったりしてはいけない。運用担当者にお願いして、標準ライブラリやシステムAPIコールを使うようにしよう。そうすれば、実行中のアプリケーションが他のシステムコンポーネントと適切に連携して、特別なシステム設定なしに適切な場所またはネットワークサービスにログを記録できるようになる。 ロギングライブラリを使いたければ、特にJavaの世界にはLog4j, JCL, slf4j, logbackなど多くのものが存在する。私はslf4jとlogbackを組み合わせて使うのが好きだ。とてもパワフルで、設
[Amazon Connect] IVRによる居酒屋の無人予約受付のログを整形してみました | DevelopersIO
1 はじめに AIソリューション部の平内（SIN）です。 Amazon Connect(以下、Connect)では、簡単にIVRに構築が可能なので、無人予約受付などが簡単に実現できます。 下記は、先日、サンプルとして作成してみた「居酒屋の予約」です。 このような仕組みを作った後、実際に運用に入ると、PDCAとか回すために、次のような疑問が出てきます。 IVRのみシステムで、どれ位、離脱があるのだろうか（受付完了までに到達せず諦めてしまうなど） 想定外の入力は、どのようなものがあるのだろうか（誘導のアナウンスは、適切なのか） アクセスの状況は？（申し込み電話をする時間帯は？、実際の予約の何日前？などに併せて、質問内容を最適化できないか？） 今回は、このような要求に応じるためのログの整形をやってみました。 2 デフォルトのログ Connectでは、問い合わせフローでログ記録動作の設定ブロッグを
![[Amazon Connect] IVRによる居酒屋の無人予約受付のログを整形してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a8e0f4f6e2f54ea36617b93c6bd4e636bf4470bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_amazon-connect_1200x630.jpeg)
AWSのログ管理ベストプラクティス
9. 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え 分析前の前処理等、 いわゆるETL （抽出、変換、挿 入 ）的な処理 各サーバや、サー ビスからのログを 収集する ログに対して各種 分析をかける 収集したログを サーバやデータス トアに保存する 10. Amazon S3 Amazon Kinesis (Streams, Firehose) Amazon DynamoDB Amazon RDS (Aurora) AWS Lambda KCL Apps Amazon EMR Amazon Redshift Amazon Machine Learning 収集 処理 分析 保存 データ収集と 保存 データ処理イベント処理 データ分析 データ 答え Amazon Athena
目指せNoOps!幸せを呼ぶサーバーレスログ基盤構築への挑戦
こんにちは。HRMOS採用管理事業部のプロダクト開発部でアプリケーションエンジニアをしております、新卒2年目の澤なつみと申します。 普段はScalaで開発をしているのですが、この度先輩とタッグを組み、ログ基盤構築という新しい挑戦をしました。 今回の記事では、ログ基盤の本番運用を目指して試行錯誤した約三ヶ月間の旅の記録をお届けしようと思います。 コトの発端 ~ログってどこからきたの？~ HRMOSの開発者は日々、データ可視化ツールであるkibanaを使ってエラーログの監視をしています。それを配属されてからずっと、当たり前のように利用していた私はふと疑問に思いました。「このアプリケーションログってどこからきたの？」 と。 その時私は、 ログは鳥が運んでいる ことを知りました。（笑）HRMOSではコンテナ型の仮想環境であるDockerを利用しているのですが、Dockerコンテナから出力されたログ
AWS CloudWatchのログを「awslogs」を使ってTailする - Qiita
ECSやEKSのコンテナやLambdaによるログの出力先がCloudwatchログ一択になりつつある CloudWatch.logにStream出力されたデータを、手元のターミナル（iterm2とか）でTailしたい人は多いはず。 文献が少なかったので備忘録を残す。 それは、awslogsを使う事で実現します。 インストール ## pipで入れたい人はこれ pip install awslogs ## brewで入れたい人はこれ ★オススメです brew install awslogs # -w: 「Query for new log lines constantly」これがTailの指定 # awslogs get <log_group_name> <log_stream_name> -w -s 10m -G -S --timestamp # サンプル awslogs get MySer
docker-elkを使って過去のCloudTrailのログをサクッと分析してみた | DevelopersIO
CloudTrailのログを分析をする機会がありました。どうやって分析しようかなと考えていたところ、GitHubでdocker-elkを発見し、お手軽で便利だったので紹介させて頂きます。 こんにちは、佐伯です。CloudTrailのログを分析をする機会がありました。どうやって分析しようかなと考えていたところ、GitHubでdocker-elkを発見し、お手軽で便利だったので紹介させて頂きます。 環境 以下の環境で実施しています。 macOS High Sierra version 10.13.5 Docker CE for Mac version 18.03.1-ce-mac65 Docker Compose version 1.21.1 やってみた docker-elkのclone docker-elkをcloneします。 $ git clone git@github.com:devia
Rin - Redshift data Importer by SQS messaging - のご紹介 - Qiita
この記事はOSS紹介 Advent Calendar 2017 の 1日目の記事です。 Rinとは fujiwara/Rin Rinは、簡単に言えばS3にアップロードしたログをRedshiftに自動で取り込むためのミドルウェアです。私は会社でfluentdと組み合わせて以下の構成図のような形で利用しています。 Rinが行っているのは実線で示している部分です。 log aggregatorと呼ばれるfluentdが起動しているインスタンスからfluent-plugin-s3でS3にアップロードします アップロードをトリガーにSQSにキューが入ります。それをlog aggregatorで起動しているRinが受信します RinはRedshiftでCOPYクエリを発行します COPYクエリを発行されたRedshiftはS3にアップロードされたログを取り込みます 解決される問題 S3にアップロードさ
CloudWatch LogsのS3エクスポート | DevelopersIO
渡辺です。 個人的に好きなAWSのサービスのひとつがCloudWatch Logsです。 各サーバに保存されるログを保存するだけでなく、簡易検索や保存期間の指定ができるため、ロギングに関する最低限の要件を満たすことができます。 利用方法もEC2インスタンスであればエージェントをインストールするだけという手軽さもポイントですね。 Lambdaを組み合わせれば簡単なログ監視もできます。 本日はCloudWatch Logsで保存されたログを他のソフトウェアなどで利用する時に便利なS3エクスポート機能を紹介します。 S3へのエクスポート機能 S3へのエクスポート機能は文字通り、ログをS3に転送して保存します。 この時、エクスポートするログの時刻（範囲）を指定します。 簡易検索でログを絞り込んでのエクスポートはサポートされていないのでご注意ください。 S3バケットの準備 はじめにエクスポートする対
“小さな会社”が選択したログ管理の手法 ― バランスの取れたテクノロジ選択をしよう
← 前回 連載 INDEX 次回 → バランスのとれた選択 スポーツでカラダを動かすことが楽しい。週2回。基本的にフリーウェイトで、ベンチプレス中心の筋トレを行っている。最大挙上重量を伸ばしていくのが現在の目的だ（目標は自重の倍）。 筋トレアルアルなのだが、やはり挙上重量が伸びない時期＝プラトー（停滞期）が何度となく訪れる。その都度、トレーニング内容を見直し、あれやこれや試行錯誤しながら今に至っている。その試行錯誤が楽しくもある。 周りによく言われるのが「何を目指しているのか」というもの。別に何も目指してはいない。目標を設定してそれに向かって進むのが楽しいし、ジムの知り合いの方々とお話するのも楽しいから、続いているんだろう。 もともとが運動するのが好きで、カラダを動かしていないと死んだ魚のような目になってしまい、抜け殻のようにボケーっとしてしまう。最近、フットサルも始め、全然思ったようにで
エラーメッセージは 2W1H がいいんじゃないか
良くあるダメなエラーメッセージ エラーが起きたときは、以下のようにエラーメッセージをどこかしらに出力すると思います。 $c->log->error('something wrong!'); ただ、このエラーメッセージって、実際に発生したときには意味がわからないことが多いのです。 $c->log->error('error!'); 本気でこういう「error!」とだけ吐くメッセージだと、エラーが起きたことしか伝わってきません。程度の差はあれ意味のわからないエラーメッセージはこの世にあふれているかと思います。 機械的なエラー情報 そういうわけで、たいていは Exception クラスや Logger クラスで多くの補助が受けられるようになっていると思います。 発生時刻 発生場所 stack trace 変数の状態 ただ、このような機械的な情報だけだと、結局、運用上は対応が難しい場面ってのが多か
neue cc - BigQueryを中心としたヴァルハラゲートのログ分析システム
なんかあまり上手く話せなかったな、という後悔がなんかかなり残ってます:) スライドもフォント細くて吹き出しの文字が見辛いな！とりあえず、WindowsでBigQueryなシステムとしては一つの参考例にはなるのではないかなー、と思います。第一部完。 第二部はEtwStreamへの移行と、BigQuerySinkのOSS公開かなー、というところなんですがまだまだまだまだまだ先っぽいのでアレでコレでどうして。できれば誰もが秒速でASP.NETアプリケーションのログをBigQueryに流し込める、みたいな状況にしたいのですけれどねえ、そこはまだまだ遠いかなー、ですね。そのへんの.NETのエコシステムは弱いと言わざるをえない。けれどまぁ、地道に補完していきたいと思ってます。 Profile Yoshifumi Kawai Cysharp, Inc CEO/CTO Microsoft MVP for
Essential .NET - .NET Core によるログ記録
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 April 2016 Volume 31 Number 4 Essential .NET - .NET Core によるログ記録 Mark Michaelis 2 月号のコラムでは、「.NET Core 1.0」と新たに名付けられたプラットフォームに含まれる新しい構成 API を取り上げました (bit.ly/1OoqmkJ)。「.NET Core 1.0」は、以前「.NET Core 5」という名前で、ASP.NET 5 プラットフォームの一部でしたが最近改名されました (bit.ly/1Ooq7WI、英語)。前回は、Microsoft.Extensions.Configuration API を調べるため
NLog
Welcome to NLog! NLog is a flexible and free logging platform for various .NET platforms, including .NET standard. NLog makes it easy to write to several targets. (database, file, console) and change the logging configuration on-the-fly. NLog has support for structured and traditional logging. The focus for NLog: high performance, easy-to-use, easy to extend and flexible to configure. Features Eas
neue cc - EtwStream - ETW/EventSourceのRx化 + ビューアーとしてのLINQPad統合
EtwStreamというのをリリースしました。ETW(Event Tracing for Windows) + EventSourceが.NETで構造化ログをやる際の決定版というか、ETWの最強度が高すぎてそれ以外考えられないレベルなんですが、しかし、がETWは最強な反面ビューアーがありませんでした。ETWというブラックホールにログを投げ込むのはいいんですが、それが自分自身ですら容易に見れないのは不便すぎる！PerfViewとか骨董品みたいなゴミUIを操ってなんとかして見るのは、無理ゲーなわけで、カジュアルにDumpしたいだけなんだよ！テキストのようなログビューアーが欲しいだけなんだよ！に対する答えです。いや、ほんと自分自身が死ぬほど欲しかったのが、これ。 インストールはLINQPadのNuGetで「EtwStream.LinqPad」。だけ。デフォルトにでも登録しとけばLINQPadを立
C#における構造化ログの手法、そしてデータ可視化のためのDomoの薦め
最近、より重要性を増しているログ。グラニではログをどのような方法で扱っているのか、そして、その根底にあるグラニのポリシーとはどんなものだろう。 ← 前回 連載 INDEX 次回 → グラニにおけるログの扱い ログは「障害対応の際の異常の確認」や「パフォーマンス改善」などのインフラ関係を目的とした利用から、ビジネス上の解析まで、さまざまな用途で使われます。非常に重要なものですが、Windows環境における.NET Web開発において大きく欠けているプラクティスがこのログの扱いです。 テキストファイルに、人の読めるバラバラのフォーマットのログを吐く。いまだにそんな旧態依然とした手法から脱却できず、ログの扱いといったところで、「ロガーをlog4netにするかNLogにするか」というレベルにとどまっているのではないでしょうか？ というのはあまりにも偏見ですが、しかし、Fluentdの活用を始めとし
[Visual Studio] Debug.WriteLine でツイートできる NuGet パッケージを作った – プログラミング生放送
最近の 最強の Twitter クライアント戦争情報 や、Excel からツイートできるアドイン「慧ちゃんのリボン」 などの影響を受け、ちょっと作りたくなったので、最弱の Twitter クライアント戦争に参戦しました。 これは何？ ?「Twitter クライアントを作った」 ?「Twitter クライアント」 ?「Visual Studio で使える」 ?「Visual Studio」 ?「Debug.WriteLine でツイートする」 ?「Debug.WriteLine」 ?「NuGet で手に入る」 ?「NuGet」 使い方 NuGet からインストール NuGet から TraceListener for Twitter をプロジェクトに追加します。 コードで直接 TraceListener を追加する場合 TwitterTraceListener クラスを Trace.List
![[Visual Studio] Debug.WriteLine でツイートできる NuGet パッケージを作った – プログラミング生放送](https://cdn-ak-scissors.b.st-hatena.com/image/square/a2cd4d8c05d8cc6dbf548f94ffb0e3e4ed142db2/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Fpronama.jp%2Fwp-content%2Fuploads%2F2015%2F09%2Ftwittertracelistener1.png%3Ffit%3D875%252C493%26ssl%3D1)
TraceListener を実装して Debug.WriteLine/Print の出力先を変更/追加する方法 – プログラミング生放送
Debug.WriteLine や Debug.Print の出力先を追加する方法です。出力先を Twitter にした例は、こちら。[Visual Studio] Debug.WriteLine でツイートできる NuGet パッケージを作った コード中の Debug.WriteLine の記述などはそのままに、ログの出力先を追加したり、標準では用意されていないところ（特定のデータベースなど）に出力したりできます。 カスタム TraceListener クラスの作成 TraceListener クラス (System.Diagnostics) を継承したクラスを作ります。 Write と WriteLine メソッドを最低限実装すればよいのでお手軽です。データベースなど所望の場所に出力しましょう。標準でいくつか TraceListener を継承したクラスがあるので、まずそれも確認してお
c# SqlCommandのデバッグ用テキストファイルを出力する - Qiita
いまだにEFとか使いこなせず生のSqlを書きまくっているので、SqlCommandでエラーを吐いた時にSql Server Management Studioでデバッグしたくなったりします。パラメータクエリを利用している場合は、Sql Server Management Studioにパラメータを定義したりするのが辛いため、デバッグ用のsqlをテキストファイルに出力するようにしてみました。不格好ですいません。 同様の悩みの方、いらっしゃいましたら情報共有などよろしくおねがいします。 NuGetで以下してます。 PM> Install-Package IX-MAIN using System.Data.SqlClient; namespace Implem.Sample { class Program { static void Main(string[] args) { var cmd =
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - cheeaun/javascript-error-logging: A collection of JavaScript error logging services, resources and shiny things.
How do you find out the caller function in JavaScript?
