2015/4/4, Elasticsearch勉強会 in 名古屋 https://elasticsearch.doorkeeper.jp/events/21984 ブログ http://blog.exoego.net/2015/04/kibana4-use-case.html
Kibanaでログ分析を1年続けてみたら業務システムの保守と運用が捗った / How&Why I have been leveraging Kibana for DevOps
2015/4/4, Elasticsearch勉強会 in 名古屋 https://elasticsearch.doorkeeper.jp/events/21984 ブログ http://blog.exoego.net/2015/04/kibana4-use-case.html
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
2018.5.16 Security JAWS での発表資料です
終了 2015/10/15（木） 19:00〜 ログ分析勉強会 vol.1 セキュリティの陣 kenji kobayashi 他 東京都千代田区平河町2-16-1 平河町森タワー2F
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。後半は、サーバーサイドから見たログ分析について。 サーバ情報を可視化して負荷状況を見る 続いて、サーバの負荷状況を見るところですね。リソースの情報をコマンドで取得してサーバ情報を可視化しましょうというところです。 よく使うのは、1つ目はhtopですね。htopでプロセスごとにどれくらいのメモリやCPUを使っているかを取っていくのがあります。リクエストが多いときにこれを取っていって、どこが重たくなっているかを見るというのがいいかなと思っています。 例えばアプリケーションサーバと同梱されているものだったりとかすると、アプリケーションサーバの負荷がいき
JPCERT/CCは、Internet Week 2016 ~ 2019にて「インシデント対応ハンズオン」と題し、標的型攻撃を受けた際のセキュリティインシデント（以下、インシデント）調査手法に関するハンズオンを行ってきました。受講者の方から高く評価していただいていた「インシデント対応ハンズオン」ですが、公開の要望が多かったため、この度、GitHub上でコンテンツを公開することとしました。コンテンツは以下のURLから確認できます。 Log Analysis Training https://jpcertcc.github.io/log-analysis-training 本コンテンツは実際の標的型攻撃の事例をもとに作成しており、攻撃者のネットワーク侵入時にどのような痕跡がログに残るか、また、侵入の痕跡を発見するためにどのようなログ取得設定が必要か、をシナリオに沿って理解できる内容になっていま
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu
Housmart高松です。 「ログ分析基盤」というと、すでにかなり大きいサービスでの事例がSlideShareなどで共有されているのをよく目にしますが、 立ち上がったばかりのサービスに適用するには”too much”な内容となっていることが多いかと思います。 そこで今回は、まだユーザが少ないフェーズでも 「お金と時間をあまりかけずに」 導入できるログ分析基盤について、カウルでの事例をご紹介いたします。 小規模のサービスであってもログをしっかりと収集・分析してサービスの改善に役立てていくことは非常に大切なことです。 一方で、データ収集のためのJavascriptの開発やWebサーバの構築と管理、データストアやデータ処理基盤の選定や設定などに専属で人を割くことができないのもスタートアップの実情ではないでしょうか。 そこでカウルでは 安価に利用できるSaaSをいくつか組み合わせることで、簡単に始
203.0.113.1 - - [03/May/2020:12:00:00 +0900] "GET /index.html HTTP/1.1" 200 1000 "http://example.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" 203.0.113.1 - - [03/May/2020:12:10:00 +0900] "GET /index.html HTTP/1.1" 200 1000 "http://example.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" 203.0.113.2 - - [03/May/2020:12:20:00 +0900] "GET /index.html HTTP/1.1" 200 1000 "http://example.com/" "Mo
2. • ゲームログ分析の事例紹介 – 大人の事情により、弊社タトルの話はございません – 恐縮ながら、その代わりに論文を紹介させて下さい • バンダイナムコスタジオの大規模ログ集約・分析基 盤“Greco”の紹介 – ンフラについての話がメンになります – 特に最近サービスンしたAmazon Redshiftについての 使用感を重点的にお伝えします • ユーザー企業側の導入事例はまだ稀有なはず • 分析に耐えうる「正確な」ログを作るために – タトル開発の現場で実践できることをお話しします 発表の流れ 2 本発表は個人の見解であり、所属する組織の公式見解ではありません 3. • 名前の由来は 映画 Ocean‘s Thirteen(2007)から – カジノの併設ホテルを守る、人工知能セキュリテゖと いう設定 – 映画のGrecoはこんなに凄い！ • 瞳孔や体温から顧客の感情を
Cookpad techconf 2018のLTで講演した資料です
こんにちは、SPEEDAのSREチームでエンジニアをしている阿南です。SPEEDAのSREチームでは、昨年末kubernetesについて理解を深めるために合宿を行いました。やり方はA〜Cの３チームに分けて、それぞれのチームでkubernetesに関することを調査、構築するという形式で、今回はAチームが実際にやってみた内容についてブログを書きたいと思います。（それぞれのチームでかなりボリュームがあるので、複数回に渡って連載的な形でお届けしたいと思います。） Aチームでは、kubernetesを本番環境に投入するにあたり、ログ収集周りをあまり調査できてないなと感じ、GCP上に環境を作ってみることにしました。 構築する環境 構築手順 クラスター構築 wordpress + MySQL構築 Fluentdイメージの作成 ConfigMap設定 DaemonSet設定 まとめ お知らせ 構築する環境
新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析 | Amazon Web Services ブログ
Amazon Web Services ブログ 新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析 多くのAWSサービスがログを生成します。すぐに思いつくものだけで VPC Flow ログ、Route 53 ログ、Lambda ログ、CloudTail ログ (AWS API 呼び出しのログ)、RDS ログ、IoT ログ、ECS ログ、API Gateway ログ、S3 サーバーアクセス ログ、EC2 インスタンスログ (CloudWatch Agent 経由）があります。EC2インスタンスの上で動くサービス（Apache、Tomcat、NGINXなど）もログを生成します。そしてあなたのアプリケーションコードもおそらく同じでしょう。 それらのログに含まれる、データ、パターン、傾向、洞察により、あなたのアプリケーションや AWS
このような表を作ることで、例えば以下のことがわかります。 経路002は流入数の割に獲得効率や翌日継続率も悪い。ここを改善するサービスをグロスできるかも。 経路003は獲得効率と翌日定着率が良い。何が良いのかをさらに分析すれば、他の流入経路の改善に生かせる。 Action2は翌日継続率に良い結果を与えている可能性がある。もう少し詳しく調べてみたい。 このようにユーザーの活性化は流入経路別に分析をすることで、問題点やチャンスを浮き彫りにすることができます。 今回はこの表を作るためにログ分析を行います。 ここまでで分析のスタート地点とゴール地点がわかりました。 あとはその間の道をつなぐためにプログラムを書くだけです。 次の章では、MongoDBでの分析を行うための準備段階を紹介します。 分析（準備編） ここでは分析の準備編として、サーバーログをダウンロードしてきて、整形して、MongoDBに登録
![[MongoDB] フロントエンドエンジニアにもできるMongoDBを使ったログ分析 - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/b26f45930fdedd4f83a397a5ca31bdc522aa697b/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F348.jpg)
Linuxメモ : Rust製のangle-grinderを使ってコマンドラインでログ分析 - もた日記
angle-grinder インストール 使い方 Aggregate Operators angle-grinder github.com Rust製のangle-grinder（コマンド名はagrind）はコマンドラインでログを分析できるツール。 インストール README.mdのインストール方法によると、バイナリのダウンロードやcargoでインストールできる（この時の名前はagrindではなくag）。 $ cargo install ag ヘルプメッセージ。 $ agrind --help ag 0.13.0 Russell Cohen <russell.r.cohen@gmail.com> CLI App to slice and dice logfiles USAGE: agrind [FLAGS] [OPTIONS] <query|--self-update> FLAGS: -h
スマホユーザーのことを深く知るためのログ分析(1) ～なぜ年を重ねた女性ほどゲームアプリをよく利用しているのか～ | ウェブ電通報
スマホユーザーのことを深く知るためのログ分析(1) ～なぜ年を重ねた女性ほどゲームアプリをよく利用しているのか～2015/05/12 ビデオリサーチによるACR/exの2015年1月調査データによれば、スマートフォンの個人所有率は既に67.5%に達している（12〜69歳、東京50キロ圏内）。いまやスマホは、多くの人々にとって欠かすことのできない情報ツールとなっており、それは機能的なベネフィットにとどまらず、「自分の分身」であるかのような情緒的な存在感を有するものであるだろう（コンシェルジュのような存在としてスマホを擬人化した広告を思い返す人もいるのでは）。 そのスマホをなくてはならない存在にしているのが、各自のスマホにインストールされた種々の「アプリ」だ。予定の管理から知人友人との連絡、ちょっとした時間つぶしに至るまで、様々な機能を持つアプリが私たちの生活の利便性を高めてくれている。だがそ
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。前半は、クライアント側から見たログ分析について。 Webサービスのパフォーマンスとログ分析 山口正徳氏：山口と言います。よろしくお願いします。今日はみなさんお集まりいただきありがとうございます。なんと現時点で参加いただいているのが303人。こんなに多くの方に参加してもらえるとは思ってもいなかったので、変な緊張感に包まれています。カミカミなところとかがあったりしても、そこはあたたかい目で見てもらえればなと思います。 また、ログ分析勉強会のオンライン配信は JAWS-UG 札幌の三浦一樹さんに協力いただています。配信環境の設営、配信レイアウトの作成な
Amazon Web Services ブログ AWS WAF のログ分析に関する考慮事項 2022年11月 アップデート: マネージドルールグループ内のルールに個別に Action を設定できるようになりました。その結果、 “EXCLUDED_AS_COUNT” ではなく “COUNT” としてログ出力できるようになりました。 新たなルールの Action として、Challenge が追加されました。 本記事は、2022年11月のアップデート以前のログの仕様に基づいています。最新の情報はデベロッパーガイドを参照ください この投稿では、AWS ウェブアプリケーションファイアウォール (AWS WAF) を初めて利用される方が 、ログ分析にあたって考慮すべき事項について説明します。 WAF のログは、攻撃検知の分析やチューニングには欠かせないものです。ログの分析ではウェブ ACL に設定し
[アップデート] CloudTrailログ分析環境が超絶簡単に手に入る！「CloudTrail Lake」がリリースされました | DevelopersIO
本日のアップデートでCloudTrailイベントに対してSQLクエリ実行が可能となる「CloudTrail Lake」がリリースされました！ Announcing AWS CloudTrail Lake, a managed audit and security lake CloudTrail Lake とは CloudTrailでは標準のダッシュボードで簡易的なイベント検索を行うことは出来ますが以下のような観点では使いにくいところがありました。 表示されるイベントは90日間 表示されるイベントは現在利用しているリージョンのみ S3などのデータイベントは表示されない 従来、このような課題に対してはユーザ側でAthenaテーブルを作成して、長期間のイベントに対してSQLでの分析可能な環境を実装していたかと思います。 今回リリースされたClodTrail Lakeによって、このような作り込みを
![[アップデート] CloudTrailログ分析環境が超絶簡単に手に入る！「CloudTrail Lake」がリリースされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/20d59afbd08bcd9db44f6717a88795dd27fce8f0/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-cloudtrail.png)
なんかあまり上手く話せなかったな、という後悔がなんかかなり残ってます:) スライドもフォント細くて吹き出しの文字が見辛いな！とりあえず、WindowsでBigQueryなシステムとしては一つの参考例にはなるのではないかなー、と思います。第一部完。 第二部はEtwStreamへの移行と、BigQuerySinkのOSS公開かなー、というところなんですがまだまだまだまだまだ先っぽいのでアレでコレでどうして。できれば誰もが秒速でASP.NETアプリケーションのログをBigQueryに流し込める、みたいな状況にしたいのですけれどねえ、そこはまだまだ遠いかなー、ですね。そのへんの.NETのエコシステムは弱いと言わざるをえない。けれどまぁ、地道に補完していきたいと思ってます。 Profile Yoshifumi Kawai Cysharp, Inc CEO/CTO Microsoft MVP for
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、フォージビジョンの小林賢司氏が、複数のクラウドを組み合わせて使うマルチクラウドでのログの取り方、また実際にやった感触、GCPがもつログ収集のいいところなどを紹介しました。 前回の発表について 小林賢司氏：私のほうからは、『AWSのログをGCPに出力してみた話』ということを20分程度話させてもらえればと思っています。 まず自己紹介します。私、小林賢司と申します。ログ分析勉強会の運営をやっています。 フォージビジョン株式会社のクラウドインテグレーション事業部というところで、カスタマーエンジニアという役職で仕事をしています。主にAWSを触ったりとか、たまにログ系を触ったりとかしています。 弊社としてAWSのProの資格をもっていま
まだ本格的な運用は始まっていないけどログ分析環境を少しづつ作ってるのでメモっておく。 ETL処理は既存資産の活用を考慮してPython 2.7でやっています。 hiveserver2との接続はpythonからhiveserver2につなごうとしていろいろハマったのでメモっておく - wyukawa’s blogに書いた通りだいぶ苦労したけど独自にpatchあてて対応した。 sqoop imortもやりつつある。最初はsqoop2を使おうかなと思ったけどhiveとの連携がまだみたいなのと、既存資産の活用もあって古いsqoopのまま処理を進めている。 Hiveからselectして結果をMySQLへinsertする部分はMySQL-Python使っています。この辺も既存資産があるからですね。 Python 3は使っていないので下記にあるような事情は今回特に関係ないです。とはいえPython 3も
『Software Design 2020年7月号』特集「一から学ぶログ分析」に寄稿しました - 下町柚子黄昏記 by @yuzutas0
『Software Design 2020年7月号』の第1特集「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」 第2章「ログ分析基盤の構築で考えるべきこと - 多様なログを安心して使えるようにするために」を寄稿しました。 本日発売の『Software Design (ソフトウェアデザイン) 2020年7月号』【第1特集】「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」に寄稿しました。初学者向けにまとまった内容ですので、ぜひ手に取っていただけると幸いです。https://t.co/IXp40MoPJc pic.twitter.com/XydqlWDjth— ゆずたそ (@yuzutas0) 2020年6月17日 執筆内容 初学者向けに、以下の内容を10ページでまとめました。 なぜログ分析基盤を作るのか 「使われるログ分析基盤」には何が必要か 分析者が手軽にログを参
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか：セキュリティログ分析基盤活用入門（2）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。今回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介します。 セキュリティ業務における「ログ」と、その分析基盤の活用について解説する本連載「セキュリティログ分析基盤活用入門」。前回は、ログを活用するセキュリティ業務やログの果たす役割を紹介しました。 リクルートは、インシデントハンドリング、フォレンジックや脆弱（ぜいじゃく）性検査、マルウェア解析といった、多くの企業ではセキュリティ専業ベンダーにアウトソーシングする専門性の高いセキュリティ業務を内製化しています。2015年以降は「Recruit-CSIRT（Computer Security Incident Response
マルウエアDatperの痕跡を調査する～ログ分析ツール（Splunk・ELKスタック）を活用した調査～ (2017-09-25) | JPCERTコーディネーションセンター（JPCERT/CC）
Top > “インシデント”の一覧 > マルウエアDatperの痕跡を調査する～ログ分析ツール（Splunk・Elastic Stack）を活用した調査～ (2017-09-25) 2017-08-17号では、プロキシサーバのログなどに含まれるマルウエアDatperの通信を検知するためのPythonスクリプトを紹介しました。今回は、それを活用し、ログ分析ツールでDatperの通信を調査するための環境設定方法を紹介します。利用するログ分析ツールに応じて使い分けられるよう、Splunk編とElastic Stack編を用意しました。 Splunk編 まず、SplunkでDatperの通信ログを抽出するため、次に述べる方法でカスタムサーチコマンドを作成します。この方法で作成したコマンドはSplunk 6.3以降で使用できることを確認しています。 Splunkのカスタムサーチコマンド作成と調査 カ
Amazon OpenSearch Serverless による手軽なログ分析 | Amazon Web Services
Amazon Web Services ブログ Amazon OpenSearch Serverless による手軽なログ分析 この記事は、Log analytics the easy way with Amazon OpenSearch Serverless を翻訳したものです。 先日、Amazon OpenSearch Service の新しいサーバーレスオプションである Amazon OpenSearch Serverless が発表されましたが、これにより OpenSearch クラスターを構成、管理、スケールする手間なく大規模な検索および分析ワークロードを容易に実行することができます。非常に要求が厳しく予測不可能なワークロードに対しても高速なデータ取り込みとクエリ応答を実現するために、基盤となるリソースを自動的にプロビジョニングし、スケールします。 OpenSearch Serv
Fluentd、ElasticSearch、Kibana4によるログ分析環境の構築 – hrendoh's tech memo
現在、ログを収集し分析するシステムを構築しようとした場合に、オープンソースの組み合わせですぐに始められる構成としてはじめに思いつくのは Fluentd + ElasticSearch + Kibana の構成です。 Web上の記事や書籍も充実していますし、日本にもユーザーが多そうなので割と安心して利用できる環境でもあると思われます。 この記事では、Fluendによりログ収集しElasticSearchに保存し、それをKibana 4で分析する環境の構築手順について調べた内容をまとめてみました。 今回試したのは以下のように、Apacheのアクセスログをtailして、Fluentdで収集しElasticSearchに保存、Kibanaでログの検索、分析を行うシンプルなシステム構成です Apacheのログを収集するサーバーおよびElasticSearch、Kibanaをインストールするサーバーと
論文紹介：行動は言葉より雄弁である：リサーチエクスペリエンス改善のための大規模ログ分析 - よしなしごと
原題は"Actions Speak Louder than Words: Analyzing large-scale query logs to improve the research experience”です。 Summonでどのようなアクセスログの分析が行われているのか"The Relevance Metrics Framework"という分析ツールの紹介と それによって行われたSummonの機能向上を中心に訪問されています。 Code4Lib Journal Vol.21掲載の論文で、執筆者3名はSummonの開発チームのメンバーです。 例によって貧弱な英語力で読んでますので、誤りなどあればご指摘いただければ幸いです。 Code4Lib Conference 2013でも同様の内容で発表されていて、スライドと映像が公開されています。 映像 Actions speak louder
JPCERT／CCがイベントログ分析支援ツール「LogonTracer v1.5.0」を公開：イベントログのリアルタイム分析が可能に JPCERT／CCは、イベントログ分析支援ツール「LogonTracer v1.5.0」を公開した。「Elasticsearch」と連携させることでイベントログのリアルタイム分析が可能になった。
はじめに Amazon AthenaはAWSの分析関連サービスの1つで、S3に保存・蓄積したログに対してSQLクエリを投げて分析を行えるサービスです。分析基盤を整えたり分析サービスにログを転送したりする必要が無いため、簡単に利用できるのが特長です。 今回はAthenaを使ってこんなことできるよー、というのを紹介したいと思います。 ※社内勉強会向け資料をQiita向けに修正して公開しています ログ分析とAmazon Athena ログ分析は定量的にユーザ行動を分析してサービスの改善に役立つだけでなく、障害時の調査にも役立つなど非常に便利です。ログ分析に利用されるサービスとしてはGoogle BigQueryやAmazon Redshiftなど様々なものがありますが、その中でAmazon Athenaの立ち位置を確認したいと思います。 ログ分析の流れ ログ分析の基盤の概念図は下記のようになりま
「ペパボ研究所」 × 「ココン技術研究室」セキュリティ・ログ分析／解析・AI（機械学習）に関する共同研究を開始 ～「なめらかなセキュリティ」を実現するための新技術を創造する～ | GMOペパボ株式会社
「ペパボ研究所」 × 「ココン技術研究室」セキュリティ・ログ分析／解析・AI（機械学習）に関する共同研究を開始 ～「なめらかなセキュリティ」を実現するための新技術を創造する～ GMOインターネットグループのGMOペパボ株式会社（代表取締役社長：佐藤 健太郎 以下、GMOペパボ）と、ココン株式会社（代表取締役社長：倉富 佑也 以下、ココン）は、本日2018年10月1日（月）より、セキュリティ・ログ分析／解析・AI（機械学習）の技術領域における共同研究を開始いたします。 本共同研究は、インターネットに関する新技術の創造と実践に取り組むGMOペパボの研究開発組織「ペパボ研究所」と、AI（機械学習）と高速なログ検索を用いたセキュリティオーケストレーション（※1）の研究開発に取り組むココンの研究開発組織「ココン技術研究室」が、それぞれの得意分野を活かして取り組んでいきます。 また、両研究所は『「なめ
セキュリティログ分析基盤におけるクラウド活用、組織体制、メンバー育成のポイント：セキュリティログ分析基盤活用入門（終）（1/2 ページ） セキュリティ業務における「ログ」と、その分析基盤の活用について解説する連載。最終回は、クラウド活用、組織体制、メンバー育成のポイントを紹介します。 セキュリティ業務における「ログ」と、その分析基盤の活用について解説する本連載「セキュリティログ分析基盤活用入門」。前々回は、ログを活用するセキュリティ業務やログの果たす役割を、前回は、ログ分析基盤の設計ポイントを、アーキテクチャの観点から紹介しました。 最終回となる今回は、「クラウドサービスを用いることで、セキュリティログ分析業務においてどのようなメリットがもたらされるのか」について、前回紹介した「Splunk」や「Elastic Stack」にも触れながら、その検討ポイントを含めて解説します。また、「セキュ
写真1●米アマゾン・ウェブ・サービス（AWS）でデータベースサービス担当副社長を務めるラジュ・グラバニ（Raju Gulabani）氏 米アマゾン・ウェブ・サービス（AWS）でデータベースサービス担当副社長を務めるラジュ・グラバニ（Raju Gulabani）氏は2015年4月16日、東京都内で記者会見を開いた（写真1）。パブリッククラウド型データベースサービスの「Amazon Redshift」と「Amazon Aurora」について、価格と性能面での優位性をアピールした。 ペタバイト級のビッグデータを扱える、データウエアハウス向けのAmazon Redshiftについては、2013年2月の正式提供開始（関連記事）から、順調に顧客を獲得していることを説明した。日本企業では、すかいらーく（関連記事）やNTTドコモ、任天堂などがデータ分析用途で採用しているという。 親会社の米アマゾン・ドット
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
7. 7 × 全体のアーキテクチャ S3 Bucket ・ ・ ・ ・ ・ ・ ECS Cluster input s3 input s3 /log_a /log_z Log A Elasticsearch Cluster Log Z logstash container logstash container Elasticsearch01 Elasticsearch02 Elasticsearch03 Kibana01 Kibana02 HTTPS @Tokyo output elasticsearch output elasticsearch 8. 8 × 全体のアーキテクチャ S3 Bucket ・ ・ ・ ・ ・ ・ ECS Cluster input s3 input s3 /log_a /log_z Log A Elasticsearch Cluster Log Z logst
6. Technology of Valhalla-Gate Windows on Cloud + C# C# 6.0 + .NET Framework 4.6 + ASP.NET MVC 5 によるウェブゲーム クラウド上のWindows Server 2012 R2 上にて稼働 データストアは Aurora(MySQL) + Redis 100 - Application Server 10,000 - Request/Sec 100,000,000 - Page View/Day 30,000 - Database Query/Sec 300,000 - Redis Command/Sec 60 - ms Average Response Time 7. Technology of Valhalla-Gate Windows on Cloud + C# C# 6.0 + .NET F
AWS Security JAWS 経済的にハニーポットのログ分析をするためのベストプラクティス？
第7回Security-JAWSの発表資料です！ AWSとHoneypot、そしてElasticStackを活用してのログ分析についてです。Read less
アクセスログ分析最前線：Treasure Data JavaScript SDK で始めるパス分析 その１ - トレジャーデータ（Treasure Data）ブログ
はじめに トレジャーデータが提供する Treasure Data JavaScript SDK は，HTML 内にタグを埋め込む事で簡単にアクセスに関する情報を収集することができます。 docs.treasuredata.com 既に既存のアクセスログ収集ツールが多くある中で，このトレジャーデータの SDK を活用するメリットは以下に挙げられます： データは随時トレジャーデータに集約されるので，ツールに縛られない自由な分析や可視化が可能。 トレジャーデータ上の他のデータと統合して分析がすぐに始められる。 トレジャーデータSDKユーザー向けに豊富なクエリテンプレートを用意。 トレジャーデータの強力な分析基盤の上でパス分析やバスケット分析などの発展的な分析が行える。 HTML内にて上記のタグを挿入することで，以下のカラム名をもったデータがトレジャーデータに集約されていきます。 td_versi
ツールを使った効率的なログ分析術
メールサーバの動作状況を知るうえで欠かせないログ。このログを効率的かつ的確に抽出・分析することが重要になる。ツールを導入して分析環境を整えよう。 前回のdaemontoolsの導入で、柔軟なプロセス管理と強力なロギング機能が実現しました。ログは、活用次第で単なるディスクの肥やしにもなれば、サーバ運営の潤滑剤にもなります。ログを取るのは不正アクセス対抗策の定石ですが、それを普段の運用に生かす技術を習得しなければなりません。 qmailanalogの利用 前回は、daemontoolsに含まれるtai64nlocalコマンドでタイムスタンプを変換し、難解なTAI64N形式のログも目で追えるようになることを紹介しました。障害や不正アクセスが発生した日時を起点にログを順番に眺めていくことで、その形跡を見つけることができます。 では、日常的に必要な統計情報を得る場合はどうでしょう。qmail-pop
本記事の最新版をフォーラムにて紹介しております。 記事の改訂が含まれる場合がございますので、フォーラムの情報を参照してください。 フォーラムへのリンク こんにちは、Windows プラットフォームサポート Setup チームの宮崎です。 本ブログ内の ”Windows 製品の更新プログラム (KB) のインストールの失敗 … 一般的な対処策” の記事で OS の更新プログラムの適用に失敗する際の一般的な対処策をお伝えしましたが、事象によっては解決せず、ログの調査に進む必要がございます。本記事ではログの分析調査の準備と進め方についてご紹介いたします。 ログの調査方法 スタンドアロンインストーラーでインストールに失敗するところまでが切り分けられている場合、調査対象とするログは主に以下になります。 Setup イベント ログ CBS ログ (C:\Windows\Logs\CBS 配下のファイル
2018年9月7日紙版発売 2018年9月7日電子版発売 折原慎吾，鐘本楊，神谷和憲，松橋亜希子，阿部慎司，永井信弘，羽田大樹，朝倉浩志，田辺英昭 著 B5変形判／240ページ 定価3,058円（本体2,780円＋税10%） ISBN 978-4-297-10041-4 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 2020年の東京オリンピックはサイバー犯罪者には格好の標的。日本ではこの1，2年間にシステムへのサイバー攻撃や不正アクセスが急増すると言われています。本書で解説するログ分析は，コンピュータシステム（とくにインターネットにつながってい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
セキュリティログ分析基盤の構築 on AWS - Speaker Deck
ログ分析勉強会 vol.1 - 資料一覧 - connpass
Webサービスエンジニアが教えるサーバサイドのログ分析 情報を可視化して負荷状況を見よ
ログ分析トレーニング用コンテンツの公開 - JPCERT/CC Eyes
スタートアップのための「お金と時間がかからない」ログ分析基盤
ログ分析に使えるLinuxコマンド6選 - Qiita
大規模ログ分析におけるAmazon Web Servicesの活用
これが Cloud Native な セキュリティログ分析だ (仮)
【k8s合宿】 Kubernetesのログ分析環境を作る - Uzabase for Engineers
[MongoDB] フロントエンドエンジニアにもできるMongoDBを使ったログ分析 - YoheiM .NET
推測するな、計測せよ フォージビジョンのエンジニアが教えるパフォーマンス改善に必要なログ分析
AWS WAF のログ分析に関する考慮事項 | Amazon Web Services
neue cc - BigQueryを中心としたヴァルハラゲートのログ分析システム
AWSのログ分析をGoogle Cloud Platformで フォージビジョンのエンジニアが教えるマルチクラウドでログを取る方法
ログ分析環境を少しづつ作ってる - wyukawa's diary
セキュリティログ分析基盤の設計ポイント、アーキテクチャはどうあるべきか
JPCERT／CCがイベントログ分析支援ツール「LogonTracer v1.5.0」を公開
Amazon Athenaではじめるログ分析入門 - Qiita
セキュリティログ分析基盤におけるクラウド活用、組織体制、メンバー育成のポイント
「Amazon.comもログ分析環境をOracleからRedshiftへ移行した」、AWSグラバニ氏
BigQueryを中心としたヴァルハラゲートのログ分析システム
Windows 製品の更新プログラム (KB) のインストールの失敗 … ログ分析の進め方
セキュリティのためのログ分析入門 サイバー攻撃の痕跡を見つける技術