Power Query - 概要と学習 - Excel
With Power Query (known as Get & Transform in Excel), you can import or connect to external data, and then shape that data, for example remove a column, change a data type, or merge tables, in ways that meet your needs. Then, you can load your query into Excel to create charts and reports. Periodically, you can refresh the data to make it up to date. Power Query is available on three Excel applica
勤務実態を調査用に、イベントログからログオン・ログオフ時間等を抽出する方法。（GET-WinEvent) - SE_BOKUのまとめノート的ブログ
目次 イベントログからログオン・ログオフ時間等を抽出する方法 イベントログで起動時刻・ログイン時刻を示すID イベントログから情報を抜き出すスクリプト 取得できるCSVデータサンプル 取得したCSVデータの注意事項 注意事項：ログサイズの上限と過去ログからの情報取得について 参考情報：過去のログの取得方法について 参考情報：監査イベントのログインを取得する方法 イベントログからログオン・ログオフ時間等を抽出する方法 Windowsパソコン（PC）のイベントログから、起動時刻・ログオンおよび停止時刻・ログオフ時刻を収集する具体的な方法についてです。 イベントログで起動時刻・ログイン時刻を示すID ブラック企業や労働争議などの記事に、「PCのログを押収し、起動時刻やログイン時刻を調査した・・」等の記述がよくあります。 起動時刻やログイン時刻は、イベントログの「System」ログに記録されていま
Graylog ではじめるログ管理 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
grepでログ解析をするなんてひどい話だ | POSTD
今でも、 systemdのjournal におけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者として働いてきており、1年以上も syslog-ng の オープンソースエディションのメンテナ として活動してきました。だからこそ、テキストではないストレージフォーマットに対して、なぜ多くの人が批判的なのか、私は理解に苦しんでいます。更に、反論を唱える人までいることが信じられません。もしかしたら、私は別世界の人間なのかもしれません。ですが、より良い選択肢があるのに、テキストのストレージを使う理由はほとんどありません。ロギングをする必要性、そしてなぜ、テキストのログストレージに対してそこまで用心深いのかについて、私は何度も尋ねられました。ここに、私が導き出した答えを紹介したいと思います。 これは、journalについて弁明する
ログ解析ソリューション「Loogle」をIBMの新しいクラウドサービス「SoftLayer」上で動作検証してみた
なお、「SoftLayer」のリセラーであるエフ・アイ・ティー・パシフィック社が、同ソリューションを組み込んだコードネームと同名の「Loogle」という製品を提供しており、本検証はこの製品がクラウド上で十分に利用できるかを確かめるために実施しました。 ログ解析ソリューション「Loogle」を開発した経緯 SoftLayer上での検証について説明する前に、まずは、Loogleという製品を簡単に紹介します。私は、理化学研究所の情報基盤センターに所属し、所内のネットワークの設計や運用、管理を15年ほど担当していました。運用は外部に委託していましたが、突然発生する障害に内部で対応しなければならないことも度々ありました。 障害が発生すると、障害の原因解明や問題解決の手掛かりを得るために、機器のログを解析するわけですが、大量のログをさまざまな視点で見ていくのは労力と時間が掛かり、たいへん苦痛でした。そ
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ） 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ
眠る「マシンデータ」を処理、スプランクが国内でのビジネス戦略を発表
米スプランクが日本国内ビジネスの戦略を発表、2014年は「セキュリティ」「ビッグデータ」そして「学術」にフォーカスする。 米スプランクは2014年1月16日、日本法人の新カントリーマネージャー就任に合わせ、日本国内でのビジネス戦略を発表した。ビッグデータ処理だけでなく、セキュリティ、学術マーケットでも同社の製品を活用してもらい、売上を2013年の2倍に増やすことを目標とした。 全ての「マシンデータ」をSplunkに 米スプランクが提供する「Splunk Enterprise」（以下、Splunk）は、ITシステムや各種デバイス、センサーなどから生成されるデータを集約し、それを分析するためのプラットフォームだ。いわゆるビッグデータの解析ツールとしての利用を想定しているが、セキュリティ機器から出力されるログの解析を行うセキュリティ情報／インベントリ管理（SIEM）などの目的でも利活用が可能とし
ログ解析ツール「Splunk」を使ってみた - カイワレの大冒険 Second
先日、qpstudyに参加してきた@masudaKです。@ar1さんと話しながら、荒木さんがLTでお話されたログの話をブログにあげたら、 僕も書きます−と言ってしまったので、ちょいと書いてみます。 荒木さんの記事・発表ではSumoLogic中心に書かれてましたので、Splunkを試してみました。 Splunkとは んで、Splunkとは何かということですが、製品概要をみてみると、以下のように書かれています。 1 2 3 4 5 6 7 8 パワフルな検索、分析、および視覚化機能。数千社に及ぶ導入実績。すぐに始められます。 Splunk Enterprise はマシンデータ用のプラットフォームです。 すべての IT システムやテクノロジーインフラストラクチャから生成される膨大なマシンデータを収集、分析、および保護する簡単、スピーディかつ柔軟な方法を提供します。 問題のトラブルシューティングや
時系列ビッグデータを手軽に可視化するHadoopアプリケーション、Dunkhead
Dunkheadとは Dunkheadはタイムスタンプ付きのテキストデータ（アクセスログなど）を手軽に可視化するためのソフトウェアです。Hadoop上で動作するMapReduceアプリケーションであるため、データのサイズが大きい、いわゆるビッグデータの場合にも使用することができます。 Dunkheadは、入力データとなるログをもとに、サーバ監視ツールなどで見られるような、横軸が時間、縦軸が目的の値となる画像を出力します。下記の例はNASAのスペースシャトル、ディスカバリー号のミッションの際に記録された、NASAのウェブサーバのアクセスログをDunkheadで可視化したものです(こちらについて、詳しくは『HadoopとDunkheadでNASAのウェブサーバのアクセスログを解析・可視化する』を参照ください)。 各種サーバのアクセスログなどは、特に活用することなく、いつのまにか大量に溜まってし
fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
マクニカネットワークス、米国Splunk社のITデータ検索エンジンの取り扱いを開始 | OSDN Magazine
マクニカネットワークスは2009年1月19日、米国Splunk社と販売代理店契約を締結し、同月中に同社の検索エンジンソフトウェア「Splunk for Enterprise」の販売を開始することを発表した。 Splunk for EnterpriseはITインフラ（サーバやネットワーク機器、アプリケーションソフト）が生成するログや設定ファイル等のITデータを対象とした検索エンジン。syslog、イベントログ、ファイルシステム、コマンド出力データ、DBテーブルなどの情報を取り込み、取り込んだデータのタイムスタンプやレコード、フィールドを自動的に識別してインデックスを作成する。このインデックスを対象とすることで膨大なITデータの検索・分析を高速かつ柔軟に実現するという。 検索では、論理演算子やワイルドカードが使用できるほか、異なるホストや異なるアプリケーション間の相関を分析するためのトランザク
フォームに特化したアクセス解析サービス『FormAlive』 | 100SHIKI.COM
微妙に不安定だが、コンセプトとしてはおもしろいのでご紹介。 FormAliveではいわゆる「フォーム」に特化したアクセス解析サービスを提供している。 フォームはユーザーや読者、顧客からの窓口となる箇所である。ここが最適化されていないとサイトの目的を達することが難しくなるのは自明である。 そこでFormAliveでは設置したフォームで何がどこまで入力されたかを追跡してくれる。 これを見ていれば「あ、ここでみんな面倒だと思っているんだ」なんてことがわかるだろう。 フォームに特化、というコンセプトがなかなか良い。Form Experience Optimization（EFO）とかそんな言葉で商品つくる人が出てきそうだと思ったり思わなかったり。
（前編） 異機種のログを横ぐし検索：ITpro
情報漏洩事件の原因分析や内部統制に効果を発揮する「ログ解析ツール」は，異なるフォーマットのログを一元的に格納する。データ項目の指定やサーバーの拡張性，セキュリティ機能に注目しよう。 アクセス履歴である「ログ」を収集しているシステム管理者は多い。システムへの外部からの攻撃や内部からの情報漏洩といった事件が発生した際に，犯人を特定する強力な手がかりとなるからだ。さらに内部統制の観点から，会計処理などに不正がなかったことを証明する手段としても有効で，ますますログの重要性は高まっている。 だが，いざログが必要になったときに，「素早く必要な情報を取り出せる」と胸を張れるシステム管理者は少ないだろう。なぜなら，必要なログを取っていない，ログを取っていたとしても保管場所がバラバラで検索するのに時間がかかる，ログが改竄されていないことを証明できない――といった問題が起きやすいからだ。 こうした問題を解決す
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows ファイルサーバー監査 オープン アクセス 削除 クローズ | Windows イベントログ システム,アプリケーションのエラーログ
Log解析の基礎@phpcon2014
https://kibana.org/
Windows PowerShell でのスクリプティング
IDEA * IDEA
