不正検知を目的としたデータ分析プロジェクトの進め方
データ分析プロジェクトに対する誤解 2015年にNHK子会社社員が、自分たちが設立したペーパーカンパニーに架空の工事を発注することで、約2億円もの金額を着服していたことが発覚しました。この問題は様々なメディアに報じられたので、ご存知の方も多いと思います。実はこの不正が発覚した前年に、約1億円の費用をかけてNHKが監査法人などに不正調査を依頼していたにもかかわらず、この架空発注を発見できていなかったことが後から分かり、国会で批判的に取り上げられました（参照1）。 不正検知を目的としたデータ分析プロジェクトを実施する際に、不正行為を取りこぼすことに対する強い抵抗感から、分析を依頼した担当者が、「すべての不正を100%漏れなく検知する」という困難なゴール設定をしてしまうことがあります。過度な期待をかけることは、後日仮に検知できなかった不正が明らかになった時に失望を生み、結果として実施したプロジェ
地味でつまらないログ収集をおもしろおかしく! 最強ログコレクタ「Fluentd」のチカラ
2013年になってもバズり続けている"ビッグデータ"ですが、データ分析において最も重要となるプロセスは何かというと、やはり肝心のデータを集める作業ではないでしょうか。そしてデータからビジネスに役立つ情報を高い精度で得ようとするなら、やはり母集団となるデータの量は多いに越したことはありません。 中でもソーシャルネットワークやソーシャルゲーム、eコマースなどBtoCなWebサービスを提供している企業の場合、ユーザの振る舞いを記録した膨大なアクセスログは、ビジネスを展開していく上で何よりも大切な宝ものだといえます。サービスの品質を向上し、収益性を高め、競合と差別化を図っていくためには、ログから何を読み取るかが勝負の分かれ目になります。そしてログ解析の精度を高めるには、当然ながら大量のログが必要です。つまりログ収集という作業は本来、Webアプリケーションを使ったビジネスであれば最も手を抜いてはいけ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLチューニング虎の巻一覧
