脅威 Intelligence と log 運用 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2022 8日目の記事です。 PSIRTでblue teamとして活動している eiji です。 サービスやシステムのsecurityを確保したいとき、まず、最初にやらなければならないことはなんでしょう？ FirewallやIPSのようなsecurity sensorを配置することが頭に浮かぶかもしれませんが、それよりも先にやっておかなければならないことがあります。 それは、logを取ることです。 logがなければ、攻撃や異常を検知できませんし、検知できなければ、サービスやシステムを守るための行動をとることができません。 では、全部のlogを取るのか？ といわれると、答えは乱暴に言うとYesなのです。でも、全てのlogを単純に保存したとして、多くの人はそこからsecurityを確保したと言える状況に至る道筋を思い
メルペイのAML/CFTシステムを支える技術 | メルカリエンジニアリング
株式会社メルペイのAML/CFTチームでバックエンドエンジニアを努めているyagi5です。この記事はMERPAY TECH OPENNESS MONTHの6日目の記事です。 私たちメルペイが目指すのは、単なる決済手段を提供することだけではありません。 「信用を創造して、なめらかな社会を創る」プラットフォームになることです。 そのためには、お客様がメルペイ、メルカリを「あんしん・あんぜん」に利用できなければなりません。 メルペイにおいてその役目を担っているのが、筆者の所属する「AML/CFTチーム」です。 この記事では、読者の皆さんには馴染みが薄いかもしれない「AML/CFT」について紹介すると共に、私たちが日々取り組んでいる、メルペイのあんしん・あんぜんを支える技術について書きたいと思います。 最後までお読みいただければ幸いです。 AML/CFTとはなにか AML/CFTとは「Anti-M
時系列コンペでよく使用されるsin, cosへの変換とは - Qiita
塩コンペに関しては、大会1位を飾ったphalanxさんが記事を書いているのでぜひとも参照してください！自分もやったことは記事内の２ヶ月〜最終日以外はほぼ同じです。 本題 時系列のコンペでは、特徴量として各訓練例が取得された時間や日付を組み込むことがあります。 しかしhourを例に考えてみると、23時の次は0時ですがこの間には数値的なつながりがありません。そこで循環性を考慮できるように三角関数を各特徴量に適用させます。 %matplotlib inline import pandas as pd import numpy as np dates = pd.date_range(start='2017-01-01', end='2017-12-31', freq='H') df = pd.DataFrame(data=np.zeros(len(dates)), index=dates, col
「Prophet」とは――Facebook製時系列予測OSSは何が便利なのか
機械学習の中でも古典的なテーマの一つである「時系列予測（時系列解析、時系列分析）」においては、昔からある「AR（Auto Regression：自己回帰）」モデルから最先端のディープラーニングを用いた「LSTM」（Long Short-Term Memory）までさまざまなアルゴリズムが存在しています。 それらの中でも近年注目を集めているのが、Facebookが開発した時系列予測のオープンソースソフトウェア（OSS）ライブラリ「Prophet」です。Python実装、R実装が公開されています。 本連載ではProphetの概要と理論的背景、案件で使ってみた経験から得られた知見を紹介します。「そもそもProphetとは何か」「他の手法との差異は何か」「チューニングのテクニック」「運用で気を付けるべき点」などを紹介しながら、Prophetへの理解を深めることを目的に、2回の連載を予定しています。
時系列分析のためのブックガイド | Logics of Blue
新規作成：2018年03月05日 最終更新：2018年03月06日 この記事は、時系列分析をこれから学ぼうとされる方のためのブックガイドです。 書籍によってカバーされている範囲、R言語などのプログラミング言語を援用しているかしていないか、そして書籍の難易度などをまとめています。 また、私自身、「時系列分析と状態空間モデルの基礎」という時系列分析の入門書を執筆しており、この本がどのような立ち位置にあるのかも説明しています。 目次 書籍紹介 時系列分析のトピック 状態空間モデルの分類 古典的な時系列モデルを学ぶことの意義 書籍で扱われている内容の比較 隼時系列本の立ち位置 1．書籍紹介 Rによる実装なし 沖本(2010)『計量時系列分析』 以下「沖本本」と略します。 実用的でバランスも良く、当サイトでも強く推している書籍です。 ARIMA・GARCH・見せかけの回帰などが丁寧に説明されています
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
トレンド・季節調整付き時系列データの回帰モデルを交差検証してみる - 渋谷駅前で働くデータサイエンティストのブログ
これは実は既に元ネタのあるテーマです。 Cross-validation for time series | Rob J Hyndman 個人的にはトレンド・季節調整付き時系列データの回帰モデルをやる場合はほぼ例外なくベイジアンモデリングで回すんですが、一般にベイズ系のモデルは例えばWAICやWBICのような情報量基準でモデルの汎化性能を推定することでモデル選択することができます。ところが、トレンド・季節調整付き時系列データのように回帰部分の尤度だけでは表せない、強い自己相関のある部分が大きいデータの場合は、モデル全体のWAICやWBICを算出する方法が（まだ？）ありません。 ということで交差検証(CV: cross validation)大好き人間の僕としては、普段は適当に「学習データ：古い方から80% / 検証データ：新しい側の残り20%」みたいなholdout CVしかやっていないん
1行のJavaScriptコードでユーザーの行動分析を動画で確認できる「LogRocket」を使ってみた！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、自分のWebサービスやサイトに訪問したユーザーが、どのような行動をしているのかを動画で再現してくれるサービスのご紹介です！ ユーザー側で発生した不具合などのログも記録されたり、特定のユーザーだけを抽出して分析できたり、とても便利な機能が無料で利用できるのでオススメですよ。 【 LogRocket 】 ■「LogRocket」の使い方！ それでは、実際に「LogRocket」を使いながらどのようなサービスなのかを見ていきましょう！ 今回は「LogRocket」の機能を試すために、以下のようなサンプルサイトを作っておきました。 このサイトを利用して、どのような機能が使えるのかをご紹介しようと思います。 まず、公式サイトへアクセスして「トップページ」のボタンをクリックしましょう。 ユーザー登録画面が表示されるので、「メールアドレス」と「パスワ
スライス＆ダイス分析 with Excel ピボットテーブル
イントロダクション スライス＆ダイス分析は，データを切り出す(スライス)，ないしはサイコロ(ダイス)を転がすようにして視点を変えるといった方法を組み合わせながらすすめるデータ分析の手法です。漠然としたデータのかたまりを分析の対象とするとき，ある程度の多面性・深度を視座に分析に取り組むことができます。 そうした特徴ゆえ，スライス＆ダイス分析には決まった手続きがあるわけではありません。むしろ，総当たり的な手続きをとることにより“想定しない発見”を探索しうる点にこそ意義があると考えるべきでしょうか。その意味では，トライアル＆エラーを前提とした手法と言えるところがあります。 もっとも，(エクセルのピボットテーブルを使用するとき)膨大なデータを対象とした総当たり的な手続きは，常識的にはむずかしいところもあるはずです。したがって，実際にはある程度のアテをつけた利用の仕方が不可欠ではあり，この点，経験に
パフォーマンス分析の方法論23選 | POSTD
パフォーマンス分析のメソドロジーとは、システムやアプリケーションのパフォーマンスを分析する際に準拠できる手法です。メソドロジーを手がかりとして作業に着手できますし、根本原因やその他の要因の発見に役立ちます。異なる種類の問題を解決するのには、それぞれに適したメソドロジーがあります。目的を達成するまでに何度か方法を変えて試してみるといいかもしれません。 メソドロジーを使わない分析は手探りの探索になり、ある問題に対する手がかりが見つかるまで（もしあればですが）ずっと場当たり的にメトリクスを分析することになってしまいます。 このサイトでは以下のメソドロジーについて詳しい資料を公開しています。 USE（Utilization Saturation and Errors）メソッド ：リソースのボトルネックを見つける TSA（Thread State Analysis：スレッドステート分析）メソッド ：
Cookieを使わずにユーザーを追跡する仕組みが普及しつつある | スラド IT
Canvas機能を使った文字やグラフィックス描画の際の挙動の違いでWebブラウザの違いを識別する「Canvas Fingerprinting」という技術が開発され、すでにトップ10万のサイト中5.5%がこれを使ったユーザー追跡を利用しているという。 また、ユーザがCookieをこまめに削除しても、サイト側が同じデータをFlashのローカル共有オブジェクト（LSO、Flash Cookie）などに保存しておいて回復させれば、実質的にCookieを不滅化することができる。このEvercookieを実現する手段の一つである「Respawning by Flash cookie」sは、人気上位200サイトのうち10サイトで検出されたそうだ。 Cookieを無効にしていても、適切な対処をしない限り、閲覧者の行動はかなりの割合で漏洩している可能性があるようだ。 Canvas Fingerprintin
【今すぐ役立つ行動心理学】サイトの売上に繋がる手法28選！ | LISKUL
マーケティングでは、顧客心理を読み解くことが戦略策定のもっとも大切なポイントの一つです。 その顧客心理を読み解く一つの方法として「心理学」が応用され、人間の「性質」や「本質」をもとにしたマーケティング戦略が考えられてきました。 ただ、この心理学がWEBマーケティングにおいて活用されることはまれでした。 そこで、今回はWEBマーケティングに役立つ行動心理学の手法を8つに厳選してピックアップ。 それらが実際に活用されている企業サイトを集めて重要エッセンスを抽出しました。 そしてさらに勉強したい方に向けて、もう20個の行動心理学の効果と実用方法をまとめました。 ウェブサイト上で行動心理学がどのように使われているのか、実例を参考にしながら、ぜひ自社サイトやブログにも導入してみて「ついクリックしてしまう」サイトを目指していきましょう！ Webサイトの改善策を”自動”で提案！売上向上に繋げるサービス『
バンディットアルゴリズム入門と実践
39. 実際の使用イメージ 試行数 アーム1期待値 アーム2期待値 アーム3期待値 活用or探索 0(0/0) 0(0/0) 1 1(1/1) 0(0/0) 2 1(1/1) 0(0/1) 3 1(1/1) 0(0/1) 4 1(2/2) 0(0/1) 5 1(2/2) 0.5(1/2) 6 1(2/2) 0.5(1/2) 7 8 0.66(2/3) 0.5(1/2) 9 0.5(2/4) 0.5(1/2) 10 0.4(2/5) 0.5(1/2) 0(0/0) 0(0/0) 0(0/0) 0(0/1) 0(0/0) 0(0/0) 0(0/2) 0(0/2) 0(0/2) 0(0/2) ・・・最も期待値の高いアーム 39 探索 探索 探索 探索 探索 探索 活用 活用 活用 活用 ランダム選択 引くアーム 結果 1 2 3 1 2 3 - アーム1 アーム2 アーム3 アーム1 アーム2
ソシャゲ分析講座 基本編（その３）：「継続率」を理解する - Real Analytics （リアルアナリティクス）
最近は業務で、ソーシャルゲームの分析＆改善施策の提案を行っています。そこで、本ブログではミニ連載という形で、ソーシャルゲームの分析手法について紹介をしていきます。基本編は8回程度を予定しており、好評であれば応用編も書きます。第3回は「継続率」に関してです。 ■過去の連載記事 ソシャゲ分析講座 基本編（その１）：「売上の方程式」を理解する ソシャゲ分析講座 基本編（その２）：「DAU」を理解する ソシャゲ分析講座 基本編（その３）：「継続率」を理解する ソシャゲ分析講座 基本編（その４）：「スペンド率」を理解する ソシャゲ分析講座 基本編（その５）：「ARPPU」を理解する ソシャゲ分析講座 基本編（その６）：「4つのステージとKPI」を理解する ソシャゲ分析講座 基本編（その７）：「イベントの分析」を理解する（前編） ソシャゲ分析講座 基本編（その８）：「イベントの分析」を理解する（後編）
Big brother is A/B testing you - アンカテ
一年前くらいから、「グリーっていう会社はみんなが思ってるよりずっと凄い会社なんだぞ」という趣旨のエントリを書こうと思っていて、書く内容はほぼ頭の中でまとまっていたのだが、書かないでいるうちにこんなことになってしまった。→グリーが希望退職を200人募集、業績悪化で | Reuters 普通なら「ああ、書かないで良かった!」と思う所だろうが、私はブログを書く上で「これを書いてる奴はこんなにふうに馬鹿なんです」という情報開示がすごく大事なことだと思っているので、こんなチャンスを見逃す手は無く、忙しい中で無理して時間をひねり出して、あえてそれを書くことにした。 グリーで一番注目すべきことは「商売する上で客のことを知る必要はない」という考え方だと思う。この思想がグリーの根幹であって、これを失なわなければ、ゲームを捨ててもグリーはグリーとしてやっていけると思う。 客を知らずにどうやって商売をするのかと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ハニーポットとチューリングテスト
失敗から学ぶ�データ分析グループの�チームマネジメント変遷 （デブサミ2016） #devsumi
DeNAの分析を支える分析基盤
【CEDEC 2014】データの見方を間違えて失敗した5つの例・・・DeNAの分析担当者が語る | インサイド
Log Analysis System And its designs in LINE Corp. 2014 early
