FiS Project – Data Science and Engineering Blog[B!]新着記事・評価 - はてなブックマーク

『FiS Project – Data Science and Engineering Blog』

fisproject.jp
8 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2019/11/21 18:57

fisproject.jp
6 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2019/09/05 16:33
- 機械学習
- まとめ
【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (前編) |
5 users
fisproject.jp

Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。異常検知の分野では Anomaly Detection : A Survey [V Chandola, 2009] が有名なサーベイ論文だと思いますが, 深層学習の台頭でアップデートされた部分も多く, 本サーベイ論文は良いガイドラインとなりそうです。References が膨大なため前編/後編に分けます。導入異常検知と新規性検知深層異常検知 (Deep anomaly detection; DAD) 深層学習ベースの異常検知の様々な側面 DAD Models 異常検知における DAD アーキテクチャその他の DAD 手法 DAD の相対的な長所と短所補足: Anomaly Detection using One-Class Neural Networks
- テクノロジー
- 2019/03/19 09:56
fisproject.jp
3 users
fisproject.jp

This domain may be for sale!
- 世の中
- 2019/02/21 13:33
【sysctl】Linux カーネルパラメータのチューニング |
4 users
fisproject.jp

HTTP(S)サーバの負荷テストをしている中でネットワーク関連の Linux カーネルパラメータのチューニングについて興味を持ったので調べてみた。参考文献は詳解システム・パフォーマンスの 10章ネットワーク 10.8 チューニング辺り。環境は Ubuntu 14.04 ulimit(3) クライアントからの同時接続に対してサーバのファイルディスクリプタ数を上限を変えてみる。ファイルディスクリプタ数 (open files) は 1024 となっていた。 $ ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 7781
- テクノロジー
- 2018/08/21 16:18
- linux
fisproject.jp
3 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2018/05/01 21:24
- python
fisproject.jp
3 users
fisproject.jp

This domain may be for sale!
- 学び
- 2018/05/01 21:23
fisproject.jp
3 users
fisproject.jp

This domain may be for sale!
- 暮らし
- 2018/03/09 15:59
- メタプログラミング
【Ubuntu / CentOS】 SysV init と systemd で自作コマンドのサービス化 |
4 users
fisproject.jp

既に多くのLinuxディストリビューションで initシステムは SysV init や Upstart から systemd に移行が済んでおり, Ubuntu 15.04, CentOS 7, Debian jessie から default となっています。もはや systemd を積極的に使わない理由はないのかもしれないですが, 最近いくつかの脆弱性 (CVE-2017-1000082, CVE-2017-9445 etc) の発見もあり SysV init のサービス起動スクリプトも中々捨てがたい気もします。現に shell script という気軽さからなのか /etc/init.d は未だ残っています。今回は SysV init サービス起動スクリプトと systemd のサービスユニットファイルの最小限的な書き方を残しておきます。環境は Ubuntu 16.04.0
- テクノロジー
- 2017/10/26 08:43
fisproject.jp
4 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2017/09/23 03:03
- python
fisproject.jp
3 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2016/12/13 10:30
- JavaScript
fisproject.jp
12 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2016/08/27 18:28
- python
- digdag
- Scrapy
【NumPy / SciPy】Pythonでデータの標準化 |
4 users
fisproject.jp

NumPyの mean と std を使う方法。 In [1]: import numpy as np In [2]: x = [1,2,3,4,5,6,7,8,9] In [3]: x_copy = np.copy(x) In [4]: x_std = (x_copy - x_copy.mean()) / x_copy.std() In [5]: x_std Out[5]: array([-1.54919334, -1.161895 , -0.77459667, -0.38729833, 0. , 0.38729833, 0.77459667, 1.161895 , 1.54919334]) In [6]: np.mean(x_std) Out[6]: 0.0 In [7]: np.std(x_std) Out[7]: 1.0 mean, std を使った方法は Pandas でもできる
- テクノロジー
- 2016/06/29 11:36
fisproject.jp
4 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2016/05/19 18:04
- あとで読む
【ADVI】Stan で変分ベイズ |
3 users
fisproject.jp

ADVI in Stan は既に多くの方が試されているのですが, まずは触って理解したいのもあり試してみました。ちなみに今まで Stan Code をインラインで書いていましたが, ATOM の language-stan を使ったら Stan の syntax highlight がいい感じだったので別ファイルから読み込むようにしました。 ADVIとは 2015年に発表 [1] された ADVI (Automatic Differentiation Variational Inference, 自動変分ベイズ) は変分下限や近似分布を与えなくても自動的に事後分布の最もよい近似分布を KLダイバージェンスで探索して, その近似事後分布からのサンプルを得ることができる。サンプルが得られれば, MCMC同様に性質を調べることで知りたいパラメータを推定できる。既に Stan に実装があり,
- テクノロジー
- 2016/01/29 20:14
- STAN
【R】『入門機械学習による異常検知』を読了した |
5 users
fisproject.jp

『入門機械学習による異常検知―Rによる実践ガイド』を読了したので簡単なメモ。グラフが中心ですが Codeは GitHub にあります。 Rというかプログラミング知識に関しては, ほとんど必要しないと思いますが, 本書に掲載されている Codeは(紙面的な制約だと思いますが)部分的であるので少し注意が必要です。私は初学者のため本記事の内容に間違いもあると思われます。見つけたら, ご指摘ください。 1. 異常検知の基本的な考え方 1.1 例題：健康診断 1.2 計算機に判定規則をつくらせたい 1.3 「確率分布」で正常パターンをつかむ 1.4 機械学習で確率分布を求める 1.5 やりたいことを具体的に整理する 1.6 異常の度合いを数値で表す 1.7 いろいろな手法を試してみる機械学習で異常検知を行うとは, 異常or正常を区別するような知識を, 機械学習の手法を用いて過去のデータから計算
- テクノロジー
- 2016/01/25 17:46
【カーネル法】R でカーネルPCAとカーネルCCAを実践 |
3 users
fisproject.jp

SVMで有名なカーネル法ですが, 今回はカーネル法を用いたカーネルPCA, カーネルCCA を R で実践してみました。参考にさせて頂いた書籍はカーネル法入門―正定値カーネルによるデータ解析 (シリーズ多変量データの統計科学)で, 内容は 1章カーネル法への招待, 3章カーネル法の実際についてですが, 数学的な話には触れないので本書をご覧ください。カーネル法はデータの高次モーメントを有効に抽出しつつ計算を効率化する非線形変換の方法論で, データ分析の前処理やノイズ除去などに使われる。SVMが牽引する形で急速に広がり, 応用は下記のように多岐にわたる。サポートベクターマシン (SVM) カーネル主成分分析 (Kernel-PCA) カーネル正準相関分析 (Kernel-CCA) カーネルFisher判別分析カーネルK-means カーネルPLA カーネルロジスティック回帰カ
- テクノロジー
- 2016/01/24 00:41
- machinelearning
- R
fisproject.jp
11 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2016/01/20 16:50
fisproject.jp
4 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2016/01/14 22:42
- あとで読む
fisproject.jp
7 users
fisproject.jp

This domain may be for sale!
- 学び
- 2015/10/25 09:33
- R
fisproject.jp
4 users
fisproject.jp

This domain may be for sale!
- 学び
- 2015/08/21 10:01
【forecast】Rでファイナンスデータの時系列分析 |
9 users
fisproject.jp

計量時系列分析について調べたこと, 主に AR, ARMA, ARIMA モデルについてメモを残します。ファイナンスデータの準備今回は Yahoo!ファイナンスから日産自動車 [7201] のデータを取得しました。分析の前に csv の文字コードを Shift_JIS から utf-8 に変更しておきます。OS X の場合 nkf コマンドを使います。 $ brew install nkf $ nkf -w --overwrite ./data/7201.T.csv まずは, {quantmod} でロウソク足を図示してみます。 library(quantmod) # convert char-code "nkf -w --overwrite filename" df <- read.csv("data/7201.T.csv", header = T) names(df) <- c
- 世の中
- 2015/08/11 13:24
fisproject.jp
4 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2015/06/15 01:51
- linux
fisproject.jp
5 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2015/02/24 21:49
fisproject.jp
12 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2015/02/20 11:35
fisproject.jp
3 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2014/07/24 17:44
fisproject.jp
16 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2014/06/10 20:43
- ffmpeg
- x264
- HLS
- node.js
- 参考
- 動画
【Linux】ファイルディスクリプタとは何か – FiS Project
10 users
fisproject.jp

HTTPサーバが複数のクライアントを識別できる背景にはファイルディスクリプタの存在があります。ファイルディスクリプタが存在しないと, サーバは誰にレスポンスを返して良いかわからなくなってしまいます。今回はファイルディスクリプタの基礎について。 Stream ファイルディスクリプタを理解するには Stream[1] が何かを知る必要があります。下図のようにプロセスからファイルにアクセスするときに, 通り道となるのが Stream です。バイト列が流れることから byte-stream とも呼ばれます。プロセスからプロセスに繋ぐときには pipe[2]を使いますが、この時にバイト列を結びつけるのも Stream です。 Stream を制御するのはカーネルの役割で, open(2), read(2), write(2) などのシステームコールを通じて Stream を出してもらいます。
- テクノロジー
- 2014/04/25 14:28
- Linux
- kernel
- サーバ
- OS
fisproject.jp
3 users
fisproject.jp

This domain may be for sale!
- テクノロジー
- 2014/04/17 12:04
- linux

次のページ

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx