7 Command-Line Tools for Data Science | Jeroen Janssens
Data science is OSEMN (pronounced as awesome). That is, it involves Obtaining, Scrubbing, Exploring, Modelling, and iNterpreting data. As a data scientist, I spend quite a bit of time on the command-line, especially when there’s data to be obtained, scrubbed, or explored. And I’m not alone in this. Recently, Greg Reda discussed how the classics (e.g., head, cut, grep, sed, and awk) can be used for
NYSOL – 超高速な大規模データ解析を実現するソフトウェアツール
超高速な大規模データ解析を 実現するソフトウェアツール NYSOL makes it easier and faster to analyze big data. NYSOLver2.4.2 SOFTWARE LIST GitHub NYSOL Manual ※NYSOLは日本発のオープンソース（無料）です。 *NYSOL is open source software in Japan LICENSE 最新情報NEWS 2019.06.05 SOFTWARE NYSOLのDockerイメージ公開 2019.05.23 SOFTWARE nysol_pympiのインストールメモ 2018.09.20 INFORMATION WebbleバージョンのKIZUNAを公開しました。 Back Number NYSOLとはABOUT NYSOL 大規模データの解析に関する様々な大学やプロジェクトで
DATA GO JP/open data
データセット データセットとは、ファイルやURLなどの「オープンデータ」が登録された入れ物を指します。 データポータルでは、複数の切り口からデータセットを探すことができます。
Open DATA METI | 経済産業省のオープンデータカタログサイト
本サイトは経済産業省がオープンデータを実践するために設置した試験サイト（β版）です。本サイトは、データ活用に関心がある企業、NPO、個人等の方々から色々な意見をいただくことで、少しでも使い勝手の良いサイトにしていくとともに、個人情報等に配慮した上で、経済省のみならず政府全体におけるオープンデータ推進の検討に活用させていただくことも考えております。そのため、本サイトでは、ユーザーの方々から様々な意見や要望をいただき、対して様々な意見や要望をいただく仕組みの一つとして、「DATA METI活用パートナーズ」を設置しております。この「DATA METI活用パートナーズ」の概要と申込についてはこのページのとおりとなりますので、御関心のある方は是非ご覧下さい。 なお、いただいたコメントを踏まえ、柔軟な修正を逐次していくことを考えております。そのため、利用規約も含め、予告無く本サイトは変更される可能性
Rと手作業で覚える最尤法 - 餡子付゛録゛
OLSより進んだ統計手法で最初に覚えるのは最尤法だと思います。大半の人はツールとして知っていて、あまり中身を意識していない気がするのですが、「尤度」の説明無しで『尤度が最大になるパラメーターを求める方法』と言う説明が横行しているのは、問題があるかも知れません。 最尤法は、ある分布から観測値が取り出されたとして、“そうなる確率”が最も高くなるように分布の具体的な形状を決めるやり方です。“そうなる確率”を尤度と言います。こう書くと易しい事なのか難しい事なのか判別もつかないと思うので、実際に最尤法を解いてみましょう。 まず、何も考えずにトライ＆エラーで最尤法を試みるやり方を説明した後に、教科書的な最尤法の解法を説明します。 1. 何も考えずにトライ＆エラーで最尤法を試みる ある正規分布から値を3つ取り出したら、11 13 23だったとしましょう。このサンプルが“もっともらしい”正規分布の平均と分
スミルノフ・グラブス検定の数表
スミルノフ・グラブス検定の数表 Last modified: Jan 16, 2006 R で数表を書くプログラムを書いたので参考までに > Grubbs <- function(n, alpha) { + t <- qt(1-alpha/n, n-2)^2 + return((n-1)*sqrt(t/(n-2+t))/sqrt(n)) + } > n <- c(3:20, 22, 24, 26, 28, 30, 35, 40, 50, 60, 80, 100, 150, 200, 300, 400, 500, 1000) > alpha <- c(0.1, 0.05, 0.025, 0.01) > tbl <- outer(n, alpha, Grubbs) > rownames(tbl) <- n > colnames(tbl) <- alpha > tbl 0.1 0.05
mmitouの日記
Amazon Elastic MapReduce Ruby Clientがruby 1.8用であるため、Fedora17では使えない。 ruby1.8をインストールしてAmazon Elastic MapReduce Ruby ClientをFedora17で使えるようにした。 なお、https://github.com/rbotzer/elastic-mapreduce-rubyにruby1.9用のクライアントがあるが、 このクライアントを使ってもEMRを使う事が出来なかった。 ruby1.8のインストール Fedora17でruby 1.8.7のインストール作業メモ 1. ruby 1.8.7のソースをダウンロードする 2. パッチを当てる ruby1.8.7はglibc2.14が原因でコンパイルが通らないとのこと。 http://sourceforge.jp/forum/messag
妊婦のダウン症検査の話、陽性的中率 - aggren0xの日記
オーダーメイド医療シリーズを書くと言いながら止めておきながらこんなことをして少し後ろめたいですが、頭の体操として。 妊婦血液で出生前検査 異常９９％判明 http://www3.nhk.or.jp/news/html/20120829/t10014608571000.html これにおいて 「検査の対象は、胎児の染色体異常のリスクが高まる３５歳以上の高齢出産妊婦などとしたうえで」 制限つける必要あるのかねえ というid:wdnsdyさんのコメントが現時点で一番スターが多くついています。ですがこれは絶対必要な条件です。成育医療センターと昭和大の先生方は適切にもこの年齢制限を設定した、というべきです。その理由は知っていさえすれば特に難しいことはなく、ブコメ欄にもいくつも手がかりとなるコメントを残している方はいますが、わかりやすく説明できるかどうかを試みてみるものです。 個人から見た検査の精度
NfSen
NfSen - Netflow Sensor What is NfSen? NfSen is a graphical web based front end for the nfdump netflow tools. NfSen allows you to: Display your netflow data: Flows, Packets and Bytes using RRD (Round Robin Database). Easily navigate through the netflow data. Process the netflow data within the specified time span. Create history as well as continuous profiles. Set alerts, based on various condition
NFDUMP
*** This project moved to Github.*** The documentation below is for legacy purpose only This is a small description, what the nfdump tools do and how they work. Nfdump is distributed under the BSD license - see BSD-license.txt - and can be downloaded at https://github.com/phaag/nfdump The nfdump tools collect and process netflow data on the command line. They are part of the NfSen project which is
arXiv.org
arXiv is an e-print service in the fields of physics, mathematics, non-linear science, computer science, quantitative biology and statistics. The contents of arXiv conform to Cornell University academic standards. arXiv is owned, operated and funded by Cornell University, a private not-for-profit educational institution. arXiv is also partially funded by the National Science Foundation. Contact
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Probability Distributions Viewer
Search | Packt Subscription
スミルノフ・グラブス検定
ホーム | 統計数理研究所
第3回 度数分布表とヒストグラム （平均・分散とヒストグラムの関係）
http://upo-net.ouj.ac.jp/tokei/xml/k3_07008.xml
Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition.
日本統計学会創立75周年記念出版『21世紀の統計科学』(全3巻) 増補HP版 (2012年1月)