あたらしいBayes推定ソフトウェアであるStan 1.0.0と、そのRインターフェスのRStan 1.0.0が発表されている(Revolutions: RStan: Fast, multilevel Bayesian modeling in R)。 Stan → C++ → ネイティブバイナリ と、コンパイルして高速に計算できということだ。 さっそくためしてみる。 library(rstan) x <- rpois(30, 4) model <- ' data { int<lower=0> n; // number of data int<lower=0> x[n]; // data } parameters { real<lower=0> lambda; // mean } model { for (i in 1:n) { x[i] ~ poisson(lambda); } lambd
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki です2つのテーブル構造の変換(CastとMelt) † Table.Aは、リレーショナルデータベースなどで良く利用されていデータ保存用のテーブルの形で、正規化されていません(MultiValue?非正規化テーブル)。 Table.Bは、統計で利用されるテーブルの形(正規化テーブル)です。 データベースからデータを抽出する段階で、SQL文を使って正規化する方法もありますが、結構面倒臭いものです。 reshapeパッケージでは、基本的にCastとMeltの2つのメソッドを使ってテーブル構造の変換を行います。 例題1:通常のテーブル構造変換 † code library(reshape) subject<-c("John Smith","John Smith","John Smith","Mar
The climate is changing, which means some crops will fair better or worse given new conditions. Stamen, in collaboration with Vision for Adapted Crops and Soils, mapped the potential shifts for a variety of crops. Be sure to see Stamen’s process post on the design choices behind the visual explorer.
//Automate Excel Process data with Python, not VBA - or by hand. Do you need to work with a database or a website? Python has libraries for that. //Build better spreadsheets Build live streaming dashboards and complex mathematical models, all in Excel. You can use DataNitro to turn a spreadsheet into a database GUI - or a web server backend. //Interactive Shell >>> CellRange("A1:A10").value = [x**
「データマイニングを仕事とする人=データマイナー」はどういう人たちがいるかということについて ビックデータとかで世の中がバズってるけど「僕はデータマイニングをやってます!」といったときに適切にその人がやっている業務領域を把握している人ってかなり少ないと思う。 グリーで働いていたときもデータマイナーはどういった仕事をしていて、何をやっていて何ができるのかっていうことを理解していなくてミスコミュニケーションが生まれていたと思うのでちょっとその生態系についてまとめてみた。おそらく、データマイナーといわれる人は以下のタイプがいる: 研究開発をする人 統計学的に新しいイノベーションを起こせる人。Google のPageRankアルゴリズムを作りましたとか、NetfrixやAmazonのレコメンデーションエンジン作りましたとかいう人がこれにあたる。スキル的には統計学にかなり長けている必要があり、その他
By David Kahle, Ph. D. Candidate, Department of Statistics, Rice University Introduction The current work details some new methods for the visualization of spatial data in R using ggplot2 and applies the new methods to the analysis of violent crimes in downtown Houston, Texas. In particular, this article combines the power of ggplot2 and Google Maps to provide a nice exploratory analysis of hotspo
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました! Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です:イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
巷では何かと分散処理が流行っています。 特にHadoop+Mahoutで大規模データに対して機械学習や統計モデルを高速分散処理することで、データマイニングがより盛んになるのではないかと期待がされています。 分散処理するためには、最後に足し合わせることができればいいわけで、考えてみるとそんなに難しいことじゃないんですよね。 試しにRを使って、線形単回帰を分散処理っぽく計算します。 大規模データで試しているじゃないですし、パフォーマンスを比較しているわけではありませんのであしからず、、 結局、分散処理は データを分割 それぞれのデータでパラメータ計算 計算結果を足す の3つをやっているだけだと、私は理解しています。 ですので、その3つの手順をRで100サンプル発生させて書いてみます。 まずは全体データで回帰係数を計算。 set.seed(1) x <- rnorm(100) set.seed(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く