いろいろな確率分布のパラメータをいじくるアプリ @ksmzn #Shiny
いろいろな確率分布のカタチを見ることができるWebアプリです。 パラメータをいじくって、確率分布のカタチがどのように変わるのか観察しましょう。 上部メニュー からお好きな確率分布を選んでください。 このアプリはR言語のWebアプリフレームワークであるShiny で、@ksmznが作りました。 ご指摘や、追加すべき確率分布などがありましたらTwitterで教えてくださると助かります。 また、全てのコードはGitHubにもおいてありますので、拙いコードでよろしければ参考にしてください。 時間があれば、グラフをggplot2ではなく、D3.jsなどを使ったインタラクティブなものにしたいですね。 参考文献 このアプリを使う際に参考にしたページは以下です。 特に、まだまだShinyの日本語情報が少ないなか、 @hoxo_mさんの記事やコードはとても参考になりました。 @hoxo_mさん、ありがとうご
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
情報デザインを意識したスライド作成入門(2015年) | 天野由貴 広島大学
スライド ・・・・ ・・・・ 見やすく！ わかりやすく！ 情報デザインを意識した スライド作成入門 -1- プレゼンテーションとは，なんのためにするのでしょうか？ それは「伝えたいことを，伝えたい相手に，ちゃんと伝えるため」であると言えます。 そのためには，わかりやすく伝わりやすいスライドを作成する必要があります。 「わかりやすい」とは，スライドにおいてはどういう状態でしょうか？ ○ 情報がぱっと見てわかる 1 枚のスライドを表示している時間は短いものです。 聴衆が，スライドを見て，考えたり理解したりするよう努力している時間はあまりありません。 聴衆の脳に負担をかけずに，情報を伝えることが重要です。 ○ 情報が整理されている あれもこれも伝えたい気持ちはあっても，限られたプレゼンの時間の中では， 本当に伝えたいことをシンプルに伝える必要があります。 ○ 情報のポイントが目立
改訂版: プログラマーが効果的な可視化を作成する （前編） - Qiita
改訂版について (5/7/2019公開) この記事は、私がこちらに公開したもの中では最も読まれているようです。そこで、執筆後に気づいたこと、古くなった情報、新しい技術動向などを考慮に入れて改訂をしました。主な変更点は以下の通りです： 新しいセクションの追加 最近の本の紹介 細かな表現の修正 この記事は複数のセクションに分かれていますので、前編から始め、順番にアップデートして行きたいと思います。何かお気付きの点などありましたら、コメント欄、もしくはkonoアットマークucsd.eduにお願いいたします。 はじめに この記事は、可視化の専門家ではない人がコンピュータを使ってデータ可視化を実際に行う場合に必要な、一般的なノウハウをお伝えするシリーズの第一回です。 前編: 効果的なデータ可視化とはどのようなものか？ （本稿） 中編: 分かりにくい可視化を避けるための手法の選択 後編: Part 1
日本戦ツイート分析｜2014ワールドカップ（ブラジル大会）：朝日新聞デジタル
※選手や監督の名前を含むツイートを収集、その中に多く出てくる言葉を分析・抽出しています。 ※ツイッターのデータは「ＮＴＴデータ」の協力で収集。東北大学大学院の乾・岡崎研究室の支援を受けて、ツイート件数、関連語、ポジ・ネガを分析しました。関連語では、意味のない文字などを除いています。 ※円グラフは、いわゆる「ポジ・ネガ分析」です。活躍を評価しているツイートを「ポジティブ」。プレー批判や交代を要求するようなツイートを「ネガティブ」。単に選手交代を紹介するなど、評価に言及しないツイートを「ニュートラル」と分類しています。 ※最新ブラウザの使用をおすすめします。お使いのブラウザによっては正しく表示されない場合があります。 ※画像のうち、遠藤、岡崎、伊野波、、ザッケローニ監督、ボニ、ヤヤ・トゥーレ、ドログバ（２枚目はＡＦＰ）、長友（２枚目）はロイター。大久保、柿谷、内田、今野、青山、酒井高、ジェルビ
[R] 散布図行列 （corrplot, pairs, GGally）
データが与えられた時にはまず可視化をします。そのデータがどのような仕組み（メカニズム）で作られてそうなったかを考えるために必須のプロセスです。しかしながら、どんな可視化がベストかははじめの段階では分からず、とにかくプロットしまくることになります。そのとっかかりに僕がよく使うのが散布図行列（scatter matrix，scatter plot matrix）です。 今回は3つほど紹介します。 ●1. {corrplot}パッケージの corrplot()関数 5行目で相関係数行列を作ってそれを渡しておしまいです。相関係数行列の作り方は各自の自由です。上記ではSpearmanの順位相関係数を使っていますがMICとかでもいいと思います。 このcorrplotのデメリットとしましては散布図は表示できない点です。散布図行列と言っておきながらすみません。説明変数が100個以上あるときなどは散布図を描
![[R] 散布図行列 （corrplot, pairs, GGally）](https://cdn-ak-scissors.b.st-hatena.com/image/square/544ad8f52d5de7a03d0d9639628d7c68838b5dfc/height=288;version=1;width=512/http%3A%2F%2Fblog-imgs-67-origin.fc2.com%2Fh%2Fe%2Fa%2Fheartruptcy%2F201404_ggpairs2s.png)
[R] ggplot2の色をプレゼンでも使いたい
たまには軽い話題も。 プレゼンの配色は統一感が大切。下記のスライドは参考になります。 ノンデザイナーのための配色理論 from tsukasa obara 色彩センスのいらない配色講座 from Mariko Yamaguchi そこで、ggplot2で書いたグラフを張り付ける際には、その他の図形の色もなるべくggplot2の色の範囲におさめたくなります（同じ色を使うことで混乱させる場合はもちろん使ってはいけません）。 そんな時は下記の関数からRGBを作れます。引数のlの値を変えた暗い色や明るい色は重ねる場合に使ったりします。 デフォルトの色は以下のようになります（Cookbook for Rのggplot2の記事から引用）。 個人的にn=3,5,10の値をよく使うので表にまとめておきます。 ●3色 123#F8766D#00BA38#619CFFred248097green1181861
![[R] ggplot2の色をプレゼンでも使いたい](https://cdn-ak-scissors.b.st-hatena.com/image/square/7c91a2ecd1cd63831ec1145c70df58b6a0d8d037/height=288;version=1;width=512/http%3A%2F%2Fblog-imgs-67.fc2.com%2Fh%2Fe%2Fa%2Fheartruptcy%2Fggplot2_scale_hue_colors.png)
エンジニアのためのデータ可視化実践入門という本を書いた - あんちべ！
2014/10/14 追記 本書87ページに「母数」という単語が複数回出てきますが、 これは全て「分母」とすべきでした。*1 通常、統計学の文脈では、母数は各確率分布を特徴付ける変数を指す単語であり、 例えば正規分布は平均と分散という二つの母数によって形状が決定されます。 決して母数と分母（あるいは全数）と誤解してはなりません。 しかし母数と分母を混同することは本当によくあることで、 本書はこのような頻出する誤解を訂正し、 皆様が統計を用いる際の失敗を一つでも減らす という目的で執筆に至ったにも拘らず、 まさか本書でこのような重大な失敗をしてしまったことに対し 心からお詫び申し上げ訂正させて頂きます。 なお、問題個所の記述は共著者の森藤氏ではなく 私が記述したものであり、全責任は私にあります。 本を書くに当たり、誤字脱字や言い回しの不備は出来る限り無くすべきですが、 人間であるためミスをす
DNS問い合わせの可視化 | ある研究者の手記
DNS問い合わせの可視化 最近、データをまとめたり可視化したりしてその性質を調べる探索的データ分析(例)にはまっています。と、同時にネットワーク分析にもちょっと手を出しており、その2つの派生物としてドメイン名問い合わせの結果を可視化してみました。 これを読んでいる人にはもはや説明の必要はないと思いますが、一応書いておくと、世の中のwww.google.comやwww.amazon.co.jpのようなドメイン名はサーバの場所を直接示しているわけではなく、「この名前を持っているサーバのIPアドレスはなんですか？」というのをDNSサーバという別のサーバに問い合わせることで目的のサーバのIPアドレスを教えてもらい、その後目的のサーバへ接続します。以前は正引き（ドメイン名からIPアドレスを問い合わせる）と逆引き（IPアドレスからドメイン名を問い合わせる）が対称構造になるように設定するのが主流でしたが
櫻田潤 | インフォグラフィック・エディター
ビジュアルの力で世界を丸くする。 地球の形状が「丸い」のは、そこで暮らす僕たちにひとつの「ビジョン」を指し示しています。地球の形と同じように、世界で起こっていることのすべてが丸く収まっていれば良いのですが、現実は違います。 大小いろいろな規模の摩擦がいたるところに発生し、繰り返されます。その解決に必要なのは、お互いの「考え」や「価値観」「立場」、「状況」「状態」を示し、認め合うことです。そのために、「ビジュアル」の力を活用していきます。
4万人の生徒のコードを分析してグラフィック化するとすさまじいことに
オンラインでスタンフォード大学の講師が授業を行うCoursera Machine Learningの課題として4万人の生徒に行ってもらった同じプログラミングを可視化するとどうなるのか？という試みが「Code Webs」で、まるで抽象絵画のようなすさまじいグラフィックが完成しています。 Code Webs - Visualizing 40,000 student code submissions http://www.stanford.edu/~jhuang11/research/pubs/moocshop13/codeweb.html ということで、これが4万人の学生のコードを可視化した図。まるで抽象絵画のようです。 グラフィックはユニットテストの結果によって色分けされており、赤で描かれたサブミッションはすべてのユニットテストをパスしたことを意味します。 ノードは各サブミッションを表し、エ
確率分布曼荼羅 - archief voor stambomen
Lawrence M. Leemis〈Univariate Distribution Relationships〉 http://www.math.wm.edu/~leemis/chart/UDR/UDR.html 有名な確率分布曼荼羅論文：Lawrence M. Leemis and Jacquelyn T. McQueston 2008. Univariate Distribution Relationships. The American Statistician, Vol. 62, No. 1, pp. 45-53, February 2008 DOI:10.1198/000313008X270448 → pdf に関わる情報は以前に拾い集めた（→「「Univariate Distribution Relationships」－ 確率分布曼荼羅」）．しかし，本家本元の Lawren
政府統計データ、API提供開始 実際に取得し可視化してみた:オープンデータ情報ポータル
2013/06/21 データジャーナリズム 総務省では、６月10日から統計データのAPI（Application Programming Interface）提供を開始した。インターネットを通じて機械的にデータを取得し、自社の持つシステムやウェブサイトで活用することができる。 独立行政法人統計センターが運用している「次世代統計利用システム」で試験的に行っているもので、登録すれば誰でも利用できる。現在ＡＰＩで提供されているのは、国勢調査、住宅・土地統計調査、地域メッシュ統計、消費者物価指数など総務省統計局所管の統計で、データ量は表にして約32,000、約47億セルに及ぶ。 政府から最新データが提供されると、利用者側のウェブサイトでも自動的に同期して更新するようにしたり、政府データとその他のデータをシステム上で組み合わせて分析する、といった利用を想定している。 総務省ではこの試験運用でノウハウ
可視化周辺の進化がヤヴァイ～rChartsを中心として～
TDD bootcamp 札幌2.0 http://atnd.org/events/15811 の自己紹介で使った資料です。
Pythonを使って簡単にデータを視覚化する
世の中のことをもっと知るにはどうしたら良いだろうと思うときがある。世の中の多くの事柄はログやデータに落とされる。Googleなどの検索サイトは良い例だろう。さて、そのログやデータをどうすれば良いのか? 多くの場合、視覚化が有効な手段となる。 まずは身の回りの日常的なデータやログを何とかしたい。ただ、日常のデータを視覚化するのに数十行以上のコードは書きたくない。まるで息をするかのごとく自然に視覚化を行いたいのだ。そのためには1～2行、長くて数行で済ませることが必要だ。そこでPythonとmatplotlibを使う。加えて、IPythonがあればなお良い。IPythonの導入については以前のブログ記事であるIPythonの埋め込みプロットが素晴らしいを参考にして欲しい。 まずは事前にnumpyとmatplotlibをインポートしておく。できればscipyも。 >>> from numpy im
データを分かりやすくスタイリッシュに可視化できるJavascriptライブラリ「D3.js」
どんなに情報をまとめても、それを可視化して見ている人にうまく伝えるのは至難の技です。そんな時にデータをスタイリッシュかつ見やすいグラフにしてくれるのが、様々なデザインのJavascriptがダウンロード可能なライブラリ「D3.js」です。 D3.js - Data-Driven Documents http://d3js.org/ D3.jsを使って作ったグラフの事例を公式ギャラリーから見ることが可能で、これらのグラフにもとになる素材(スクリプトのソース)がGitHubで入手可能です。 Gallery · mbostock/d3 Wiki · GitHub デザインの一例は以下から。 ◆:Bubble Chart 作成例によっては、ページに直接コードが記載されているものもあります。 ◆:Four Ways to Slice Obama’s 2013 Budget Proposal - In
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー、16万曲の歌詞ビッグデータ分析で、国内500アーティストの類似性を可視化 
視覚化のパターン 72種類まとめ（インフォグラフィック） | ビジュアルシンキング
Beyond Bar and Line Graphs: Time for a New Data Presentation Paradigm
http://hospital.datagraphica.jp/
