はじめに データとモデル 確率モデル 確率モデルを作る 複雑なモデルを使うことが最善手であるか モデルの具体的な作り方 モデルの仮定 アンサンブルモデル 点推定モデル 最尤推定 制約付き最尤推定※ （最大事後確率推定） ベイズ予測分布と点推定 ベイズ統計学 ベイズ予測分布を得ることの意義 ベイズ統計学の主題 特異モデルと正則モデル ベイズ統計学のまとめ はじめに ベイズだの頻度論だので盛り上がっているので、ぶん殴られる覚悟で書いてみます。 データとモデル 観測値がランダムに見える場合、それを確率変数 $X$ として扱います。 さて、今、$X$ には我々が知ることのできない真の分布 $q(X)$ があるとしましょう。もしも、$X$ を無限回観測し満遍なくデータを集められるとすれば、$q(X)$ の形状を把握することができるかもしれません。 ところが、そんなのは幻想であって実際に無限回の観測を
R による統計処理
「Rによる統計解析」 オーム社 刊 サポートページ 目次 第1章 Rを使ってみる 第2章 データの取り扱い方 第3章 一変量統計 第4章 二変量統計 第5章 検定と推定 第6章 多変量解析 第7章 統合化された関数を利用する 第8章 データ分析の例 付録A Rの解説 付録B Rの参考図書など はじめに R とは何か，何ができるかのリンク集（日本のもののみ） R を使うためにはどうしたらいいの？ データなどの読み書き R の定石（R に限らずプログラミングの定石も） R を使って実際に統計解析をする AtoZ 一連の流れ データファイルの準備をする 分析してみる 分析結果を LaTeX で処理したり，ワープロに貼り込んだりする 道具立て 連続変数データをカテゴリーデータに変換 カテゴリーデータの再カテゴリー化 度数分布表と度数分布図の作成 散布図・箱髭図の描画 クロス集計（独立性の検定，フィ
純正より優秀なカメラアプリ7選
純正より優秀なカメラアプリ7選2020.05.24 12:00203,708 David Nield - Gizmodo US ［原文］ （ 禿頭帽子屋/Word Connection JAPAN ） スマホのカメラとは思えない機能の充実っぷり。 今や、スマホでいくらでも素晴らしい写真を撮れる時代。カメラアプリについては、あまり深く考えたことがないかもしれませんが、iOSやAndroidに最初から入っている純正アプリばかり使っている必要はありません。スマホでレベル違いの写真を撮れる最高のカメラアプリが、サードパーティーから出ています。 そうしたアプリを使えば、撮影方法をもっと細かくコントロールできるほか、フィルターやエフェクトなどの機能も使え、スマホ上の他のアプリとも連携できます。GoogleフォトやAppleのiCloudはそのまま使えるので、必要であればクラウドに写真をバックアップでき
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
Web上の膨大な画像に基づく自動カラリゼーション - A Successful Failure
2010年11月03日 Web上の膨大な画像に基づく自動カラリゼーション Tweet 以前『Web上の膨大な画像に基づく自動画像補完技術の威力』において、Web上の膨大な画像から欠損部分を自動的に補完する手法*1について紹介した（図1）。 図1：Scene Completion Using Millions of Photographs これは、Flickr等から大量にかき集めてきた画像から類似度の高い画像を自動的に抽出し、欠損部分にハメ込むことで違和感の無い補完画像を生成するアプローチであり、そのアイデアと、生成される補完画像のクオリティが話題になった。素材の量が質に変化する、まさにWeb時代に適したアプローチである。 本エントリでは同様の手法を用いて、失われた色を取り戻すカラリゼーション(colorization)について紹介したい。カラリゼーションとはコンピュータを用いたモノクロ画像
統計をグラフにあらわそう（種類と特徴）｜なるほど統計学園
統計は、データを集めて集計しただけでは、単なる数字の集まりであり、そこから何が読み取れるか必ずしも明らかではありません。 統計を作成するときは、必ず、「○○について知りたい！」という目的があるはずですから、得られた結果を、その目的に合わせて上手に使うことが重要です。グラフは、結果を視覚的に表す便利な道具であり、グラフをうまく使うことによって、自分の考えていることを相手に的確に伝えることができます。 グラフにはいくつかの種類があり、それぞれ、得手・不得手があります。自分が伝えたい目的に応じて、適切なグラフを使うことにより、説明力もぐっと高まります。ここでは、そういったグラフの種類やそれぞれの用途、注意点について説明します。 グラフの種類 棒グラフ：棒の高さで、量の大小を比較する。 折れ線グラフ：量が増えているか減っているか、変化の方向をみる。 円グラフ：全体の中での構成比をみる。 帯グラフ：
車のどの窓を開けたら良いのか気になって調べてみたのですがいまいち良い答えにたどり着けませんでした。そこでオープンソースソフトウェア（OSS）を用いて車内の換気効率について計算し解析してみました。 最初に結論 60km/hで走るヴィッツの窓は「前2つは全開、後ろは片方が全開、もう片方は半分くらい」で開けると最適に換気が行われる。 環境 OS : Ubuntu 16.04 LTS モデリング : SALOME-MECA-8.3.0 流体計算 : OpenFOAM-v1712 ポストプロセス : ParaView-5.4.0 (OpenFOAMv1712同梱) データ処理 : Jupyter lab, pandas 前提条件 60km/hで走るTOYOTAのヴィッツを想定します。3Dモデルはarchibaseplanet.comからお借りしました。 このモデルを使用して窓を開けたヴィッツの外と中
IoTやAIといったテクノロジーの進歩とともに、最近では、これまでハードウェアに触れてこなかったソフトウェア・エンジニアもFPGAを知る必要がある……、としばし論じられるようになってきた。そうした現状を踏まえ、この連載では、なぜソフトウェア・エンジニアがFPGAを学ぶ必要があるのか、FPGAとは何か、またその基本的な仕組みや構造を3回に分けて紹介する。 なぜソフトウェアのエンジニアがFPGAを学ぶ必要があるのか? ソフトウェア・エンジニアがいまからFPGAを学ぶ必要性について定量的に論じることは難しい。FPGAの設計手法やコンパイラ(※1)は日々進歩しており、既存のソフトウェア(※2)をそのままFPGA用にコンパイルできるケースも増えてきた。CPU(※3)とFPGAが搭載されたシステム上で、どのプログラムをどちらのハードウェアで実行するかを最適化する研究も以前から行われており、近い将来、多
Top
●サムネイル表示が可能な画像管理機能付ビューワ ●JPEG、JPEG2000、BMP、PNG、GIF、TIFF、TARGA、PCXに対応 ●Susie プラグインに対応 ● フォルダ構造を無視した撮影時刻に沿ったビュー ●サムネイル一つ一つを自由な位置・大きさ・傾きで配置可能 ●フォルダ毎に区切られたファイル名順のビュー ●画像の色調と構図の類似、撮影時刻、閲覧回数、評価、画素数、ファイルサイズ、アスペクト比、フォーマットなどの順でソート可能 ●EXIF 情報の表示が可能 ●高速検索と簡単キーワード入力 ●キーワード、タイトル、ファイル名、フォルダ名からの検索 ●JPEG コメントマーカとキーワードの相互変換 ●付箋機能 ●カレンダーからの検索 ●類似(重複)画像縦覧ツール ●自動スライドビュー ●12種類のトランジションエフェクト ●先読みによる高速表示 ●サムネイルの多段ステージ先読
大学で学ぶ「統計学」の，入門用の講義ノートPDF。データ分析や確率統計の基礎 - 主に言語とシステム開発に関して
講義ノートの目次へ 統計学の基礎を学ぶための講義ノートPDF。 大学の入門レベルの統計学（データ分析や確率論の基礎）を，独学でマスターできるオンライン教科書や講義資料。 データがあふれる時代なので，データの扱い方を身につけよう。 たくさんのデータを扱うときには，自然と統計学が必要になる。 データの特徴を見抜いたり，部分的な情報から全体を推測したり，仮説を立てて検証したり。 初歩的な統計学の要点は… 平均や分散などの統計量・データの特徴量 正規分布や二項分布などの分布 標本を使った母集団の推定 検定による仮説の有意性の判断 回帰分析によるモデリング 中心極限定理・大数の法則などの数学的な理解 といったところ。 理論に加えてExcelやR言語も使いつつ，実際のデータ分析に応用する力をつけよう。 これがわかれば，数式をバリバリ使った「数理統計学」や「確率論」， 本格的な「確率統計・ベイズ統計」「
新規作成：2017年05月16日 最終更新：2017年05月16日 ここでは、時系列データを手にした際に、どのような手順で回帰分析をかけていけばいいのか、フローチャートを交えて解説します。 時系列データは特殊でして、普通の回帰分析を行うと、p値がおかしくなり、正しく検定ができなくなることがよくあります。これを見せかけの回帰と呼びます。 シミュレーションを通して、見せかけの回帰という現象を確認したうえで、それらに対応する手法としての単位根検定・共和分検定・一般化最小二乗法(GLS)の基本的な考え方とRでの実装方法について説明します。 ソースコードはまとめてこちらに置いてあります。 スポンサードリンク 目次 時系列データへの回帰分析フローチャート 単位根と見せかけの回帰 データチェック1 単位根検定とADF検定 解決策１ 差分系列への回帰分析 差分系列への回帰分析の問題点 データチェック２ 共
AutoML Tablesと他の機械学習モデルとのパフォーマンス比較をしてみた（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
以前よりGoogleではCloud AutoMLという"Learning to learn"フレームワークによる「人手完全不要の全自動機械学習モデリング＆API作成」サービスを展開してきていましたが、それらは画像認識や商品推薦はたまた自然言語処理がメインで、最もオーソドックスな構造化データに対する多変量モデリングは提供されていませんでした。 が、今年のCloud Nextにおいてついに多変量モデリング版であるAutoML Tablesのベータ版が公開されたということで、既に色々な方が「試してみた」系の記事を書かれているようです。 https://medium.com/@matsuda.minori/google-cloud-next-sf-19%E3%81%A7%E7%99%BA%E8%A1%A8%E3%81%95%E3%82%8C%E3%81%9Fauto-ml-tables%E3%82
PythonとElasticSearch、Kibanaを用いた太宰治小説の可視化 その2 - 文學ラボ@東京
（この文章は秋の文フリ用の原稿です。） Kibana 前章(http://boonlab.hatenablog.com/entry/2015/10/26/000958)では、ElasticSearchへの小説データのインポートを行った。 それでは、それらのデータをデータ可視化ツールであるKibanaを用いて可視化していきたい。 まずは、https://www.elastic.co/downloads/kibanaからkibanaをダウンロードし（2015/11時点ではKibana 4.1.2）、展開したディレクトリ内の bin/kibana を実行してみよう。その後、ブラウザでhttp://localhost:5601にアクセスすると以下のような画面が表示される。 ここで、"Index name or pattern"に"dazai-demo"（indexの作成先）と入力して、Create
Inside PostgreSQL Kernel アップタイム・テクノロジーズ 永安 悟史 Copyright 2014 Uptime Technologies, LLC. All rights reserved. 1 今日の目標 • RDBMSとはどのようなテクノロジーなのかを知る • その中で使われている理論について知る • PostgreSQLでどのように実装されているのかを知る • 今後の研究等においてPostgreSQLを題材とする場合に、と っかかりとなりそうなポイントを知る Copyright 2014 Uptime Technologies, LLC. All rights reserved. 2 自己紹介 • 略歴 – 1997年よりインターネットベンチャーにてネットサービス開発・運用に従事。 – 2004年より（株）ＮＴＴデータにて、並列分散データベース
Kodama's home 適宜, 加筆/修正しています. PowerShell, LaTeX/latex2html, Ruby, プログラミング, Linux での調べ方, Linux/UNIX, いろいろごっちゃ, このページの利用について 最近の文書 PowerShell の概要 PowerShell の文法 CSV の PowerShell への読み込み メールサーバ管理／サイト管理の調査 .forward で簡易着信通知 LaTeX で増減表に用いる曲った矢印 "the quick brown fox..." って何よ？ 文字の出現頻度を調べる. LaTeX 文書の編集に emacs のアウトライン モード を使う LaTeX で作成する PDF のフォント埋め込み LaTeX \section などで箇条書きのように字下げする方法 Linux ディスクキャッシュの開放 Linu
先日ですが、旧知の*1Grahamianさんのこんなツイートが話題になっていました。 データ分析をするときシンプルに重要なことは「生のデータを眺める」と「データの分布をグラフにする」ことなんじゃないかと思うんですよね。すぐにクロスとかファネルとかコホートとかやりたくなるんですけど、まずは目の前のデータがどんなものか頭にマッピングさせることが長期的に効いてくる感じ。— Grahamian📊データ分析と機械学習 (@grahamian2317) 2021年1月12日 何を当たり前のことを言っているんだと眉を顰める向きもあるかもしれませんが、これだけデータサイエンスやら機械学習（人工知能）やらが喧伝されている昨今においては、少なからぬ現場で「データはどこかのAPIからバルクでダウンロードしてくるor本番DBから転送してくるだけ」「やってきたデータは中身を見もせずにそのまま統計分析や機械学習など
あらゆるデータを可視化するTensorBoard徹底入門
TensorBoardの主要機能 折れ線グラフ 画像 音声 ヒストグラム 計算グラフ 次元削減のプロット TensorBoardの読み方 シンボルの意味 name scopeとnode グラフの色 Structure View Device View 計算時間・メモリ テンソルの次元数 Summary Operation scalar histogram image audio 可視化してみる ハイパーパラメータの探索 Embedding Visualization メタデータファイルの作り方 スプライト画像の作り方 ラベルによる色分け t-SNEとPCA まとめ TensorFlowの優れた機能として、TensorBoardによる充実した可視化環境が挙げられます。TensorBoardがあれば、ニューラルネットワークの学習が上手くいかないときに、俯瞰してネットワークを表示したり、様々なデ
GB37301.md 情報システム特別講義D 1時限目 イントロ - 川島先生(筑波大学) 2時限目 Inside PostgreSQL Kernel - 永安 悟史さん(アップタイム・テクノロジーズ) 3時限目 データストレージの諸々 - 星野 喬さん(サイボウズ・ラボ) 4時限目 並列データベースシステムの概念と原理 - 油井 誠さん(産総研) 5時限目 Googleクラウドが実現する大規模並列クエリサービス - 佐藤 一憲さん(Google) 6時限目 分散処理基板Hadoop/MapReduce - 小沢 健史さん(NTT研) 7時限目 Treasure Data Technologies - 中川 真宏さん(Treasure Data) 8時限目 Retrospection/Prospection / Norikra in Action - 田籠 聡さん(LINE株式会社) 9時
ずっとXperiaを使ってきたけどHuawei P20 Proに乗り換えてしまったのん… - さわっても熱くない花火
近頃忙しくて、ガジェットを「ハック」して遊ぶことが減ってきたyanoshiです。貧乏暇なしとはこの事かー 「そろそろガジェット好きを名乗れないんじゃないかな」と心の隅で心配していたりします。 気を取り直してちょっとガジェットの話。 古くから付き合いのある方はご存知だと思いますが、私はソニー好きでして。 初めてのガラケーもW44Sでしたし、初めてのスマートフォンもXperia X10でした。初めて買ったDVDレコーダーはスゴ録でしたし、実家に居るときに買った液晶テレビはBRAVIAでした。 デジタルな物においてソニーへの依存度がそれなりに高い日常を過ごしています。 しかしながらこの度、メインスマートフォンをXperia XZからHuawei P20 Proに乗り換えてしまいました。 久しぶりにメイン機種を非Xperiaにしました— yanoshi (@yanoshi) 2018年6月24日
相変わらず、ネガフィルムスキャンに関するエントリへのアクセスが多いです。 2008年4月7日に、"ネガフィルムスキャン入門 改訂版"をUPしたのですが、その後もアクセスが増え続け、今ではこのPhotologの中では最もアクセス数の多いエントリとなっています。 下に直近3ヶ月のアクセス解析抜粋を載せてみました。 http://xylocopal2.exblog.jp/8604575/ というのが該当URLなのですが、ドキュメントルートを除けばダントツのアクセス数です。 私のブログを訪れてくれる人の中、20人に1人が"ネガフィルムスキャン入門 改訂版"にアクセスしていることになります。 これだけアクセス数があるということは、カラーネガスキャンを楽しみたい、しかし、なかなか上手くトーン再現ができない、と悩んでいる人が大勢いることを物語っているように思います。 銀塩写真を取り巻く状況が崩壊寸前であ
結論 コードメトリクスの一つ、保守容易性指数と、バグ発生率とに、相関の兆候を見つけた まだ下調べの段階だけど、大規模調査および統計的検定の結果、 保守容易性指数とバグ発生率との相関が認められたら、 保守容易性指数をKPIにすることで、数値的品質評価・管理ができるかもしれない バグをまき散らすけど手が早いエンジニアの影に隠れて、 丁寧にモノづくりをしているけどいまいち評価されていないエンジニアに、 日の目をあてられるかもしれない。 バグ対処コストと保守容易性とを掛け合わせることで、 技術的負債を金銭的評価ができる可能性がある 金銭的に評価できれば、返済に関して、ビジネスサイドと有意義な議論ができる可能性がある はじめに 僕ら(@gakuri、@ahera、@yukke7624)は、とあるSI会社で横断的にプロジェクト支援をしている。 マネジメント状況の監査、支援、テコ入れから、技術的アドバイ
Modern C++チャレンジ
数学の問題から、文字列処理、日付と時刻、並行処理、暗号、ネットワークまで、多岐にわたる100の問題を集め、その解法をC++で示します。ポピュラーで古典的な数学の問題をはじめ、C++17でのファイル操作やC++20での実行時間の計測、デザインパターン、テキスト翻訳、画像から顔検出など、身近で興味のわく魅力的な問題が多数収録されています。あらゆるレベルのC++プログラマはもちろん、これからC++を始める人にとっても、C++で何ができるのか、どのように書くのかを実際に手を動かしながら学び、プログラミングスキルをレベルアップすることができます。最新のC++17対応。 日本語版まえがき まえがき 1章 数学の問題 問題 問題1 3または5で割り切れる正の整数の総和 問題2 最大公約数 問題3 最小公倍数 問題4 与えられた正の整数より小さい最大の素数 問題5 セクシー素数 問題6 過剰数 問題7 友
最近色んな機能を作る時に、簡単に数値を集計してみて様子を見るということがよくあった。そこで今回はその時に使ったクエリの紹介。 【2016/10/18 10:28追記】 社内でHOUR関数とかGROUP BYにalias名を使ったらもっと簡単にできるよと言われたので、それぞれ追記してみます。 日間の作成数の集計 1日このアクションが何回行われたかとかが集計できる。date_columnにはcreatedみたいなカラムを指定し、table_nameには集計したいテーブルを入れる。他にもCOUNTの仕方を工夫したらいろいろ集計できそう。 SELECT DATE(date_column) as date, COUNT(*) as count FROM table_name GROUP BY DATE(date_column); 【改善版】 SELECT DATE(date_column) as d
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！ 2020-06-25-1 [Programming][Python][BookReview] データサイエンティストに俺はなる！！ Python 初学者のタツヲです。 いまどきは高校の授業（情報II）でデータサイエンスをやるのですね。 文部科学省から教員用の資料が公開されてるのを知りました。 「情報II」を取った高校生がどんなことを学んでいるのかを知るために、さっそく調査です！ 高等学校情報科「情報Ⅱ」教員研修用教材(本編)：文部科学省 第3章がデータサイエンスの話題ですので、そこを読みました。 で、読んでみた感想ですが、内容が本格的すぎて震える。 大学のデータサイエンス演習のテキストじゃないのかよ、これ。 流し読みでは一部ついていけないところも（真面目に読む必要あり）。 高校生のうちからこの辺をマスターできれば将来安泰でしょ
［CEDEC 2015］テクスチャの最適品質をソフトで分析？ 「グランツーリスモ」のポリフォニー・デジタルが公開した分析ツールの威力とは - 4Gamer.net
［CEDEC 2015］テクスチャの最適品質をソフトで分析？ 「グランツーリスモ」のポリフォニー・デジタルが公開した分析ツールの威力とは ライター：西川善司 ポリフォニー・デジタルといえば，レーシングゲームのトップブランドであるグランツーリスモシリーズの開発を手がけるゲームスタジオとして名高い存在だ。筆者の場合，初代PlayStation時代の隠れた名作「オメガブースト」にも相当な思い入れがあるのだが，知りませんかそうですか……。 それはさておき，このポリフォニー・デジタルが，CEDEC 2015で「フーリエ変換を用いたテクスチャ有効解像度推定とその応用」と題した，かなりユニークな技術セッションを行っていた。 このセッション，ポリフォニー・デジタルが手がけたゲームには直接関係しないのだが，ゲーム開発だけでなく，映像や写真の品質という観点でも興味深い内容であったので，その概要をレポートしたい
SQL Server / SQL Database パフォーマンスチューニングのための基礎知識 - Qiita
本投稿について 本投稿は、Microsoft Learn で公開されている、「SQL Server でクエリのパフォーマンスを最適化する 」を確認していた際に、いくつかの情報を補足しながら日本語化したものとなります。 SQL Server / Azure SQL Database のパフォーマンスチューニングには様々な方法があり、「このケースであればこの方法」ということを断定することは難しいのではないでしょうか。 そのため、様々なケースで利用することが可能な、チューニング方法の基礎知識 (一般論) はとても重要です。 本投稿で、確認を行った「SQL Server でクエリのパフォーマンスを最適化する 」は、チューニングに対しての体系的な考え方を無償で学ぶのには適しているコンテンツではないかと思いました。 チューニング系の講義は様々なノウハウが絡みますので有償が多く、ノウハウがない状態で体系
R は統計解析向けのプログラミング言語で、お手軽にデータ分析を行うことができます。そして、R での分析結果は、Shiny というR のパッケージを使うことで、簡単にWeb アプリ化することができます。今回はR プログラムを簡単にWeb アプリ化するShiny パッケージと、Web アプリとして公開することができるShiny Server について紹介します。 What's Shiny? Shiny とはR のIDE である RStudio の開発元のRStudio Inc. が開発しているプロダクトです。Shiny を使うとR のプログラムを簡単にWeb アプリにすることができます。 Shiny で作成したWeb アプリはブラウザからのユーザー入力などをトリガーに、インタラクティブにR のプログラムを即時実行し、その実行結果を動的に確認できます。見た目に関しては、Shiny が内部的に T
【まとめ】実務家が語るPythonのマーケティング活用例4選
こんにちは、マーケターのムロヤ（@rmuroya）です。 AI、機械学習、ディープラーニングの分野で注目を集めるプログラミング言語、Python。 私はこのPythonを絶賛勉強中なのですが、当初はマーケの実務で活かせるイメージがあまり湧いていませんでした。しかし「実務で超使えるじゃん」と知った今は、もっと早く習得しておけばよかったと軽く後悔しています。 (JavaScriptのマーケティング活用の重要度も高まっていると思います) このブログでは、話題のPythonについて、マーケティングの実務家目線で、どんな風にPythonをマーケティングの「実務」に活かせそうか、まとめてみました。 Pythonで何ができるのか？それが明確になった。自分の時間を投資しても、おつりがきそう。やるしかない。/【まとめ】話題のPythonを、どうマーケティングで活用できるか https://t.co/eMvm
はじめに こんにちは。estieでデータサイエンスをしている齊藤です。これはestie夏のブログ祭り8日目の記事です。 8/10はヤドンの日なので、ヤドン好きな私が記事を書いています。 ヤドンと私 PLATEAUとは PLATEAUとは、国交省のオープンデータプロジェクトです。雑に説明すると、「日本中の都市をまるごと3Dデータとして整備・公開・活用しよう！」というプロジェクトです。 基本的にはビルや道路の3Dデータなので、UnityやVRに持っていって遊ぶような使い方がまず想定され、実際にさまざまな活用がされています。 3D都市モデル PLATEAU LT 01 - connpass 3D都市モデル PLATEAU LT 02 - connpass 一方で私はestieでビルの賃料を予測したり、補正したりする業務に携わってきました。そのため、ビルの属性（竣工年は？造りは？価格は？）といった
みどりぼんでカウントデータの過分散対策のために使われると書かれている負の二項分布ですが、Wikipediaの説明を読んでもよく分かりません。 そこでおススメなのが、このスライドです。 負の二項分布について from Hiroshi Shimizu ようするに、負の二項分布は、 がガンマ分布に従うようなポアソン分布だと思えばだいたい OK みたいです。 今日はこれを可視化してみます。 負の二項分布(Negative Binomial Distribution) 負の二項分布はパラメータを 2つ持ちます。成功回数を表す と成功確率を表す です。 統計言語 R には負の二項分布に従う乱数を生成する関数 rnbinom() があり、これらのパラメータはそれぞれ引数 size と prob に対応しています。 したがって、, の負の二項分布は次のようにして描画できます。 negative_binom
オーム社開発部の方とのやり取り:Geekなぺーじ
先日、本ブログにて「退職報告及び自己紹介」という記事を書いたところ、マスタリングTCP/IP RTP編を監訳したときのご担当の方からメールを頂きました。 実はこのブログの読者だったそうでが、自己紹介文章を読んでびっくりしたとの事でした。 今回のやり取りに関して書く了承を頂けたので、書いてみました。 何度かメールをやり取りしていましたが、今度おじゃまして色々お話を聞かせて頂くお願いをしました。 今回は、お時間を頂戴してフリーな打ち合わせという形でお邪魔させて頂く予定です。 後日、先方の了解を得られた範囲内で公開したいと思っていますが、まだどうなるかは未定です。 RTP本の監訳をしているときに、昔の技術出版業界と最近の技術出版業界というような話や、出版の流れなどを色々教えていただけて面白かった記憶がありました。 それも、もう5年以上前になるのですが、当時とは多少編集方法が変わってきているようで
手で読む統計 - 書評 - STATISTICS HACKS(和訳) : 404 Blog Not Found
2008年01月26日02:30 カテゴリ書評/画評/品評Math 手で読む統計 - 書評 - STATISTICS HACKS(和訳) オライリー・ジャパンの矢野様より献本御礼。 STATISTICS HACKS Bruce Frey 鴨澤眞夫監訳 / 西沢直木訳 [原著:STATISTICS HACKS] これは面白くて使える。 ただし、競争も激しい分野でもある。 本書、「STATISTICS HACKS」は、統計をハック、すなわち実践を通して学ぶ本。「クラック」の意味で流通している「ハック」を統計に応用したものに関しては、すでに「統計でウソをつく法」というロングセラーがあるのでそちらを参照。 目次 - oreilly.co.jp -- Online Catalog: Statistics Hacksより クレジット はじめに 統計の基本 秘密を盗め 2つの数字で世界を記述 オッズの計
データを本格的に解析する前におこなっている「データの特徴を把握する作業」のコマンド紹介です。内容はデータの作成、ファイルの読み込み、データ構造、要約、分散、ヒストグラム、インタラクティブな散布図、データを作業フォルダにcsvで保存するコマンドです。 実行コマンドはR version 3.2.2で確認しています。 実行コマンド 詳細はコメント、コマンドのヘルプを確認してください。 [code language=”R”] ###データ例の作成##### n 出力結果 ・ヒストグラムで分布の確認 ・インタラクティブな散布図 快適な閲覧環境保持のため画像にしています。実際のコマンドではインタラクティブな散布図が出力られます。 Rで解析：インタラクティブな散布図作成！「pairsD3」パッケージ https://www.karada-good.net/analyticsr/r-77/を参照 少しでも
リコー、高級感が増した「R8」
撮像素子はR7の1/2.5型有効815万画素から1/2.3型有効1,000万画素になった。最大記録解像度は3,648×2,736ピクセル。また、「GR DIGITAL II」や「Caplio GX100」で採用しているスクエアモード(アスペクト比1:1)での撮影が可能になった。1:1では700万画素(2,736×2,736ピクセル)での記録となる。画像処理エンジンは「スムースイメージングエンジンIII」をR7から引き継いだ。従来機種で見られたISO感度の違いによる色ズレを低減しているという。最高感度はISO1600。顔検出機能を備え、人物の顔に最適なピント、露出、ホワイトバランスで撮影できる。CCDシフト式手ブレ補正機構も搭載する。動画は、最大640×480ピクセル、30fpsでのAVI(Motion JPEG)記録。 レンズは35mm判換算28～200mm、F3.3～5.2の光学7.1倍
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
2009/10/02 グーグルがリアルタイム検索で、また一歩Twitterに詰め寄ったようだ。2009年10月1日、同社は9つの検索オプションを公開した。検索時点から1時間以内のコンテンツだけに絞り込むフィルタや、買い物関連情報を優先するフィルタ、書籍・ブログ・ニュースに絞り込むフィルタ、自分の過去のページ訪問履歴から、過去に訪問したページに絞り込んだり、逆に未訪問のページに絞り込むフィルタなどを利用できる。 1つの注目ポイントはリアルタイム検索だろう。 これまで、5月に導入した検索オプションには時系列関連のオプションとして、 「Recent results」（最近の結果） 「Past 24 hours」（24時間以内） 「Past week」（1週間以内） 「Past year」（1年以内） が選べたが、これに加えて、 「Past hour」（1時間以内） 「Specific date
なかけんの数学ノート
テキスト中学1年正の数と負の数正負の数⚫【導入】気温と負の数⚪【基本】符号のついた数⚪【基本】正負の数と大小⚪【基本】絶対値と数と大小正負の数の加法と減法⚫【導入】気温と負の数の引き算⚪【基本】正負の数の加法⚪【基本】正負の数の加法の性質⚪【基本】正負の数の減法⚪【基本】正負の数の減法と加法の関係⚪【基本】正負の数の加法と減法の混じった計算🟡【標準】正負の数の加法と減法の混じった計算正負の数の乗法と除法⚪【基本】正負の数の乗法（規則性から考える）⚪【基本】正負の数の乗法（移動で考える）⚪【基本】正負の数の乗法の性質⚪【基本】正負の数の累乗⚪【基本】正負の数の除法⚪【基本】正負の数の除法と乗法の関係正負の数の四則演算まとめ⚪【基本】正負の数の四則の混じった計算⚪【基本】正負の数と分配法則⚪【基本】数の範囲と四則演算（有理数まで）🟡【標準】正負の数と分配法則🔵【応用】計算結果と符号文字と
Linuxには多くのフリーソフトがある。無料であっても、Windows向け有料ソフトに劣らない機能を持つものもある。厳選したLinuxフリーソフトを100本紹介する。 1 GIMP 商用レベルの多機能な画像編集ソフト 画像の作成や編集、フォトレタッチなどに役立つ、多彩な機能を持つ画像編集アプリです（図1）。レイヤー機能やブラシエディタ、ヒストグラム、ベジェ曲線を使った描画ができるパスツール、さまざまな加工ができるフィルター群など、商用ソフトレベルの充実した機能を持つのが特徴です。
2009/04/26 追記 ================ "Xylocopal's Photolog 2009/04/26 ネガフィルムスキャン入門 改訂版 2009"をUPしました。 上記改訂版2009の方が、より簡単に好結果を得ることができると思います。 以下は旧コンテンツです。 2005年10月29日に記した"ネガフィルムスキャン入門"ですが、3年近く経った現在、スキャナドライバのバージョンアップなどにより少々内容が古くなってしまいました。 改訂しないとまずいなあ、と思いながら放置を続けてきましたが、予想外に需要が多いようなので、改訂版を書きました。 本来は全面改訂版を書くべきなのですが、今回は変更点だけの改訂にとどめています。 何しろヘタレの根性なしですから、全面改定はあまりにもしんどいです。 どうか御容赦ください。＾＾ 基本的な考え方/方法は前回と同じです。 ラチチュードの広
Step 3：データを可視化しよう！ データ可視化の重要性 ggplot2でデータを眺めよう geom_histogram ヒストグラム geom_density 密度分布 geom_point 散布図 aes(color) 色を表現する facet_wrap, facet_grid グラフを分ける geom_boxplot 箱ヒゲ theme_*** 全体の雰囲気を変える color（aesの外） 線を特定の色にする fill（aesの外） 特定の色で塗りつぶす color（aesの中） 線を値に応じた色にする coord_cartesian 軸の範囲を変える labs タイトルや軸ラベルを書く／書き換える theme 文字の大きさなどを細かく設定 ggsave() 図をファイルとして保存 その他のグラフの描き方を知りたい方は ggplot2公式サイト Jaehyun Songさんの解説
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベイズ統計 - HELLO CYBERNETICS
「Python実践データ分析100本ノック」を写経してみた - Qiita
車内が臭いときにどの窓を開けたらいいのか - ただし空気抵抗は無視しないものとする
ソフトウェア・エンジニアのためのFPGA入門(1) どうしていまFPGAなのか、そしてFPGAとは何か?
時系列データへの回帰分析 | Logics of Blue
Inside PostgreSQL Kernel アップタイム・テクノロジーズ 永安 悟史
Kodama's tips page
データ分析をする前に、まず生データを見てみよう - 渋谷駅前で働くデータサイエンティストのブログ
情報システム特別講義D #GB37301
ネガフィルムスキャン入門 改訂版 2009 : Xylocopal's Photolog
もしかしたらコードメトリクスこそが、僕たちを救ってくれるかもしれない。 - Qiita
MySQLを使って簡易的にサービスの数値を集計する - $shibayu36->blog;
Shiny を使ってR言語のプログラムをWeb アプリ化する - Tech-Sketch
PLATEAUから街の構造を見る - estie inside blog
可視化で理解する「負の二項分布」 - ほくそ笑む
Rで解析：データを解析する前におこなっている作業の紹介
グーグルとTwitterはリアルタイム検索で激突するか － ＠IT
Linuxに商用レベルの画像編集フリーソフト、動画編集ソフトも豊富
ネガフィルムスキャン入門 改訂版 | Xylocopal's Photolog
Rを用いた データ解析の基礎と応用2022