先日開催された「基礎からのベイズ統計学入門」輪読会に参加し、そこでLTをしてきました。スライドが未完成な状態で乗り込んでしまった反省がありますが、スライドの内容について、補足を含めてこの場で紹介したいと思います。 Stanコードを書くならRStudioで決まり！というような内容です。知っている人には当たり前な内容ですが、知らない人もいるかな、という感じで発表させていただきました。 RStudio内で.stanファイルを開く RStudioとStanの開発チームは仲がいいのか、結構コミュニケーションをとっているっぽい。そのせいか、RStudioはStanをR上で実行する {rstan}パッケージやstanファイルに対する扱いが優遇されている、気がする。.stanファイルをRStudioで開いた際に、以下の機能が有効になります。 シンタックスハイライト コードスニペット 入力補完 構文チェック

この記事は、R Advent Calendar 2015 15日目の記事です。 タワレコの洋楽コーナーに行くと 「Pitchforkで○○点獲得！」 のようなポップが付けられているのをちらほら見かけます。 これは、Pitchforkという音楽メディアが10点満点でアルバムを評価する点数です。インディー系の音楽レビューに定評があり、日本であまり知られていないアーティストのアルバムを売り出す時は、箔を付けるためにこの点数を持ち出したりします。 新譜で10点満点を取るアルバムは1年に1枚あるかないかです。ということで、10点満点取るのがすごいのは分かります。 でも、「Pitchforkで8.3点獲得！」とか言われた時に、それがどれくらいすごいのかピンときません。ということで、点数の分布とかを調べてみたいと思います。 Pitchforkのデータをスクレイピング Pitchforkは偉大なメディアだ

【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい

R を使っていると、組み込み型の data.frame と大規模データ用パッケージである data.table の差異で思わずはまることがあるので使い方をまとめる。どちらか一方しか使わないようにすれば 差異を気にする必要はないのかも知れないが、、。 基本的には データ操作用パッケージ dplyr が data.frame と data.table 両方に対して同じように使えるので、できるだけ dplyr を使って操作するのがよい。 ある程度 複雑な操作であれば最初から dplyr を使うと思うが、列選択, 行選択, 代入など 比較的シンプルな操作はつい 通常の書式で書いてしまう (そしてはまる、、)。また、列名を文字列に入れて処理するなど、dplyr 0.2以前では(シンプルには)書けない処理もあった。 dplyr 0.3でこのあたりの処理が素直に書けるようになっているので、その方法と 通

R Advent Calendar 2015の二日目です。 昨日は表形式のデータをR上で扱いやすく、さらに可視化やモデリングの関数との相性が良いtidy形式なデータフレームについての話をしました。昨日が表形式なら、今日はRでのデータ形式として主要なもう一つの形式、リスト形式のオブジェクトを扱ってみたいと思います。 私はGitHubが（進捗的な意味で）好きで、見つけたR関係のパッケージには割りと星をつけています（2015-12-01の時点で725のリポジトリ数）。GitHubには既存のRパッケージでなく、これからCRANに登録されるであろう原石のようなパッケージがあったりします。そういうものを見つけてはストーキングの対象に加えているわけです。 自分がスターをつけたリポジトリの情報は、以下のようなURLでGitHubのAPIを叩けば得ることができます。 https://api.github.c

この記事はMath Advent Calendar 2015 2日目の記事です。 前回の記事は515hikaruさんのMath Advent Calendar 2015 一日目 - 515 ひかるのブログ 日常編です。 とあることから、30歳にして数学を学び始めました。いまは毎日楽しく数学の書籍を読んだり方程式を解いたりしています。 本記事では、僕と同じようにもう一度数学を学びたいなと思っている人向けに、数学の魅力を再発見する方法を紹介します。 30歳にして数学を学び始めたきっかけ きっかけはプログラマのための数学勉強会です。 とあるご縁でこの勉強会で発表することになり、そこから数学を学び直しました。 内容については、以下の記事を参照ください。 プログラマのための数学勉強会@福岡に登壇してきました プログラマのための数学勉強会@福岡#2に登壇してきました この数学勉強会で数学を勉強すること

【2020-01-05 追記 ココカラ】 この本のこのバージョンに言及・紹介してくださる最近の記事などをたまに拝見して、嬉しいのですが、流石にv0.4 は古いです。。。 v1.3 に対応したバージョンが BOOTH で入手可能なのでよろしければそちらもどうぞ。 erex.booth.pm 【2020-01-05 追記 ココマデ】 Julia Advent Calendar 2015 の初日の記事です。去年に引き続き今年も開催されました。 一昨年からコミケで頒布しているJulia 入門書の最新版を公開しました。 昨年の冬コミに頒布したものを、v0.4.1 について書き直したものです。 Dropbox - JuliaBook-20151201.pdf - Simplify your life ライセンスは CreativeCommons Attribution-ShareAlike 4.0 I

R Advent Calendar 2015の第一日目です。 今日はタイトルの通り、{dplyr}と{tidyr}パッケージを使ったデータの整形と集計処理について、実際のデータを交えながら紹介したいと思います（タイトルは流行りの本からとってきました。オマージュです）。 {dplyr}と{tidyr}パッケージ、関数の使い方を紹介した記事はあっても、実際のデータを扱った記事を検索しても、日本語の記事がほとんど見つからなかったので、tidyなデータ形式について普及させるために記事を書こうというところです。 一応、自分が集められたtidyデータについての記事へのリンクを貼っておきます。 R dplyr, tidyr でのグルーピング/集約/変換処理まとめ - StatsFragments メモ：dplyr::mutate()の中でstr_split()したいと思ったとき、使うのはtidyr::s

Mathematicaクックブックposted with カエレバSal Mangano オライリージャパン 2011-04-25 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 Wolfram Alphaの問題点 Sympyとは？ ブラウザでSympyを使う JupyterでSymPyを使う インストール Sympyの数式処理の例題 多項式展開 方程式をある変数で解く 連立方程式を解く 数値を代入する 微分 積分 テイラー展開 極限 その他 Sympyを使ったエンジニアリング例題 三次元の回転行列を計算する SymPyによるCコードの出力 SymPyはJupyterと一緒に使うとかなり便利 参考資料 MyEnigma Supporters Wolfram Alphaの問題点 以前、Wolfram Alphaがすごいという記事を書きましたが、 myenigma.h

まずはおめでとう。7億は人生を買えるお金で、あなたは賢く立ち回れば一生労働しなくて良い身分になった。 しかし、今までは無縁だった危険と隣り合わせになった事も自覚しなければならない。 まず、当選した事を10年は隠し続けなくてはならない。誰にも言ってはいけない。例え親兄弟恋人だろうが例外は無い。 身近な人がお金に困っていても、絶対に出してはいけない。例え親や嫁や旦那が借金取りに追われようが出してはいけない。（債務整理が得意な弁護士を紹介してあげるのは良い） この2つを破ると、あなたは破産への道を歩み出す事になる。 そして使い方について。 まず奨学金だが、月々普通に返していけば良い。奨学金の利子は低額なので、借りている方が得なのだ。 真っ先に不動産に手を出すのは愚策。まずは今の所の1.5倍くらいの家賃の家を探せ。都内なら2倍でも良い。 そして自分の中で心地よい住まいのイメージを固めてから、ローン

実家にて荷物を整理していたところ、俺が小学2年生の頃に書いた伝説の本『おこるとどれだけそんをするのか？』発掘されました。 この本の存在については、大人になってからも何度か見返していたので、内容も把握していたのですが、デジタルデータとしてまだ保存していなかったので、今回無事にデジタルデータとして保存しました。 何度読み返してみても爆笑必死で、それでいて、とても深みがあり、俺という人間の根源が溢れんばかりに滲み出ています。 こんなヤバいものを大切に保管してくれていたオカンに感謝しつつ、みなさま宜しければご堪能下さい。 もくじ 第一部 おこるときどうおこるか 1〜2 第二部 こういうかんちがいはしないでほしい 3〜4 第三部 おこるとどれだけそんするか 5〜7 第四部 ふくしゅう 8〜9 第一部「おこるときどうおこるか」 おこると言うことは、そんである。 おとなは、すぐ、ちょっとしたことでおこる

11月21日 渋谷 dots. で開催された「第5回 プログラマのための数学勉強会」のレポート記事です！今回は初の土曜日開催で、会場の規模も開催時間も拡大してお送りすることができました。 当日の朝 とある記事 を見かけて知ったのですが、なんとこの日付を並べた数字は： と、67 の 4乗 になっているのです！ 67 は素数であるだけでなく 幸運数 の一つでもあり、さらに驚くことに左の数字を2桁ごとに分解して足すと： となっているのです…！こんな珍しい日に数学勉強会を開催できたことはまさしく幸運でした。 それでは、早速発表内容を振り返っていきましょう！ 1. 「内積が見えると統計学も見える」@kenmatsu4 「ベクトルの内積」の幾何的な意味を踏まえ、平均・分散・偏差などを内積を使って表現しなおすことで統計量が視覚的にイメージできるようになります。授業で習う「統計学」は表やグラフが出てくるば

【新宿の穴場カフェまとめ】新宿って色んなお店がたくさんあってどこがいいのか悩んだりしませんか？「新宿にしかないお店でまったりしたい。」「隠れ場的カフェが好きだけど、前情報なしに入るのは緊張する…」そんな方のためにおすすめのカフェをまとめてみました！新宿って色んなお店がたくさんあってどこがいいのか悩んだりしませんか？ 「新宿にしかないお店でまったりしたい。」 「隠れ場的カフェが好きだけど、前情報なしに入るのは緊張する…」 そんな方のために、絶対に間違いない、雰囲気の良いおすすめ穴場カフェをまとめてみました！ 1. live cafe G 引用：http://www.granbellhotel.jp/shinjuku/restaurant/cafe/img/common/cafe_img_002.jpg 新宿東口にあるホテル『グランベルホテル 』の1Fにあるカフェです。 ゆったりとして

高次元データの大域的な性質に着目した分類、解析の手法にPersistent Homologyという方法があります。 またその手法を実装したRのパッケージ(CRAN phom package)があったので簡単に紹介いたします。その他の色々な言語で使えるライブラリについても最後に紹介いたします。 ホモロジーについて ホモロジーとはあまり厳密でない言い方をすると微小な変形によっては変わることのないものの形状を特徴づけるような量で、一般には群の形で記述されます。群の係数としては整数や複素数などの数だけでなく、関数もとり得ます。しかしデータ解析の分野においては実係数のホモロジー群のみが対象とされる場合が多いようです。 球面、あるいはトーラス(ドーナツ型の図形)の表面は２次元ですが境目を持ちません。しかしながら全体としてみるとトーラスには穴が開いていて、球面には穴がありません。この穴に相当するものの有

pandas は可視化のための API を提供しており、折れ線グラフ、棒グラフといった基本的なプロットを簡易な API で利用することができる。一般的な使い方は公式ドキュメントに記載がある。 Visualization — pandas 0.17.1 documentation これらの機能は matplotlib に対する 薄い wrapper によって提供されている。ここでは pandas 側で一処理を加えることによって、ドキュメントに記載されているプロットより少し凝った出力を得る方法を書きたい。 補足 サンプルデータに対する見せ方として不適切なものがあるが、プロットの例ということでご容赦ください。 パッケージのインポート import matplotlib.pyplot as plt plt.style.use('ggplot') import matplotlib as mpl m

「エルミート行列はユニタリ行列によって対角化される」。 あるいは実数の範囲で「実対称行列は直交行列によって対角化される」。 ・・・いったい何の宇宙語ですか？ と思えるようなこの１フレーズには、 実は線形代数の重要な帰結が盛り込まれているのです。 ぶっちゃけ、この１フレーズがわからないと、量子力学が理解できません。 何とかこの謎のフレーズを幾何学的な直観で理解できないものだろうか。。。 あれこれ考えた末、なんとなく形になって見えてきたので、ここに書きとめておきます。 以下を読む前に、前記事に目を通しておくとよいでしょう。 * 固有ベクトルが直交するのは >> [id:rikunora:20090307] 話を単純化して、２ｘ２の実数行列に限定しましょう。 まず最初に、平面全体を１本の直線上に、ぺったんこに押しつぶす変換というものを考えます。 このぺったんこ変換を行列で書くと、どうなるか。 こ

Pythonでマルコフ連鎖モンテカルロ法(MCMC)を実行できるライブラリ、PyMC3のチュートリアルの訳を書いてみました。タイトルにあるように、原文をそのままではなく意訳を超えた「超訳」です 原文のURL http://pymc-devs.github.io/pymc3/getting_started/ イントロダクション（だいぶ省略） 確率的プログラミング(Probabilistic programming : PP)は柔軟なベイズ統計モデルをプログラムで行うことを可能にします。 PyMC3は新しいオープンソースの確率プログラミングフレームワークで、No-U-Turn Sampler (NUTS; Hoffman, 2014)や、ハミルトニアンモンテカルロ法 (HMC; Duane, 1987)のパラメーターの自己チューニングなど、次世代のマルコフ連鎖モンテカルロ法(MCMC)が使える

Deploy in days. Transform operations in hours. Investigate in minutes. Expose new hidden risk in seconds.