1. はじめに 近年の計量経済学と機械学習の融合の成果として CausalImpact パッケージが統計的因果推論の枠組みで用いられている。 Brodersen et al. (2015) が考案した causal impact フレームワークは, Rubin 流の因果推論である Difference in Differences (DID, DD) 推定法DIなどの考え方を踏まえて, ベイズ構造時系列モデルの特性を取り入れているのが特徴である。詳しくは、参考のブログ記事を参照。 2.野生イノシシへの豚熱感染による分布の減少 さて、ここで本題の統計的因果推論による検証 したいデータを紹介する。まずは下記のニュースを見てください。 2018年9月以降、各県で野生イノシシにおける豚熱の感染死亡個体が確認され、全国に拡大している。 豚熱というのは、以前は豚コレラと呼ばれていて、豚とイノシシにとっ

最近、pyenv を利用してpythonを使っているけど、 pyenv / pyenv-virtualenv の利用方法を毎回調べるのが大変だったので、メモ。 pyenv インストール for mac パッケージインストール

はじめに 今回はWord2Vecの発展としてDoc2Vecを勉強しました。 自然言語処理でよく求められるタスクとして「文書分類」や「文書のグルーピング(クラスタリング)」がありますが、それらを実施するには文書そのものの分散表現が必要となります。 Doc2Vecを用いればその分散表現を直接獲得することができます。 参考 Doc2Vecを理解するに当たって下記を参考にさせていただきました。 doc2vec(Paragraph Vector) のアルゴリズム Distributed Representations of Sentences and Documents (元論文) Doc2Vecの仕組みとgensimを使った文書類似度算出チュートリアル 自然言語処理技術の活用法　ーDoc2VecとDANを使って論文の質を予測してみた！ー Doc2Vecとは何か Doc2Vecは任意の長さの文章を固

SQLiteの環境構築 SQLiteをインストール 参考記事 https://sukkiri.jp/technologies/databases/sqlite/sqlite_install.html https://www.javadrive.jp/sqlite/install/index1.html コマンドラインツールを SQLite公式サイト からダウンロード ダウンロードファイルの配置 ダウンロードしたzipファイルを展開後、今回は「C:\pg\sqlite\sqlite-tools-win32-x86-3420000」といったディレクトリ構成にしてsqlite実行ファイルを格納 データベースとテーブルの作成 データベースの作成 コマンドプロンプトからcdコマンドでダウンロードしたファイルの階層へ行き、 sqlite3 データベース名(任意) を実行して、SQLiteにデータベース

Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

R の統計解析結果を AI に解説させる統計ソフト (ウェブアプリ) を作って無料公開しました プロンプトや実際のコード、AI のモデルによる違いなどの情報を載せてあります。 自己紹介 エミュイン合同会社 で開発に関わっています。 ふだんは臨床医です。この記事が、Qiitaへの初投稿になります。 最近、弊社より ブラウザだけで使える無料統計ソフト Reactive stat をリリースしました。 信頼性の高い R で統計解析し、その結果を AI が解説します！ その背景には、統計に苦労している医療者の助けになりたい、という気持ちがあります。 医療における統計の環境 学会発表や学術論文では統計を避けて通れない 医師は、臨床以外に、学術活動として、学会発表や学術論文の記述をすることも求められます。専門医などの資格取得には、論文発表の業績を要求されることが一般的です。看護師も、学会などで看護研究

はじめに 「クラウドを支えるこれからの暗号技術」のデジタル署名の説明へのツッコミtweetをしたところ、著者の方との遣り取りが始まったのですが…。 ※togetterまとめ「電子署名=『秘密鍵で暗号化』」という良くある誤解の話に経緯があります 認識の齟齬についてtwitterでどうこうするのは難しいですし、批判ばかりなのも建設的ではないので、「自分ならこう書くだろう」という文面の形でまとめてみました。 ※なお、電子署名を含めた公開鍵暗号全般に対する私の説明を2つの公開鍵暗号(公開鍵暗号の基礎知識)にまとめています。 署名の説明案 前提 「クラウドを支えるこれからの暗号技術」Web公開されているPDF、2018/3/11時点(最終更新2017/11/11の4.6節デジタル署名(p.50)を、書き換えるとしたら、という前提で文面を作っています。 ※そのため既存の文面の流用や、他の節を参照する記

はじめに Claudeモデルを効率的に使用する方法を深掘りする際、promptテンプレートを理解し、丁寧に設計することが重要です。この記事では、言語モデルの潜在能力を最大限に活用するための詳細なガイドとテクニックを紹介しており、正確な指示と構造化された入力を通じて、より正確で有用な出力を実現することを目指しています。 良いプロンプトテンプレート 以下のルールに従ってClaudeのプロンプトを丁寧に作成すれば、その大部分は既に完成していると言えます。 特に注意すべき点は以下の通りです： 左側には11のセクションがあり、右側にはそれぞれに対応する色分けされた例が示されています。 各セクションの順番が重要で、公式サイトでは「推奨される順序」とされていますが、大規模な文書においては、異なる配置で結果が変わることが実験で明らかになっています。この指定された順番に従ってプロンプトを構成することで、最も

はじめに 時間変化を調べる方法といえばフーリエ変換かウェーブレット変換くらいしか思い浮かびませんでしたが、時間方向と空間方向双方のモードを抽出できる動的モード分解(DMD)という良い手法があることを知りました。自身の理解を深めるためにもここに記録しようと思います。 内容はほぼ参考にしたサイトそのままで、Google翻訳したものを少し直して書いていきます。グラフ描画に関するコードは参考元にはないので追記しておきました。DMDの実行からグラフの描画までそのまま実行できるはずです。 参考 簡単のために3次元ベクトル場のDMDは省略して、単純な1次元のスカラー関数のみを考えます。 Dynamic Mode Decomposition in Python SVDもなんだか知らなかったのでこちらを参考にしました。 PCAとSVDの関連について 動的モード分解(DMD)は、比較的最近の数学的革新であり、

はじめに Obsidianという素晴らしいプロダクトが登場してから、デジタルノート術は活発化したと思います。私もその１人で、今日も楽しくObsidianを使っています。 しかし、その一方であまりノート術にこだわりが強くない方や深く理解するほど価値を感じていない人の中ではまだまだ単なるメモ帳として使われている現状があります。 そこで、今回は「がんばらない」Obsidianノート術として、「こだわりすぎない」「多様な原理原則がない」形で『書く』習慣を付けるためのノート術を書きました。 そんなノート術であったとしても、今後ノートを分解していけるような構造にしておくことで、今後の拡張性を残しています。ぜひ「難しくて挫折しまった」という人はチャレンジしてみてください。 『書く』ことで整理術は生きる Personal Knowledge Managementはの概念やLYTといった考え方は斬新で、とて

Qiita初心者です。ご質問・ご指摘はコメントかツイッターまでお気軽にどうぞ！ よかったらLGTMや拡散していただけると励みになります。 Visual Studio Code version 1.66がリリース 2022年3月31日にVisual Studio Code(以下 VS Code)の1.66がリリースされました。 このリリースノートを見た瞬間VS Codeの時代が来たッ！！（言い過ぎ）と言いたくなるくらい興奮しましたので早速リポートさせてもらいます。 そして僕が注目した機能が「Local History（ローカル履歴）」です。 Local History（ローカル履歴）って何？ ファイルの変更の操作が行われたタイミングでローカル上に自動で差分が保存され、現時点のファイルの中身と変更した時のファイルを手軽に比較したり内容を戻したりできる機能です。 どこで確認ができる EXPLOR

はじめに レポートや論文の作成には $\LaTeX$ は欠かせないですよね。卒業論文や修士論文を書き始める方も多い時期だと思うので、今回は LaTeX と Visual Studio Code を使い、レポートや論文を快適に書ける環境を構築していきたいと思います。 必要なツールのインストール ここはあまり詳しい解説は行いません。 LaTeX と Visual Studio Code がインストール済みの人はこの節は読み飛ばしてください。 LaTeX TeX Live がおすすめです。 TeX Wiki に詳細な説明があります。 コマンドラインで platex や latexmk が実行できれば成功です。 Windows 公式の install-tl-windows.exe をクリックしてダウンロード、GUIのインストーラーに従ってください。 Mac

まだJupyter Notebook使ってるの? VS CodeでJupyter生活 (.py)で快適Pythonライフを?!PythonVSCodeJupyterNotebookipynb みなさん、よいPython生活送れていますでしょうか? いきなりですが、普段Pythonのコードを扱う際、どのように扱っていますか? 普通に.pyのファイルを作成して動かしたり、もしくはJupyter NotebookやJupyter Labなどを使ってコードブロックにコードを書いてブロックごとに実行していく、という人も多いと思います。自分は大学の授業で配布されているPythonコードの資料がJupyterで扱える.ipynb形式のファイルなので、今まではJupyter Notebookを使ってコードを閲覧・実行等行っていました。 しかし、みなさん、Jupyter Notebookを立ち上げてブラウザ

ずっとPython2.7を愛用してきたが，人からもらった言語処理系のスクリプトがPython3を使用していたので，これを機に３.X系に乗り変えようとした． 乗り換える前に2.X系と3.X系の違いを調べてみると，どうも思っていたのと違う． 結局どっち使い続けるのがいいのだろ？と思い，いろいろと漁ってみると公式サイトに，「どのバージョンを使うかは，何をしたいかにほぼ依存する」といった記述があった笑． そこで，ぼくも食わず嫌いしていたpyenvを使ってみることにした． そんなこんなで，先駆者達の知恵を拝借し，自分の環境にpyenv-virtualenvを導入した時のメモを残しておく． pyenvとvirtualenv pyenv Pythonのバージョン切り替えに使用 基本的にPythonのバージョンごとに管理 同一バージョンで複数のPython環境を管理不可能（パッケージが混在する） 数値計算

Juliaでの自動微分について調べてみる　前半の続きです。ここでは、自力で自動微分を実装してみます。その後、ChainRulesCoreを使って、既存のパッケージに自分の独自の型に関する自動微分を追加してみようと思います。 前半のおさらい ある関数$f(x)$の微分を計算したい、とします。例えば、

Juliaで自動微分を扱うと、自分が作った型に対して自動微分ができるのが非常に面白いです。以前Juliaでの自動微分について調べてみる　前半や、Juliaでの自動微分について調べてみる　後半で基本的なことを調べてきました。また、自分で定義した型で微分する方法として、自分で作った行列に対しての自動微分についてはJuliaでの自動微分を使って行列で微分してみるやJuliaでの自動微分を使って行列を引数にした複雑な関数を行列で微分してみるで述べました。複素関数のウィルティンガー微分に関しては、Juliaでの自動微分を使って、ウィルティンガー微分してみるやJuliaでの自動微分を使って、ウィルティンガー微分してみる：完全版で述べました。 どのような型を扱うにせよ、rruleというものが重要でした。しかし、rruleは少しわかりにくいので、これについて整理したいと思います。 また、rruleというも

WGAN などで使われるWasserstein距離は確率分布の間の距離のひとつです。本稿では、離散型確率分布に対するWasserstein距離の定義と、Pythonによる計算の例を示します。 Wasserstein距離の定義 ふたつのカテゴリカル分布$a$、$b$それぞれの次元を$m$、$n$とします。このふたつの分布の各次元の間で、確率の移動のコスト行列 $C \in \mathbb{R}^{n \times m}$ が与えられたとき、 ふたつの分布を周辺分布にもつような結合確率分布の空間 U(a,b) := \{P \in \mathbb{R}^{n \times m} : P \mathbb{1}_m = a \ {\rm and} \ P^T \mathbb{1}_n = b\}

Flux.jlがバージョンアップし、Juliaで機械学習：Flux.jlで自由自在にオリジナルレイヤーを組んでみよう の内容が古くなってきていますので、新しく記事を書くことにしました。書き方を、最新のFlux.jlのマニュアルに書かれているような形に書き換えています。 はじめに Juliaで機械学習するならFlux.jlが有名です。 https://github.com/FluxML/Flux.jl これまで、いろいろを記事にまとめてきました。 Juliaで機械学習：深層学習フレームワークFlux.jlを使ってみる　その１：基本編 Juliaで機械学習：深層学習フレームワークFlux.jlを使ってみる　その２：線形回帰編 Juliaで機械学習：深層学習フレームワークFlux.jlを使ってみる　その3：ニューラルネットとバッチ正規化編 Juliaで機械学習：Flux.jlで自由自在にオリジナ

自動微分を使って量子力学の逆問題を解いてみる 量子力学の問題を解く時、通常、あるポテンシャルがある時の電子の状態を求めます。一方、何らかの実験などで電子密度だけ求まっているときに、その電子密度を出すようなポテンシャルを求めることは可能でしょうか？　ホーヘンベルク・コーンの定理によれば、「ある系の基底状態の電子密度ρが決まると、それを基底状態にもつ外部ポテンシャルがもし存在すれば（v-表示可能性の仮定）それはただ1通りに定まる。」だそうです。ということは、相互作用のない簡単な系であれば、計算で確かめられるかもしれません。 Juliaで自動微分を使って、1次元の簡単な系についてやってみましょう。 相互作用のないN電子系 時間依存しない1次元系を考えます。量子力学の従う1電子はシュレーディンガー方程式 \left[ -\frac{\hbar^2}{2m} \frac{d^2}{d x^2} +

PowerShellで環境変数PATHを追加・削除・置換する 複数のバージョンのアプリをインストールしておき、環境変数PATH の変更だけでバージョンを切り替えて起動させたいときなど、 システム設定の 環境変数PATH には保存しておかずに、起動した PowerShell の中だけで 環境変数PATH を置き換えたいことが良くあるのですが、 たまにしか操作しないとすぐに忘れてしまうので、 PowerShell で 環境変数PATH に（一時的にパスを）追加・削除・置換する方法を忘備録としてまとめてみました。 項目 コマンド