授業の主題と目的 ここでは、慶應義塾大学SFCで開講している「ベイズ統計」の授業と演習に関する資料を、主に履修者向けにまとめています。学外の方などにも自由にご利用頂けますが、各自の責任のもとで利用していただければ幸いです。 近年、自然科学分野だけでなく社会科学分野においても、ベイズ統計の重要性が増していることは論をまたない。この授業では、ベイズ的な推論の考え方や、統計モデルのベイズ推定に関するスキルを身につけることを目的としています。 演習では、フリー統計ソフトのRを用います。
授業の主題と目的 ここでは、慶應義塾大学SFCで開講している「ベイズ統計」の授業と演習に関する資料を、主に履修者向けにまとめています。学外の方などにも自由にご利用頂けますが、各自の責任のもとで利用していただければ幸いです。 近年、自然科学分野だけでなく社会科学分野においても、ベイズ統計の重要性が増していることは論をまたない。この授業では、ベイズ的な推論の考え方や、統計モデルのベイズ推定に関するスキルを身につけることを目的としています。 演習では、フリー統計ソフトのRを用います。
概要 去年書いた話のその後の更新について整理した. おまえはもうRのグラフの日本語表示に悩まない (各OS対応) - ill-identified diary あとこっちのスライドも閲覧数が少しづつ増えてるようなので Mac でも Windows でも, PNG でも PDF でもRのグラフに好きなフォントで日本語を表示したい (2020年最終版)/Display-CJK-Font-in-Any-Gpraphic-Device-and-Platform-2020 - Speaker Deck 去年の話の直後にいろいろと大きな環境変化あった 改めて変更点と残る問題点をここでまとめる 本当は不具合を潰してから書きたかったが思ったより時間がかかりそうなので「中間報告」 以降の記述のほとんどはこれまでネット上のどこかで断片的に書いていた話で, 今回はそれらを一箇所にまとめただけ tikz について
こんにちは! カバー株式会社 人事部 兼 採用広報担当の桑江(くわえ)です。 総勢50名以上のタレントを擁するVTuber事務所「ホロライブプロダクション」を運営しているカバー。社内には、配信アプリの提供からタレントさんのマネジメントまで多岐にわたる業務が存在しています。 今回は制作・収録・配信のうち、制作の中核を担うクリエイティブ制作本部に所属し、各部署(イラスト制作部・CG制作部・制作推進部)で活躍するマネージャー陣に(Mさん、Sさん、Kさん)に日々の業務や苦労している点など、インタビューしてきました!配信を皆さんにお届けする前の、制作現場の雰囲気や、マネージャーならではのお話をお伝えできたらと考えています! 【インタビュイー紹介】 Mさん:クリエイティブ制作本部 イラスト制作部 マネージャー Sさん:クリエイティブ制作本部 CG制作部 マネージャー Kさん:クリエイティブ制作本部 制
マフティー構文単語 639件 マフティーコウブン 1.8千文字の記事 76 0pt ほめる 掲示板へ 記事編集 概要はちみー冬優子マフティー構文関連動画関連項目掲示板マフティー構文とは、いきなりマフティーらが乱入して主題歌「閃光」が流れるネットミームである。 概要 ガウマン「やってみせろよ、マフティー!」 ハサウェイ「何とでもなるはずだ!」 レーン「ガンダムだと!?」 鳴らない言葉をもう一度描いて 主題歌:[Alexandros]「閃光」 「機動戦士ガンダム 閃光のハサウェイ」の予告PV2にて使用される一連の台詞が元ネタ。 元のPV用映像は、本来別々のタイミングで話されている台詞が上記のように構成されており、そのまま主題歌「閃光」をバックにガンダム同士が対峙する映像が流れる・・・というもの。 この構文自体は後述の「はちみー冬優子マフティー構文」の派生ネタなのだが、閃光のハサウェイ公開1ヶ月
追記(2022/12/16) gtsummaryのチートシートが公開されています!壁に貼りましょう!(もうこの記事いらねぇな!) https://twitter.com/statistishdan/status/1572948856421380097?s=20&t=NF7P-cDUZuzJ_inLMiE0ow 追記 (2020/09/17) 実践編:【R】nestしてggplotしてgtsummaryしようの記事を書きました!良ければこちらもご覧下さい! また、youtubeでも開発者による解説動画が出ているので布教します! それは突然やってきた ある日、Twitterを見てみると... 私「ん?なんか見たことあるFigだな...」 (引用文献 (http://www.danieldsjoberg.com/gtsummary/index.html) ) 私「!!gtパッケージやんけ!しかも
Twitterにて@eitsupiさんに 「Base pipeのプレースホルダーを二回以上使用すると、その数だけパイプ以前の処理を繰り返し評価してしまう」という情報をいただきました! この仕様を踏まえると、今後プレースホルダーが二回以上使えるようになる日は来ない可能性があるな🤔と思いました。詳しい内容は「追記」にて追記させていただきました。 こんにちは。大変分かりやすい記事をありがとうございました。 プレースホルダーを二回使えない件ですが、これは意図的と思われます。 ↓の投稿にもあるように、ベースパイプは_の中身をそのまま評価するため、複数回使用すると計算量が何倍にもなるからです。https://t.co/A8Oxi3B4Qn — えいつぴ (@eitsupi) May 21, 2022 はじめに こんにちは! このブログは当初初心者向けのコンテンツを提供する場として始めたのですが、いよ
こんにちは! 皆さんはXGBoostとLightGBMの二つをご存じですか? 機械学習をやっている方は聞き慣れているフレームワークだと思いますが、 両者の違いを正しく理解できているでしょうか。 今回はこの二つのフレームワークの違いを解説していきます。 結論から話すと、XGBoostではLevel-wiseという決定木の作成方法を用いており、LightGBMではLeaf-wiseを用いています。Leaf-wiseでは決定木の分岐が少ないためそれを活用したLightGBMでは高速な計算が可能になります。 GBDTの計算手順を復習してから、両者の違いを理解していきましょう。 勾配ブースティング決定木とは 決定木 アンサンブル学習 勾配降下法 GBDTの計算手順 XGBoostとLightBGMの異なる点 Level-wise Leaf-wise ジニ不純度 その他のLightGBMの高速化の理由
はじめに 結論 解説 サンプルデータ コレポンの実行 指標化残差 コレポンにおける指標化残差の表現 注意! まとめ さいごに 参考リンク はじめに 松本健太郎さんの「マーケティングリサーチで使われるコレスポンデンス分析について調べてみた」という記事が書かれたころからでしょうか、コレスポンデンス分析(以下、コレポン)の同時布置図に対する否定的な意見をよく目にするようになりました。 松本さんの議論は どの年代で見ても20代の購入量は圧倒的なのです。そのような見方は、数量で見れば違和感を覚えます。 という疑問をきっかけに コレスポンデンス分析は、それぞれ行得点・列得点を算出しているだけで、それらを重ね合わせたに過ぎません。 つまり列要素と行要素との距離は、数理的に定義されず「近い」「似ている」のように解釈できないのです。 というところから コレスポンデンス分析は行・列をごっちゃにして分析しない。
本稿では「Rユーザーのためのmake入門」と題して、makeというビルドツールを紹介します。makeはRに限らずさまざまなプロジェクトで汎用的に使われており、使い慣れておくと日常のコマンド実行を効率化できるかもしれません。 今回はMakefileの基本的な書き方から、複数のRmdファイルをmakeを使って一括で変換する例を紹介します。締切直前に複数のRmdファイルを編集していたとしても、確実にすべてのレポートをコマンド1発で最新にできるようになるでしょう。 makeはすでにお使いの環境にインストール済みかもしれませんし、インストールされていなかったとしても、パッケージマネージャなどで簡単にインストールできるでしょう。本稿では再現性のため、Docker上でRStudioやmakeを動かします。動作確認はrocker/tidyverse:4.2.1で行っています。 以下を実行して、RStudi
お知らせ 2021/12/19 バーチャルマーケット2021は12/19に終了しました。ご支援を頂き誠にありがとうございました。ぜひ、来場者アンケートへご協力下さい。 https://forms.gle/uGGcsgeA22WJxGcJ82021/12/08 VRChatのワールド一覧の「バーチャルマーケット2021」特設カテゴリは、12月14日で掲載を終了します。「Vket」または「Vket2021」で検索することでご来場頂けます。2021/12/03 「Oculus Quest」をお使いの場合、「復刻江戸城城下町」では一回目の入場に失敗する場合があります。お手数ですが再度入場をお試しください。 全て見る
こんにちは。データサイエンスチームの t2sy です。 この記事では、R と Python をシームレスに繋ぐことができる reticulate パッケージを紹介します。 reticulate パッケージを使うことで R を主に使っているデータ分析者が、分析の一部で Python を使いたい場合に R からシームレスに Python を呼ぶことができ、ワークフローの効率化が期待できます。 実行環境は以下です。 Amazon EC2: t2.large インスタンス (vCPU: 2, メモリ: 8GiB) Ubuntu Server: 16.04 LTS RStudio Server: 1.1.442 Anaconda: 2-5.1.0 scikit-learn: 0.19.1 umap-learn: 0.2.1 > sessionInfo() R version 3.4.4 (2018-
はじめに 研究開発部の小松です。 本記事は Sansan Advent Calendar 2022 の17日目の記事になります。 adventar.org 普段こちらのブログではネットワーク経済学をテーマに細々と書いています。今回は少し話題を変えて、日頃の分析でお世話になっている R のパッケージ {targets} に (半年ぐらい前になりますけれど) OSSコントリビュートした話をします。 普段の業務では Python と R 両方使っていますが、素早い対応が求められる分析業務では私は R を使っています。{tidyverse} によるデータハンドリングに慣れた身からすると、pandas での処理はまどろっこしく感じられて未だに慣れません。*1 その R を用いた分析の生産性を向上に大きく寄与しているのが、1年程前に使い始めた {targets} です。以下の記事にも、研究開発部の R
新型コロナウイルスのデータを扱う際に、メッシュコード(標準地域メッシュ)が利用されることがあります。 特にNTTドコモ「モバイル空間統計」分析レポートのデータは、内閣官房の新型コロナウイルス感染症対策のページにも掲載されているように 全国各地の人口変動を分析するのに欠かせないデータとなっています。 人流データを使った分析は、先日発表された「新型コロナウイルス感染症対策の状況分析・提言」(2020年5月1日) (PDF)の中でも 行われており、本文中に以下の記述があります。 渋谷駅周辺と難波駅周辺から半径 1 ㎞圏内においては、10 歳台および 20 歳台の若者を中心として昼夜問わず接触頻度が 80%以上、減少したことがうかがえる。 また、GitHubにアップロードされている この結果の補足資料を見るとモバイル空間統計のメッシュデータを使った分析と可視化の事例が確認できます(3. 各エリアの
R 宋財泫・矢内勇生『私たちのR:ベストプラクティスの探求』 R Not for Everyone: An Esoteric Guide Rプログラミングの入門教材 現在、執筆中です 以下の記事はすべて『私たちのR』用の原稿です。執筆後のアップデートは『私たちのR』に反映されます。最新版をご覧になる場合はRN4Eをクリックしてください。 プログラミング Rプログラミング入門の入門 RN4E (1) RN4E (2) purrr入門 RN4E オブジェクト指向型プログラミング入門 RN4E モンテカルロ・シミュレーション入門 RN4E データハンドリング dplyr入門 RN4E (1) RN4E (2) RN4E (3) tidyr入門 RN4E 可視化 ggplot2入門 [理論編] RN4E ggplot2入門 [基礎編] RN4E ggplot2入門 [応用編] RN4E ggplo
はじめに Lambda Web Adapterという、HTTPで動くコンテナに対して仲介してLambdaで動くようにしてくれるツールがあります。 これを使って、Rのplumberをコンテナにして動かしてみました。 以前Lambdaで、plumberのようなRのREST APIを作りましたが、Lambda Web Adapterを使えば、plumberを使えるのでかなり楽です。 概要 Lambda非サポートのRを、Lambda Web Adapterを用いて実行 Webアプリを対象としているので、plumberを使用 参考 やってみた 環境はCloud9のm5.largeを使いました。t3.smallでもできますが、docker buildの時間が(m5.largeであれば)6分程度ですが、(t3.smallだと)10分以上かかります。 ECRへのPUSHまで 過去の記事を参考に、ECRへの
本記事は最近読んだ次の記事からインスピレーションを得ました。 RのdplyrやPythonのpolarsのようなパッケージでデータフレームの操作に慣れている人ならば、Rのdbplyrを使うことで、バグが少ない上に早くサブクエリを構築することができます。 何千回も実行するSQLならば時間をかけてチューニングされたSQLを構築したほうがよいと思いますが、分析の試行錯誤のサイクルを早く回したい場合など数十回ぐらいしか実行しないSQLならば、dbplyrから実行したほうがよいでしょう。 それではざっくり元記事に沿って例を説明します。 カラムのサブクエリ 大分類(major_category)で絞って、該当する作品を表示する例をお借りします。 まず素直にms_categoriesテーブルから該当するcategory_idを抜き出しておいて、%in%で求めると、 category_id_fiction
この記事は R アドベントカレンダー 2019の17日目の記事です。 はじめに 統計の学習を始めて知識は身についてきたけど、Rの出力結果の見方がわからない...。 そんなときに、いろいろと調べたことをまとめました。 昨日はWebで、先日行われた統計検定の合格発表がありました。過去問では、Rの出力結果を題材にした出題もあるので、これから統計の勉強をする方の参考になればと思います。 出力結果を見ることがきっかけで、Rを使う方が増えてくれたら嬉しいです! お題 出力例として「2018年の東京の桜の開花日を予測する」というテーマで、summary関数を使って回帰分析を行ったときの出力結果を使います。分析で使用するデータは以下とします。 目的変数は「桜の開花日」 説明変数は、1989年~2019年の3月上旬~中旬の「平均気温(℃): temperature」、「降水量の合計(mm): precipi
因果推論のための分析手法は様々ありますが、回帰モデルを使った主なアプローチのRでの実装方法とその推定結果の比較をします。 モチベーション的な部分は以下をご参照ください。 シミュレーションデータを使って、各手法がどのような(主にモデリングに関する)仮定に基づいているのか、それが結果の違いにどのように影響しているのかをみていきます。 なお、Rマークダウンで書いたものをコピペしただけなのであまり見た目は美しくないですが、予め ご了承ください。 そのうち書籍化予定ですので、そのときにはもっと見やすく&詳しく説明します・・・ シナリオ 擬似データの概要: 重回帰分析 正しく設定されたモデル 調整なしモデル 調整あり&モデルの誤設定1 調整あり&モデルの誤設定2 標準化(G-formula/G-computation) 正しく設定されたモデル モデルの誤設定 傾向スコア(PS) 層化 回帰モデルでの調
8.1 概要 回帰分析という統計手法は、独立変数(説明変数・予測変数)と従属変数(被説明変数・目的変数・応答変数)の関係を記述するのに使われます。 回帰分析を使うことで、 目的変数と関連のある説明変数を特定したり、 変数間の関係式を記述したり、 説明変数から目的変数を予測したり することができます。
Rによる社会調査データ分析の手引き 麦山 亮太(学習院大学法学部政治学科)/ Ryota Mugiyama (Department of Political Studies, Gakushuin University) Last update: 2022-10-09 まえがき 本資料は麦山が担当する学習院大学法学部政治学科「社会学演習(社会的不平等に関する実証研究)」、同大学院政治学研究科「統計解析I」「公共秩序の数理モデル(社会調査データの計量分析)」の授業で使用する資料です。その他の授業でも活用することがあります。授業では適宜口頭で説明を補いながら使うことを想定しているため説明を簡単に済ませているところもありますが、どなたでも参照できるかと思います。分かりやすさを重視しているため、厳密性には欠けるところがあるかもしれません。 タイトルに示されているとおり、本資料の目的はとくに社会調査の
この記事は、別にちょっとした理由があってR版Kerasで自前のDNNモデルをfine-tuningしたいと思ったので、調べて得られた知識をただまとめただけの備忘録です。既にやり方をご存知の方や、興味がないという方はお読みにならなくても大丈夫です。ただし「このやり方間違ってるぞ」「その理解は誤っている」的なご指摘は大歓迎どころか大募集中ですので、コメントなどでご一報ください。 Fine-tuningとは R版Kerasのドキュメントに書いてあること Rコードと実験結果 Fine-tuningとは 前々から雰囲気では理解していたんですが*1、雰囲気しか知らないが故に適切なまとめ方が分からないのでこちらのブログ記事から引用させていただくと、 ファインチューニングとは、学習済みモデルの一部もしくはすべての層の重みを微調整する手法です。転移学習では、学習済みモデルの重みを固定して用いますが、ファイン
TheyDo provides context to your structured and unstructured data, aligning teams to uncover the path to deliver on your customer and business goals.
dbtplyr を使ってみる 2024/12/07 Japan.R 2024 (#JapanR) 小坪琢人 (@airspace_nobo) Here is the English version of the document (I also upload Engilsh version on X with #JapanR tag.) https://x.com/airspace_nobo https://www.docswell.com/s/airspace_nobo/K4V4ML-try_using_dbtplyr_japanr_english_ver/1 https://x.com/hashtag/JapanR?src=hashtag_click
突如現れたドコモの「軽量ディスプレイグラス」開発担当者に狙いを聞く NTTドコモが、2月4日から7日にオンライン開催した「docomo Open House 2021」に合わせ、新しく「軽量ディスプレイグラス」を発表した。現状では「試作機」であり、製品化の明確な予定は公表されていない。しかし、どうにも気になる存在ではないか。 docomo Open Houseは、2020年がそうであったように、本来は会場に足を運ぶ「リアルイベント」だった。だが今回はオンラインイベントになったので、映像くらいしか手がかりがない。 というわけで、NTTドコモに行き、試作実機を体験しながら、その狙いを開発者に聞いた。 ご対応いただいたのは、株式会社NTTドコモ プロダクト部 プロダクト企画担当の津田浩孝氏、同 石丸夏輝氏、同 デザインマネジメント担当の吉田恵理子氏の3名だ。 (左から:取材にご対応いただいた、株
視線センシングで 魅せる次世代UX 「視線検出技術」 特許取得 「パナソニックとの共同特許」を活用した「視線検出技術」は、RGBカメラで撮影した顔の特徴量から「視線方向・視線位置」などを可視化・定量化できる、弊社独自のアルゴリズムによる「ヒューマンセンシング技術」です。 顧客がディスプレイやサイネージのどのあたりを見ているかを定量化したい ヘッドマウントディスプレイ機器に視線検出を追加して UXを向上したい マウスやクリックの代わりに、視線やまばたきをインターフェースとして代替したい 本「視線検出技術」の特徴 1.非接触・非装着の視線検出を実現 本「視線検出技術」は、センサーにカメラのみを利用するため「非接触」に視線検出が可能であり、ユーザビリティに優れています。 カメラセンサは、可視光センサに対応しているため、WEBカメラでも可能です。 <動画>高精度!本技術のデモンストレーション(CI
おはよ鵜来ちゃん。拙者ブルネイ泊地で提督業を営んでいるJanssonと申す。以降お見知りおきをお願いしたく候(ノ)・ω・(ヾ) 戦績:聯合2回、1群5回、2群以下たくさん。 1.Janssonについて・14夏着任。イムヤとマエストラーレ姉妹が好き。 ショボンさん帰ってきて……・最近は鵜来ちゃんに狂わされている。 ここすき。2.この記事のきっかけ私は艦これに関する読み物が好きです。戦果周回編成紹介や、イベントの攻略記事を読むのが好きです。提督たちの物語を読むのが好きです。 いつか私も何かしら書いてみたかったので、今回書いてみることにしました(小泉構文)。 そんな次第で、今回は昨年11月に鵜来ちゃんの運最大値を目指し、ついでに聯合4位以上を目標に走った体験談を残していこうと思います。 恐らく聯合を走る上での参考になる部分はほとんど無いので、ちょっとした暇つぶし程度にお付き合いください。怪文書み
先日書いたこの記事ですが、「トイデータとは言え乱数シードを一つに決めて発生させたランダムウォークに対して実験をしているので、乱数シードを複数通りに変えてみたら結果は変わってくる(再現しない)のではないか?」という指摘を何人かの友人知人から貰いました。正直言って多項式フィッティングには何の思い入れもないのですが、再現性があるかどうかについては単純に気になるところです。 ちなみに、以前沖本本で勉強した際にあった「ランダムウォークには平均回帰性がなく時間と共に不確実性が増すため事実上予測不可能(特に長期予測)」という議論の通りで、本来ならランダムウォークに対して「予測」を行うのはそもそも適切ではありません。ただし、短期予測なら例えば状態空間モデルやBSTS的な方法で多少は精度を改善できるのでは?と考えていたのは事実で、同じことが無根拠でナンセンスな多項式フィッティングでも出来たら面白いかもと思っ
追記(2021/03/26): 開発版では「facet_*() の場合」も動くようになりました。 こういうデータが手元にあるとします。 library(readr) library(dplyr, warn.conflicts = FALSE) library(ggplot2) library(lubridate, warn.conflicts = FALSE) d_raw <- read_csv( "https://stopcovid19.metro.tokyo.lg.jp/data/130001_tokyo_covid19_patients.csv", col_types = cols( No = col_integer(), 全国地方公共団体コード = col_integer(), 公表_年月日 = col_date(), 発症_年月日 = col_date(), 確定_年月日 = c
はじめに ここ最近で機械学習と因果推論の融合が有名になってきました。 その中で、決定木(回帰木)のアルゴリズムを用いて条件付き処置効果(CATE)を推定するCausal Treeという手法の話がでてきています。 しかし、概要を聞いても何をしているのかよくわからないので、Causal Treeの提案者であるS.Atheyが書いた論文を読みました。 arxiv.org Causal Treeでどのように条件付き処置効果(CATE)を推定しているのかまとめてみました。 といっても個人的なメモに過ぎません(免責事項)。 いつも通り、少しずつ修正を加えていきます。 正直これらのスライドの方が簡潔でわかりやすいです。 私も参考にさせていただきました。 計量経済学と 機械学習の交差点入り口 (公開用) 勉強会準備資料備忘:causal forest & r-learner - Speaker Deck
Gaussian Splattingは、SIGGRAPH 2023で発表されたプロジェクトです。 複数枚の写真からその空間のあらゆるところから見たビューを補間します。 同じ技術にNeRFがありますが、これの欠点を補った理論のようです(アルゴリズムはまだ未調査)。 NeRFの問題は、かなり大雑把な書き方ですが大きく以下の2点があります。 トレーニング時間がかかる 最終的な空間の復元で解像度不足 (なんだか眠い) GitHubのリポジトリはこちらになります。 https://github.com/graphdeco-inria/gaussian-splatting 今回はGaussian Splattingを試す流れをまとめることにしました。 CUDA11.8とAnaconda3を使います。 GoProで撮影した動画を使ってウォークスルーするまでを行います。 検証環境 OS : Windows
magrittr 2.0のブログ記事で仄めかされていたように、base Rに(というかRの文法レベルで)ネイティブのパイプ演算子|>が入るようです。 それがとうとう開発版のRに実装された、というツイートでTLがざわついていたので触ってみました。 #RStats community, really? It's been like 5 hours now and no one noticed the big news? 😛https://t.co/c4OXTO0WCw Thank you @LukeTierney4 @_lionelhenry @jimhester_ (who else?)#pipypipy pic.twitter.com/5P9QPe1H8a— Henrik Bengtsson (@henrikbengtsson) 2020年12月4日 Dockerでさくっとrocker/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く