機械学習はそもそも汎用的な枠組みであり基本的には対象分野に依らず利活用できる。従って、分野を限定して物質科学に機械学習を活用するなどと言う場合、その本質的難所の大部分は、有効な変量の設計・変換・選択・交互作用・線形性などに関する、いわゆるfeature engineeringの問題に帰する。特に、科学研究では端的な説明因子や共通パターンの探究こそが目的であることが多く、その場しのぎではない方法論が期待されている。本発表では、医薬品、機能制御剤、有機EL材料、食品、化粧品、と波及範囲が広い有機低分子について、その物性の予測と生物活性の予測の違いを例に、関わってきた問題・方法・課題について紹介する。 http://ibisml.org/ibis2016/session3/
今回は「交互作用(interaction)」と呼ばれる概念について書いていきます。端的に言えば、”人によって効果が違う”という現象を見る統計学の考え方だと思います。例えば「薬Aが病気Dのリスクを１０パーセント下げる」といったとき、実はその薬は女性では効果がめちゃくちゃあるが男性にはほとんど効かない、なんてことがあるかもしれません。交互作用の考え方を使えば、このように介入の効果が一様でない現象の存在を調べることができます。 交互作用は統計を使う学問で広く使われているのですが、割とルーズに使われていることが多い印象が個人的にあります。交互作用のなかにもいくつか異なるタイプがあり、その種類によって解釈が変わってきます。また、そもそも交互作用を見る目的によって、必要となる統計モデルの作り方も異なってきます。このように「交互作用」を扱ううえで注意すべきポイントについて、一般的な統計学の教科書に載って
はじめに なんか変なタイトルですが、この記事では次のような現象について考えます。 これはぱっと見は通常の重回帰モデルですが、よく見るとの回帰係数はの関数になっています。本記事ではこういった 間の未知の（非線形かもしれない）交互作用について考えることを目的とします。 どういった状況でこんなよくわからないモデルを考えないといけないのでしょうか？ 例えば、とあるシステムの開発プロジェクトの開発にかかる工数を分析するモデルだとして、目的変数 が開発期間、説明変数 が開発規模（人数）、が開発者のコミュ力だとしましょう（※ 単なる例なので現象の妥当性は気にしてはいけません）。 小規模（が小）ならばコミュニケーションを取る相手が少なく文脈も常に共有しているため、コミュ力の影響は小さいと考えられます。つまり、は小さくなります。 一方で規模が大きくなる（が大きくなる）ほどコミュニケーションを取る相手が多く、
普段は自作の統計プログラムHADを使って分析していますが，人にいろいろ教えるときにはRも使っている清水です。 さて，今回はRで重回帰分析で交互作用を検討する方法について解説します。 昔，Rで重回帰分析で交互作用を検討するためのコードをアップしていたのですが，最近はもっと便利にできるパッケージがあるようです。というか僕が知らなかっただけか・・・ これについては，DARMという広大の院生・ポスドクが中心となってやっている勉強会のページで知りました（ここ）。まぁネタぱくってる，っていう話なんですけど（笑）。ぜひDARMのページも見てやってください。 ここでは，次のようなサンプルデータを使います。20しか見えませんが，200人のデータです。サンプルデータはこちらからダウンロードできます。 これを”dat”に読み込みます。 dat <- read.csv("sampledata.csv") まずは2
交互作用が出たとき
う～んと，この記述は，きちんとした統計的な知識にもとづいて書いているわけではなく，今まで自分が教わってきたことや，いろいろな論文を読んだ経験から書いています。ですので，絶対正しい！と自信をもって言えない弱みがあります。そこで，「文章講座」にではなく，こちらのほうにひっそりと書いておきます。 １．分散分析はむずかしい 毎年論文を読んでいて，みんな苦労しているなあとつくづく思うのが，分散分析の結果の記述。たしかに，いろんな数字がゴチャゴチャと出てきて，何をどう書いたらいいのかわからないのも無理はありません。特に，交互作用が出てしまうとたいへん。だから，統計の本を見て，そこに示されている書き方をそのまま使おうとするのもよくわかります。だけど。 読んでいて，どうも違和感を抱くのです。ほんとにこの書き方でいいの？ データの傾向をちゃんと読みとれているの？ そこで，分散分析の結果の書き方について，私
この記事では，重回帰分析で交互作用を検討するとはどういうことか，ということを書きます。数学的な話はありません。またより詳しいことを知りたい場合は，前田先生のWebサイトを参照してください。 交互作用効果のおさらい 分散分析では，2要因以上の計画の場合，要因間の交互作用効果を検討することがあります。 交互作用効果とは，要因の効果が，別の要因によって変化することを指します。例えば，次のような例を考えてみましょう。 何人かの人にコーヒーと紅茶の好みをそれぞれ尋ねてみたとしましょう。日本だとコーヒーのほうが飲まれている頻度は多いように思うので，（推測ですが）おそらくこんな感じのグラフになるでしょう。 しかし，どちらかというと，コーヒーは男性が好きで，女性は紅茶のほうが好きなのかもしれません。このように，コーヒーと紅茶という飲み物の効果が，男性と女性で異なる，ということを考えるとそれは交互作用を考え
Rメモ: 分散分析で交互作用を可視化するときのあのグラフを、Rで描きたい - StatsBeginner: 初学者の統計学習ノート
交互作用の可視化 心理学（に限らないが）で分散分析を行う場合に、交互作用を可視化することなどを目的として、折れ線のグラフが作られることがありますよね。 主に２要因の場合で、水準数もさほど多くないときに、第１の要因をX軸に、第２の要因は線の種類でかき分けて、Y軸に各群の従属変数の平均値を取る。 こんな感じで。 （出典：7.3 交互作用とは?より。） 線の傾きが違えば、交互作用があるってことです。 これ非常によく見かける図ですが、Rでどうやって作図すれば良いか、パッとはわからなかった。 何か良いパッケージがあるのかもしれないけど調べるのもめんどうなので、以下のようにx軸に配置したい要因の各水準にダミーで数字を当ててムリヤリ折れ線グラフとして描いてみた。 作図 たとえば英語の点数（平均）が、 というような結果になっているとする。 男性より女性のほうが成績がよく、かつ理系より文系のほうが成績が良い
タイトルのまんまです。 0.この記事について 私のメインWebサイトには統計関連のコーナーがあり、そこに「重回帰分析で交互作用効果を検討する方法」について解説をしています。 そこにはタイトルの内容についても触れていますが、かつて知人に質問を受けてその返答に送ったメモをupしているだけでした。 しかし結構需要があるようでちょこちょこ問い合わせを受けるようになりましたので、ここで改めて解説をします。 なお、この記事のベースはAiken & West(1991)の”Multipleregression:testing and interpreting interactions”の7章で、そこに自分なりの解釈を加えていますことをご了承ください。 1.前提条件 この記事は以下のことを前提にしています： 重回帰分析での交互作用効果の検討について、連続変量のみでの方法を理解している 使用しているpred
7.3 交互作用とは?
ということは、「クリスピー、辛口は、単独で使うより、両方を使った方がよく、逆に、どちらかを使うくらいなら、普通のチキンの方がよい」ということが分かります。 上の結果を、あなたは店員さんに伝えました。 「そうか。それぞれを単独で売るくらいならやめて、両方を組み合わせて売ったほうがいいんだ。よし、辛口クリスピーチキンを売り出すことにするよ！」 交互作用の意味 交互作用の意味について、図式的に説明します。 交互作用のグラフは、縦軸に点数を、横軸に条件をとり、群別に平均点をとります。 下のグラフで、点数は表示されていませんが、a1、a2が要因Aによる群、b1、b2が要因Bによる群、●や■で表示されているのが平均点として読みとってください。 交互作用のない場合 まず、交互作用のない場合を見てみましょう。 交互作用のない場合のグラフは、グラフは平行になります。
Rで学ぶ回帰分析 補足：重回帰分析における交互作用の検討 M2 新屋裕太 2013/07/10 （復習）回帰分析について • 変数間の因果関係の方向性を仮定し、１つまたは複数の独立 変数によって従属変数をどれくらい説明できるのかを検討する 手法 • 単回帰分析：独立変数が1つの場合 • 重回帰分析：独立変数が２つ以上の場合 （例）ワンルームマンションの家賃を、ワンルームマンションの条件から、予 測する場合 家賃 駅からの距離 築年数 部屋の広さ バスタイプ ＜独立変数＞ ＜従属変数＞ etc… （復習）重回帰分析について • 重回帰分析では、複数個の独立変数x1,x2,・・・,xiと従属変数yの間 に、以下のような線形の関係があることを仮定する • y = a + b1x1 + b2x2 +・・・+ bixi + e （重回帰モデル） • y^= a + b1x1 + b2x2 +・・・+
重回帰分析で交互作用効果
このスライドのコードはMplusデモ版で実行可能です。 http://www.statmodel.com/demo.shtml また、こちらのページにサンプルデータを置いています。 http://bit.ly/12NgDmI 中級編はこちらをどうぞ。 http://www.slideshare.net/simizu706/mplus-lecture-2
機械学習で株価予測～scikit-learnで株価予測③：特徴量の重要度を可視化し、ワンホットエンコーディング、ビニング、交互作用特徴量、多項式特徴量を試す～
#ワンホットエンコーディング ## 月（1～12）、日（1～31）、曜日（月曜が0, 日曜が6）情報の抽出 dummyData = pd.DataFrame({ 'month' : merge_Data['日付'].dt.month, 'day' : merge_Data['日付'].dt.day, 'weekday' : merge_Data['日付'].dt.dayofweek }) ## 月、曜日情報をダミー変数へ変換 dummyData = pd.get_dummies(dummyData, columns=['month','day','weekday']) ## 最初の5行を表示 dummyData.head() ビニング ビニングとは、特徴量をビンと呼ばれる離散値カテゴリーに分散する手法です。今回は重要度が高い上位5つの特徴量を10分割し、カテゴリー変数化してみます。 # ビ
今日から使える 医療統計学講座 【Lesson8】 交互作用 新谷歩（米国ヴァンダービルト大学准教授・医療統計学） （2955号よりつづく） 臨床研究を行う際，あるいは論文等を読む際，統計学の知識を持つことは必須です。 本連載では，統計学が敬遠される一因となっている数式をなるべく使わない形で，論文などに多用される統計，医学研究者が陥りがちなポイントとそれに対する考え方について紹介し，臨床研究分野のリテラシーの向上をめざします。 交互作用（または相互作用）は，臨床疫学において交絡と並ぶ重要なコンセプトですが，その交絡と交互作用の違いをきちんと理解している人は少ないようです。今回は，交互作用について説明します。 交互作用はあらゆる研究で考慮されるべき 交互作用は英語ではInteractionと呼ばれ，「2つ以上のファクターが互いに影響を及ぼし合うこと」と定義されています。よく知られている例です
重回帰で交互作用を検討する方法
重回帰で交互作用を検討する方法 従来、重回帰分析と分散分析との違いとして、交互作用を見るかどうかが大きな違いとしてあげられてました。しかしここ十年くらい、重回帰分析において交互作用を検討している文献が見受けられます。この方法は、Aiken & West(1991)で詳しく説明されています。しかしながら、この方法について、日本語で書いてある統計書は(私がみたところ)ほとんどないのが現状です。 そこで、このコーナーでは、この方法について簡単に説明したいと思います。ただし、私は統計の専門家ではありませんので、かなり疑わしい点があるかもしれませんので、ぜひ原典にも当たってくださるようお願いします。 また記載内容に間違いや疑問があった場合は、是非メールにてご連絡ください。私が答えられる範囲でご返答したいと思います。 １．重回帰で交互作用？ ２．重回帰で交互作用をするメリット ３．２要因の交互作用 ３
2015 - 08 - 09 第４５回 重回帰分析と交互作用 R 多変量解析 list Tweet 第４５回の補足では、重回帰分析と交互作用について書きます。 20150810時点で訂正しまいた。 数式解説の部分、mとzが混同しておりました。ただしくはmです。 申し訳ありません。 20150927時点：以下の記事を追加しました。 sugisugirrr.hatenablog.com ・交互作用とは 重回帰分析では交互作用を検討することも可能です。交互作用は前回の記事でもかきましたが、以下の図のような影響関係を持ちます。 xとyは関連をしているが、zを追加することで、yへの影響がzの値によって変化するような状態のことです。xは、zによって条件づけられた効果であるため、「条件付き効果」とよばれます。z＝０のとき、xのの影響を「主効果」と呼びます。 ・交互作用の図解 具体的な事例を図を使いながら
30-5. 交互作用とは | 統計学の時間 | 統計WEB
この章では、「肥料の量×土の種類」で示される「交互作用（Interaction）」について説明します。交互作用は2つの因子が組み合わさることで初めて現れる相乗効果のことです。「肥料の量×土の種類」の場合、肥料の量と土の種類が相互に影響を及ぼし合っていることを表します。また、交互作用による効果のことを「交互作用効果」といいます。 交互作用に対して、1つの因子に絞った場合の効果（この場合は肥料の量や土の種類のこと）のことを「主効果」といいます。 ■交互作用図 「肥料の量×土の種類」の「交互作用」を理解するにあたって、まず「土の種類」ごとに「収量の平均値」の折れ線グラフを描きます。横軸は「肥料の量」です。このグラフは「交互作用図」とよばれます。 ■交互作用効果 「土の種類」ごとの「収量の平均値」の折れ線グラフを見ると、土Aも土Bも肥料の量が増えるに連れて収量が増えていますが、土Bのほうが収量の伸
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
科学と機械学習のあいだ：変量の設計・変換・選択・交互作用・線形性
「交互作用」とはなにか：介入効果が一様でないときの統計手法～その目的と分類、解釈～ - Unboundedly
未知の非線形な交互作用をマルチレベルモデリングでモデル化してみる - Reports
[R] Rで重回帰分析で交互作用を検討する方法(pequodパッケージ) | Sunny side up!
重回帰分析で交互作用を検討する | Sunny side up!
連続変量とカテゴリカル変数の交互作用を重回帰分析で検討するには | 日々是独想 - 日々の徒然なることを独り想う。
[PDF]Rで学ぶ回帰分析｜補足：重回帰分析における交互作用の検討
交互作用（新谷歩） | 2011年 | 記事一覧 | 医学界新聞 | 医学書院
第４５回 重回帰分析と交互作用 - Rを通じて統計学を学ぶ備忘録ブログ