Glnのブックマーク - はてなブックマーク

クロスバリデーションとダブルクロスバリデーションの整理

ハイパーパラメータの候補を変えながらクロスバリケーションを行い、クロスバリデーション後の予測性能が最も高いハイパーパラメータの候補を選択します。一方で、ダブルクロスバリデーションは手法を選択するために用います。PLS や SVR といった手法ごとにダブルクロスバリデーションを行い、ダブルクロスバリテーション後の予測精度を比較して最も高い手法を使用します。この手法の比較のために、どうしてクロスバリデーションを使用してはいけないかというと、手法ごとにハイパーパラメータの候補の数に差があるためです。主成分の数しかハイパーパラメータがない PLS に比べて、三つのハイパーパラメータのある SVR の方が、ハイパーパラメータの候補が多く、そのたくさんの候補の中から、クロスバリデーションの結果がベストな候補を選択できるため、PLS のクロスバリデーションの予測精度と比較して、SVR のクロスバリデー

Gln 2024/04/08

リンク

「組成データ解析入門―パーセント・データの問題点と解析方法―」和が100や1になるデータを扱う際の注意点と対処法

太田亨著, 「組成データ解析入門―パーセント・データの問題点と解析方法―」, 朝倉書店, 2023 朝倉書店: https://www.asakura.co.jp/detail.php?book_code=12288 Amazon: https://www.amazon.co.jp/dp/4254122888 組成データのように、0 から 1 まででいくつかの和が 1 になるようなデータを扱う際の注意点と対処法を学べる本です。以下は、朝倉書店のウェブサイトにおける内容紹介の引用です。パーセント（%），ppm，ppbなどで表される組成データを解析する際の問題点を整理。岩石の化学組成や血液の成分などさまざまな場面で使用されるにもかかわらず，不適切な利用も少なくない。図表を用いてビジュアルに解説，解決方法を提示。Rによる解析方法も紹介。〔内容〕定数和制約／対数比解析／単体解析／絶対量変動。

Gln 2023/09/27

リンク

ベイズ最適化のときカーネル関数に線形項を入れると外挿の方向を定めやすい

分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。特に y の目標値が現状のデータセットにおける y の値より遠いとき、x の外挿領域を探索する必要があります。外挿領域を探索する方法の一つが、ベイズ最適化です (もう一つは直接的逆解析です)。

Gln 2023/08/25

リンク

Locally-Weighted Partial Least Squares (LWPLS, 局所PLS) ～あのPLSが非線形性に対応！～ [Python・MATLABコードあり]

Gln 2021/12/12

リンク

回帰係数=寄与度とすることは危険、どうしても寄与度を求めたいときはPCRやPLSの1成分モデルで、ただ基本的には寄与度ではなく重要度で議論

タイトルで言いたいことはほとんど言っていますが、丁寧に説明します。たとえば最小二乗法による線形重回帰分析や部分的最小二乗回帰 (Partial Least Squares Regression, PLS) や Least Absolute Shrinkage and Selection Operator (LASSO) などにおいて回帰係数が求められます。

Gln 2020/11/22

リンク

モデルの予測精度を上げるための考え方・方針

目的変数 Y と説明変数 X との間で、回帰分析やクラス分類を行い、モデル Y = f(X) を構築します。もちろん予測精度の高いモデルが望ましいですので、モデルの予測精度を上げるために、いろいろと工夫をします。その工夫の方針は、以下の 5 つです。 Y を表現できる情報を X に追加する Y を表現する情報を X から抽出する Y と関係ない情報を X から除く Y と X が一貫した関係をもつデータセットにするモデルの適用範囲を広げるそもそも X の中に Y に関連する情報がないと (極端な話、乱数の X しかないと)、どんな回帰分析手法、クラス分類手法を用いても、予測精度の良いモデルはできません。そこで、たとえば材料設計のときに Y が何らかの材料の物性であるとき、その物性と関連するような特徴量は何か、考えますし、プラントのプロセスデータを扱うときに Y が何らかの製品品質である

Gln 2020/09/13

リンク

アンサンブル学習でも、各サブモデルの適用範囲・適用領域をちゃんと考えよう！～Ensemble learning method Considering Applicability Domain of each Submodel (ECADS)～

生田：ADって、回帰モデル・クラス分類モデルが本来の推定性能を発揮できるデータ領域のことですよね。応化：はい、そうです。生田：アンサンブル学習のお話しのとき、メリットの一つに “3. 推定値の不確かさ (モデルの適用範囲・適用領域) を考慮できる。” がありました。サブモデルから得られた複数の推定値のばらつきによって、ADを考慮できるというものでした。これと違うのですか？応化：違います。ECADSでは、各サブモデルのADを考えます。生田：100のサブデータセットがあり、それによって100のサブモデルがあるときは、サブモデルごとにADがあるので100のADがあるってこと？応化：そういうことです。生田：今回はサンプルを選んでサブデータセットを作ったんですか？説明変数を選んでサブデータセットを作ったんですか？応化：説明変数を選んで作りました。サンプルを選んでサブデータセットを作ると

Gln 2020/05/31

リンク

MATLAB に慣れた人が Python を始めるときの１１の注意点

この記事では、MATLAB にある程度慣れている人の中で、これから Python をはじめる人を対象としています。両方ともプログラミング言語で似ているところもあるため、0 から Python をはじめるよりは MATLAB を経験していたほうがやりやすいです。ただ、MATLAB と Python とで違う点もあります。今回は重要な相違点をまとめました。 MATLAB は、数値計算・データ解析・機械学習を行うためのプログラミング言語の一つとして有名です。行列計算をしやすいように設計されているため、データ解析したり機械学習の手法を開発したりしやすいのです。Statistics and Machine Learning Toolbox などの多くのツールボックスが充実しており、機械学習の分野だけでなく信号処理・制御・経済・ロボットなどのいろいろな分野で活用されています。制御の分野では Simul

Gln 2019/06/29

リンク

[デモのプログラムあり] 勾配ブースティングGradient Boosting、特に Gradient Boosting Decision Tree (GBDT), XGBoost, LightGBM

Gln 2019/04/10

リンク

データ解析・機械学習をはじめたいとき、市販のソフトウェアを使うのがよいか、プログラミングを勉強するのがよいか、それぞれのメリット・デメリットを考える

Gln 2019/01/08

リンク

ダブルクロスバリデーション(モデルクロスバリデーション)でテストデータいらず～サンプルが少ないときのモデル検証～

回帰モデルやクラス分類モデルを検証するときの話です。モデルの検証一般的には、データセットが与えられたとき、サンプルをモデル構築用サンプル (トレーニングデータ, training dataset) とモデル検証用サンプル (テストデータ, test dataset) に分けます。そして、トレーニングデータで構築された回帰モデルやクラス分類モデルの推定性能を、テストデータで検証します。回帰分析手法・クラス分類手法の中には、モデルを構築する前に決めておかなければならないパラメータ (ハイパーパラメータ) が存在します。たとえば、Partial Least Squares (PLS) における成分数、Support Vector Machine (SVM) における C やガウシアンカーネルの γ などです。このようなハイパーパラメータの値の決め方として、クロスバリデーションが一般的です。

Gln 2018/12/15

リンク

バリデーション結果は、少数の比較には使ってよいが最適化に使ってはいけない！～外部バリデーションや(ダブル)クロスバリデーションでは何を評価しているのか？評価するときのジレンマとは？～

Gln 2018/12/15

リンク

データ解析・機械学習に関する手法・考え方・注意点のまとめ

データ解析に関するいろいろな手法を解説した記事や、データ解析をするときの考え方の記事をまとめました。興味のある内容がございましたら、ぜひリンクへ飛んでいただけたらと思います。 pdfファイルやパワーポイント(pptx)ファイルは、自由にご利用ください。数学(行列計算・線形代数・統計・確率)が不安な方へ高校数学の知識から、人工知能・機械学習・データ解析へつなげる、必要最低限の教科書人の学習と人工知能の学習～人工知能を学習させるとかモデルを構築するということ～ Datachemical LAB 化学・化学工学分野におけるデータ解析・機械学習クラウドサービス「Datachemical LAB」 Datachemical LAB をデータ解析・機械学習・人工知能の初学者が用いて問題ないのか？ Datachemical LAB は他のソフトウェアと何が違うのか？～９つの大きなポイント～ Dat

Gln 2018/12/15

リンク

本当に標準偏差(分散)が０の説明変数(記述子・特徴量)を削除してよいのか？

AD はサンプル間の類似度に基づくものが多いです。たとえば、トレーニングデータのサンプルとテストデータのサンプルとの類似度が高いとき、そのテストサンプルは AD の中、逆に類似度が低いとき、AD の外、といった具合です。今、類似度を (ユークリッド) 距離の逆数とします。距離が小さいとき、類似度が高くなりますね。ただ距離の逆数でない別の類似度を考えてもらっても全く問題ありません。とにかく、トレーニングサンプルとテストサンプルとの間で距離を計算するわけです。今、説明変数が 100 あって、トレーニングデータにおいて標準偏差が 0 の変数が 30 あり、残った変数が 70 になったとしましょう。もちろんオートスケーリングした後に、70 変数で距離を計算することになります。ここで大事なことは、標準偏差が 0 になったのはトレーニングデータの中だけであって、テストデータまで含めると、標準偏差