UMAP のハイパーパラメータチューニングにおける K-means とシルエットスコアの活用
■ はじめに こんにちは。データシステム部 推薦基盤チームのかみけん（上國料）です。よろしくお願いします。 いきなり本題に入りますが、データ分析において、高次元データの可視化やクラスタリングは重要なステップだと思っています。ただ、データ分析をする上で、ラベルがそもそも存在しない（or 大量に存在する）データを扱うことが稀にあります。 今回は、元データにラベルが存在しない、すなわち教師なし学習前提で、次元削減手法である UMAP (Uniform Manifold Approximation and Projection) のハイパーパラメータを最適化する方法を紹介します。どこかで参考になれば幸いです。 ■ 手法サマリ ラベルのないデータに対して、次元削減手法 UMAP のパラメータを最適化します。パラメータ最適化には Optuna を使用し、次元削減後の潜在空間をシルエットスコア で評価・
Facebook のオープンソース最適化ライブラリAx を使ってXGBoost のハイパラチューニングを行ってみた - Qiita
製造業出身のデータサイエンティストがお送りする記事 今回はFacebook のオープンソース最適化ライブラリAx を使ってXGBoost のハイパーパラメータをチューニングしてみました。 ##はじめに 勾配ブースティング木に関しては、過去に記事を書いておりますのでそちらを参照して頂けますと幸いです。 勾配ブースティング決定木（XGBoost, LightGBM, CatBoost）を実装してみた Optuna を使ったハイパラチューニングに関しても、過去に記事を書いておりますのでそちらを参照して頂けますと幸いです。 勾配ブースティング決定木（XGBoost, LightGBM, CatBoost）でOptunaを使ってみた ##Ax とは Ax は、Facebook のオープンソース最適化ライブラリです（公式のGitHubページ）。 Ax は、ベイズ最適化（GP-EI)を使ってハイパーパラ
一次元畳み込みニューラルネットワークとハイパラ探索 - ころがる狸
機械学習の分野で最も有名なモデルに畳み込みニューラルネットワーク（CNN）と呼ばれるものがあります。2012年にCNNが画像認識処理において卓越した性能を示したことで科学や生活の在り方は大きく変わりました。この手法は画像（2次元データ）のみならず波形のような1次元データに対しても転用可能です。本記事では、スマートホンのセンサから取得した人の行動波形に関する畳み込みニューラルネットワークのPyTorchによる計算方法を紹介します。またOptunaを用いたハイパーパラメータ探索によってハイパーパラメータの探索やその重要度評価が可能となります。計算手順を追ってみていきましょう！ 学習用データ プログラム説明 結果の分析 終わりに 学習用データ 学習用データには、スマートホンのセンサーから取得した人間の行動データとその時の実際の行動（歩行、階段を上る、階段を下る、座る、起立する、横たわる）に対応し
μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する｜Tatsuya Shirakawa
最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実（μTransfer）を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。 μTransfer 下記の手順で大規模モデル（Neural Networks）の最適なハイパーパラメータを効率的に獲得できる 1. 学習したい大規模モデル（ターゲットモデル）と同じアーキテクチャの次元や層数のより小さいモデルを用意し、それぞれのモデルのパラメータと最適化アルゴリズムを μP と呼ばれる方法でパラメータ付けする 2. その小さいモデルで、最適なハイパーパラメータ（学習率など）を探索する 3. ターゲットモデルに小さいモデルで獲得されたハイパーパラメータを適用する Greg Yang+, "Tensor Programs V: Tuning Large Neural Net
OptunaでProphetのパラメータをいじって時系列予測の精度を改善してみた - Qiita
NTTドコモ R&D Advent Calendar 2020 の9日目の記事となります。 NTTドコモ1年目の島田です。普段はグロースハックチームでデータ分析業務をしています。 今回は、時系列予測ツールProphetと、ハイパーパラメータ自動最適化フレームワークOptunaを組み合わせたら、どのくらい精度があがるのかを試してみました。 そもそも 時系列予測となると、特に統計モデルの知識やドメイン知識が必要になります。 古典的なARIMAや状態空間モデルを使うのであれば統計の知識が求められますし 機械学習で予測するにしても、「季節性を表現する特徴量構築」のフェーズがあり、 データを観察し、ドメイン知識を利用しながら特徴量を慎重に設計する必要があります。 また、時系列データの場合、データ量が少ないことが多々あります。 日次データになると、1年分だとしても365点しかデータが存在しないので、サ
順序付き多値分類を回帰問題で解くときの閾値をoptunaで求める - まずは蝋の翼から。
目的 データ 分類問題として解く 回帰問題として解く 連続値の予測部分 パターン1.Clipping+四捨五入でラベル化する パターン2. Optunaで閾値を探索してラベル化する 計算時に変数を用いる 対応策1.高階関数 対応策2. Objective Class+call 最適化の実行 目的 分類クラスが順序付きカテゴリの場合、分類問題としてではなく回帰問題として解く方法がある。 その際に、例えば2.4として予測されたラベルは2とするか3とするかを判別する閾値を最適化したい。 for文を回して0.01刻みで計算して・・・という愚直なやり方でもいいが今回はoptunaを使う。 モデルはlightGBMを用い、評価指標はF1-macroとする。 データ 挙動を確認するだけなので、House Priceの住宅価格MEDVを四捨五入して10で割ったものを順序付きラベルとする（12.9ならラベル
Optunaからも使えるCMA Evolution Strategyの実装を公開しました。 | | AI tech studio
2020.1.31 Optunaからも使えるCMA Evolution Strategyの実装を公開しました。 Covariance Matrix Adaptation Evolution Strategy (CMA-ES)は、ブラックボックス最適化において最も有望な手法の1つです。CMA-ESはハイパーパラメータ最適化にも使われていて [1, 2]、近年では、ハイパーパラメータ最適化においても、評価回数が許容できる場合や並列化環境がある場合には、ベイズ最適化を上回る性能を示すことが報告されています[6]。 CMA-ESをPythonで実装しGitHubで公開したのでその使い方や性能について紹介します。Optunaからも利用できるようになっているのでぜひハイパーパラメータの最適化に使ってみてください。 URL: cmaes: Lightweight Covariance Matrix Ad
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Optunaによる多目的最適化