はてなブックマーク

こんにちは，株式会社Ridge-iリサーチチームの@machinery81です． 今回は有名なオッカムの剃刀の概念と，この原則に基づいた汎化誤差解析の最もシンプルな例を紹介したいと思います． 本記事の内容は以下のスライドに基づいています： speakerdeck.com TL;DR オッカムの剃刀 Occam Bound Occam Boundの証明 Occam Boundのベイズ的解釈 さいごに 参考文献 TL;DR オッカムの剃刀の概念について説明； オッカムの剃刀の形式化と汎化誤差解析への応用について説明． オッカムの剃刀 必要が無いなら多くのものを定立してはならない．少数の論理でよい場合は多数の論理を定立してはならない [1]． ja.wikipedia.org みなさんはオッカムの剃刀を知っていますか？ オッカムの剃刀は議論の際に必要以上に多くの仮定をおいてはならないという原則で

こんにちは，株式会社Ridge-iリサーチチームの@machinery81です． 今回はK-fold Cross Validationの理論的側面を紹介したいと思います． なお本記事は@zawatsky_rによってレビューされています． 本記事の内容は以下のスライドに基づいています： TL;DR はじめに Hold-Out ValidationとCross Validation K-fold Cross Validationの理論的優位性 準備とゴール K-fold Cross ValidationはHold-Out Validationと少なくとも同等 K-fold Cross ValidationはHold-Out Validationに対して厳密に優越 数値実験 さいごに 参考文献 TL;DR K-fold Cross Validationは単一のHold-Outに対して汎化バウンド

こんにちは，株式会社Ridge-iの@obaradsです．本記事では点群処理における表現学習手法について紹介します．また，本記事は@machinery81にレビューしていただきました． TL;DR 表現学習とは 点群で表現学習を扱う理由 点群の特徴の生成 ラベル付きデータが制限されている状況下におけるモデルの性能向上 点群間の対応を見つけるための表現学習 表現学習方法について 再構築タスクによる学習 Contrastive Learning 点群の表現学習に関する文献紹介 点群処理への深層学習の適用以前の特徴量の算出 ～2017年：PointNetが提案される以前の表現学習手法 2017～2019年：PointNetが提案されて以降の生成モデルを用いた表現学習手法 2019～2020年：自己教師あり学習を利用した表現学習手法 2020年～：シーン点群に着目した表現学習手法 まとめと今後の傾

こんにちは，株式会社Ridge-iのリサーチチームの@machinery81です． 今回はNeurIPS2020で発表されたデータセットシフトを扱う機械学習に関連する論文を紹介します． 本記事は，Ridge-i主催の論文読み会で発表した以下の資料に基づいています． TL;DR 機械学習におけるデータセットシフト Covariate Shift Target Shift Concept Shift Domain Shift Sample Selection Bias Taxonomy of NeurIPS2020 papers about Dataset Shift 論文紹介 Rethinking Importance Weighting for Deep Learning under Distribution Shift Importance Weighting for Distribut

こんにちは．株式会社Ridge-iの@zawatsky_rと@machinery81です． 本記事ではPruningと呼ばれるニューラルネットワークの軽量化手法を紹介します． TL;DR Pruningとは？ Pruning手法の概要 手法の違いのポイント Structure Scoring Scheduling Fine-Tuning Pruningに関する論文の紹介 Unstructured Pruning Structured Pruning 自動モデル圧縮 Amc: AutoML for Model Compressionとその亜種 AutoPruner The Lottery Ticket Hypothesis メタ研究 To Prune, or Not to Prune: Exploring the Efficacy of Pruning for Model Compressi

こんにちは，株式会社Ridge-iのリサーチチームの@machinery81です． 今回はグラフデータを扱う機械学習のヘルスケア分野への応用のお話を紹介します． TL;DR 機械学習・データマイニングの応用先としてのヘルスケア分野 万能薬から精密医療へ 電子カルテ 創薬 患者調査 ヘルスケア分野を繋ぐグラフマイニング グラフ上の機械学習 古典的なアプローチ グラフの統計量に基づく手法 ランダムウォークに基づく手法 行列因子分解／テンソル因子分解に基づく手法 Graph Neural Network Graph Convolutional Network 創薬分野へのグラフデータの応用 ターゲットの識別 分子特性予測 グラフマイニングによる既存薬再開発 薬品と疾患の相互作用の分析 Combination repurposing 今後の見通し その他の話題 さいごに 参考文献 TL;DR 機械