Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt
Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt Abst. Webスケールデータでの学習は数ヶ月かかることもある。しかし、ほとんどの計算と時間は、既に学習済みの冗長でノイズの多いポイントや、学習不可能なポイントに浪費されている。学習を高速化するために、研究ではRHOLOSS（Reducible Holdout Loss Selection）を導入している。これは、モデルの汎化損失を最も低減する学習用のポイントを大まかに選択する、シンプルだが原理的なテクニックである。 その結果、RHO-LOSSは既存のデータ選択手法の弱点を緩和していた。最適化の文献にある手法は、一般的に「難しい」（例えば、損失の大きい）点を選択するが、そのような点はしばしばノイズが多い（学習可能ではな
It's DONE: Direct ONE-shot learning with quantile weight imprinting
Learning a new concept from one example is a superior function of the human brain and it is drawing attention in the field of machine learning as a one-shot learning task. In this paper, we propose one of the simplest methods for this task with a nonparametric weight imprinting, named Direct ONE-shot learning (DONE). DONE adds new classes to a pretrained deep neural network (DNN) classifier with n
Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping
Using an extended and formalized version of the Q/C map analysis of Poole et al. (2016), along with Neural Tangent Kernel theory, we identify the main pathologies present in deep networks that prevent them from training fast and generalizing to unseen data, and show how these can be avoided by carefully controlling the "shape" of the network's initialization-time kernel function. We then develop a
Orderflow/Market Profile｜EGG
一年前noteを初めて書き一年が経ちました。 前回はOrderflowの基本やFootprintの見方、その他諸々を説明した訳ですが、書くという行為から早く解放されたく駆け足で締めてしまいました。 その為本来書きたい事の1/10程度の記事となり、誤解を招きそうな表現もあった為、2週間程度で非公開にしました。 また数ヶ月後くらいには続きを書くつもりが、沖縄タイム的なおっさんタイムが発動しこの有様という訳です。 おっさんの光陰矢の如しとはよく聞く台詞ですよね。 前回のものを公開してくれという声も未だに届くので、そろそろ前回分を下敷きにまた中途半端になる事を恐れず書き殴っていこうと思います。 備考として記事中には出来るだけ翻訳していないナマの英語表記を用いていますが、これは意識高い系のビジネス英語のような気持ちの悪いものでなく、以下で話されるような内容は英語での情報ソースでしか基本的にはない為、
Exploring Notion's Data Model: A Block-Based Architecture | Notion
A generation of pioneers (Doug Engelbart, Ted Nelson, Alan Kay, and many more) saw the computer as tool to augment human problem-solving by giving people power over information. Today, that information mostly remains siloed across tools. Take cloud-based document editors, where pages are their smallest atomic unit. Information is locked inside of pages and files and folders — that’s reminiscent of
統計・機械学習の理論を学ぶ手順 - Qiita
社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス
A new coefficient of correlation
Is it possible to define a coefficient of correlation which is (a) as simple as the classical coefficients like Pearson's correlation or Spearman's correlation, and yet (b) consistently estimates some simple and interpretable measure of the degree of dependence between the variables, which is 0 if and only if the variables are independent and 1 if and only if one is a measurable function of the ot
不均衡データ対策は決定境界が大事！ ロスを変えてファインチューニングするだけで精度が上がる「Influence-Balanced Loss」の紹介 - Qiita
クラスAは5％下がってしまいましたが、クラスBは+10%、クラスCは+15%になりました。実は先程のmicro averageによる精度を計算すると、 5000×90% + 100×80% + 25×65% ÷ (5000+100+25) = 89.7% 5％近く下がっています。全体の精度が下がったほうが嬉しい、ちょっとおかしいですよね。 microとmacro この感覚のズレを解消するために、macro averageによる精度を計算します。macro averageとはクラス単位の精度を単純平均で求めます1。 前者：(95% + 70% + 50%) ÷ 3 = 71.7% 後者：(90% + 80% + 65%) ÷ 3 = 78.3% 直感と一致しました。microを使うか、macroを使うかは問題によりけりです。macro averageで集計するコンペもあります。不均衡データ対
HiPPO: Recurrent Memory with Optimal Polynomial Projections
A central problem in learning from sequential data is representing cumulative history in an incremental fashion as more data is processed. We introduce a general framework (HiPPO) for the online compression of continuous signals and discrete time series by projection onto polynomial bases. Given a measure that specifies the importance of each time step in the past, HiPPO produces an optimal soluti
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mitigating Neural Network Overconfidence with Logit Normalization
https://arxiv.org/pdf/2205.09310.pdf
Detection of False Investment Strategies through FWER and FDR (Seminar Slides)
http://arxiv.org/pdf/2001.09394
Introducing veBAL tokenomics
A New Mental Model for Defi Treasuries
XICOR/R/calculateXI.R at master · cran/XICOR
Mark Sellke - A Universal Law of robustness via Isoperimetry
深層学習の汎化に関する数理的研究の進展
長距離データで断トツの最高性能 状態空間系列モデル S4 を解説
Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers