【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)

決定係数は，予測式（回帰式，回帰モデル）の精度を表す値です。 例えば，左側の図では，予測式がデータにうまく当てはまっているので決定係数が大きくなります（決定係数が 111 に近くなります）。 右側の図では，予測式でデータをあまり説明できていないので，決定係数は小さくなります（決定係数が 000 に近くなります）。 決定係数は R2R^2R2 という記号で表されることが多いです。 決定係数 R2R^2R2 の定義はいくつかありますが，以下の式で定義することが多いです： R2=1−∑i=1n(yi−f(xi))2∑i=1n(yi−μY)2R^2=1-\dfrac{\sum_{i=1}^n(y_i-f(x_i))^2}{\sum_{i=1}^n(y_i-\mu_Y)^2}R2=1−∑i=1n​(yi​−μY​)2∑i=1n​(yi​−f(xi​))2​ ただし，(xi,yi)(x_i,y_i)(

The slides of a talk at Spark Taiwan User Group to share my experience and some general tips for participating kaggle competitions. Read less

はじめまして、メルカリで機械学習エンジニアとしてインターン中の@shidoです。 今回はメルカリ内部で使用する機械学習プロダクトにマルチモーダルモデルを用いることで、予測精度の向上に成功した話をご紹介いたします！ マルチモーダルとは マルチモーダル(Multimodal)なデータは、「ひとつのデータに対する情報が複数(multi)の形式(mode)で存在しているデータ」と説明できます。 例えば動画配信サイトで配信されている動画には、映像・音声・説明文と、ひとつのビデオについて少なくとも3つの形式で情報が存在していると考えることが出来ます。 メルカリに出品されている商品について考えると、ひとつの商品について写真・説明文・値段など複数の形式で情報が存在しているので、これもまたマルチモーダルなデータといえます。 メルカリでの応用：不正出品検知 現在メルカリでは1日100万品以上が出品され、売れて

統計学、パターン認識等で、ROC(Receiver Operating Characteristic；受信者動作特性)曲線という概念が出てきます。また、データ分析・予測のコンペティションサイトKaggleでも、提出されたアルゴリズムの識別性能評価にこのROC曲線に基づくAUC(Area Under the Curve)というものを使っています。（例えばココ） このROC曲線、ちょっとわかりにくいので、まとめてみました。また、アニメーションでグラフを動かしてイメージを付けるということもやってみます。 1. ROC曲線に至る前説 まず、例として健康に関するとある検査数値データがあったとします。 この検査数値は健康な人は平均25, 標準偏差2の正規分布に従い分布しています。（下記図の緑の曲線） 病気の人は平均30、標準偏差4の正規分布に従い分布しています。（下記の図の青の曲線） グラフにすると下

Pythonでのグラフ描画 Pythonチャートを描く場合の定番は「matplotlib」ですが、その見た目のやや野暮ったい感じと、表記法のややこしさが指摘されています。 そこで、この記事ではMatplotlibの機能をより美しく、またより簡単に実現するためのラッパー的存在である、「Seaborn」の使い方を取り上げます。 ◆ Overview of Python Visualization Tools http://pbpython.com/visualization-tools-1.html 上記の記事ではMatplotlibとSeabornについて下記のように書かれています。 matplotlibについて Matplotlib is the grandfather of python visualization packages. It is extremely powerful b

今回は機械学習の数式を追えるようになるために必要と思われ確率の基礎を記事にします。数式を追うための講座なので、確率がなんたるものなのかはある程度知っている前提とし、様々な確率の公式や定理がどのように使われるのかを見て行きたいと思います。 複雑な機械学習への応用を見る前に、個々の公式がどのように適用されるのかを個別に見ておく方が今後の理解に繋がるかと思います。 確率の基礎式 総和が1：確率密度関数 期待値 確率の乗法定理 確率の加法定理 周辺化 ベイズの定理 ベイズの定理の詳細 機械学習におけるベイズの定理 事後分布 尤度関数 事前分布 周辺尤度・エビデンス ベイズ更新 勉強を進めるには 確率の基礎式 総和が1：確率密度関数 まず確率を数式として取り扱う際にメインとなるのは確率密度関数です。 確率密度関数とは以下のような性質を持っています。 というものです。 離散的に書き表した場合は、 とな

こんにちはシバタアキラです。つい先日、DataRobotの第四回ユーザー会を開催しました。回を重ねるごとに参加者の人数が倍々に増え、今回は200人ものユーザーさんにご参加頂くことが出来ました。残念ながら、その内容は来ていただいた方の間だけでのご共有ということでお話頂いたので、ここでは公開できないのですが、金融、製造、医療、メディア等幅広い種類のお客さんが各社での導入事例を紹介してくれました。 各ユーザーさんのあまりに進んだ事例に、参加している誰もがものすごく興奮していました。これはもう機械学習中毒ですね。中にはまだ数ヶ月しか利用していないのに、もうデプロイ寸前まで到達しているお客さんもいれば、諸事情でデプロイまで到達できなかった、ということを素直にお話いただき、他のユーザーさんからの「ある、ある」とともに新たなディスカッションに発展したりと、非常に有意義な時間を過ごすことが出来ました。お話

C.M.ビショップ他著「パターン認識と機械学習」の輪読資料の一覧を当サイトで公開しました。 詳細はこちらから

カルマンフィルタは、状態空間モデルにおいて、内部の見えない「状態」を効率的に推定するための計算手法です。 カルマンフィルタを理解するためには、まず状態空間モデルが何なのかを理解することが必要です。そのうえでカルマンフィルタの考え方と計算方法を学びます。 この記事では、状態空間モデルもカルマンフィルタもあまり詳しくないという方を対象として、カルマンフィルタの考え方とライブラリを使わない実装方法について説明します。 最後に、R言語における有名なカルマンフィルタの計算パッケージである「dlmパッケージ」の簡単な使い方も解説します。 ソースコードはまとめてこちらに載せてあります。 ブログの内容が本になりました。 書籍サポートページはこちらです スポンサードリンク 目次 状態空間モデルの概要 状態空間モデルとカルマンフィルタの関係 カルマンフィルタの考え方 ライブラリを使わないカルマンフィルタの実装

過学習とは、モデルが学習データにのみフィットしており、未知のデータの予測精度が低くなること。一般にモデルを複雑にするほど過学習は起きやすい。 未知のデータを予測する能力を「汎化能力」と言い、未知のデータを予測した際の誤りを「汎化誤差」と言う。 １．１．未知のデータを作る。 まず、未知のデータを作って過学習を実際に見てみる。 import numpy as np import math import matplotlib.pyplot as plt np.random.seed(seed=32) # create samples sample_size = 50 test_size = 20 noise_size = 0.2 dataX = np.linspace(0.0, 5.0, num=1000).reshape((1000, 1)) # create train data x = n