[B! Kalman] makayaのブックマーク
時系列信号の推定・予測手法の基本中の基本であるカルマンフィルタを，直観的理解を見失わない範囲でなるべく簡潔に導出してみる試み．まあ実際に書き上げてみた結果「簡潔って何だっけ」という気持ちになってる． 直観的であることと簡潔であることはなかなか両立が難しい．実際，単に証明の字面を短くしたいならもっと別のアプローチ (例えば直交射影原理) の方がよいだろうし，今回のアプローチでもさらに冗長性を排除することはできる．しかし簡潔過ぎると初学者にはきつい (私にもきつい)．少々長くなるのは許容して，導出になっているのと同時に解説にもなるようなものを目指した． 一方で，長すぎるとそれはそれで心が折れるので，細かい話や念のための補足説明は，注釈としてグレーのボックスに分けて書くことにした． この手の文章を書くときに，前提知識をどう設定するべきかはとても難しい．今回は，線形代数は完全に既習として，確率論に
カルマンフィルタ・予測・平滑化で状態を逐次推定する - Qiita
はじめに 状態空間モデルにおいて状態を逐次的に推定する有名な手法の1つにカルマンフィルタというものがあります。 カルマンフィルタなどを用いて出来る事・概要・手順・numpyを用いた行列実装をまとめてみました。 この記事の対象としている人 確率分布の計算はなんとなくわかる 状態空間の概念はなんとなくわかる カルマンフィルタはよく知らない numpyの行列実装の仕方を知りたい カルマンフィルタで出来る事 カルマンフィルタを使うと、ノイズ混じりの観測データから、観測ノイズを取り除いた状態を逐次推定できます。 こんな感じです。 経済やマーケティングの文脈においては、時系列データの平滑化やトレンドの把握、少し先の予測などに使われます。 ある事象に対して、時点1から時点tまで時系列に沿って観測したデータ$y_{1:t}$があるとします。 例えば、DAU(Daily Active User, 1日あたり
VGGNet: 初期の定番CNN | CVMLエキスパートガイド
1. 概要 VGGNet とは，初期の代表的な少し深い物体画像認識向けの，畳み込みニューラルネットワーク(CNN)である [Simonyan and Zisserman, 2015] ．Andrew Zisserman 主催の Oxford大の研究室「VGG (Visual Geometry Group)」と，VGGが提携しているGoogle Deep Mindにより提案された．そのVGGチームから発表されたことから「VGGNet」と呼ばれており，2014年のISLVRC勝者である． この記事ではVGGNetについて簡潔に紹介する． 論文名に「Very Deep Convolutional Networks for Large-Scale Visual Recognition」とある通り，当時最先端であった AlexNet [Krizhevsky et al,. 2012] などよりも，更
Is Attention All You Need? Part 1Transformer を超える(?)新モデルS4 - GMOインターネットグループ グループ研究開発本部
2023.03.31 Is Attention All You Need? Part 1 Transformer を超える(?)新モデルS4 Is Attention All You Need? こんにちは、グループ研究開発本部・AI研究室のT.I.です。“Attention Is All You Need”といって発表されたTransformer(とAttention Layer)は、驚異的なAIの性能改善をもたらしました。以来、自然言語処理(NLP)などの分野では、従来のRecurrent Neural Network(RNN)ではなく、Transformer-based modelがデファクトスタンダードとなり、その延長線上に今日のChat-GPTなどの高性能AIが生まれました。 Transformer とその改良版については、これまでのBlogで何度も紹介してきました(Reform
時系列モデリング手法 HiPPO を読み解く(1) - どすえのブログ
ICLR2022で発表された、新しい時系列モデリング手法としてS4(Structured State Space Sequence model)というものがある。S4は長距離ベンチマークで従来手法を圧倒的性能で破って話題となった。 S4の論文はいくつかの研究の集大成となっており、核となる技術としてHiPPO (Recurrent Memory with Optimal Polynomial Projections)というものがある。そこで論文と著者実装を通じて、HiPPOとはどんなものなのかを理解することを目指す。 実装編はこちら。 dosuex.com 概要 まずはHiPPOの概要を記載する。 HiPPOによる時系列関数近似の様子。 時系列データからの学習における中心的な問題は、累積する履歴に応じて、圧縮された「表現」を逐次的に更新することである。 本研究では、連続信号や離散時系列を多項
【2024】CNNと画像分類の6つの代表的なアーキテクチャの特徴まとめ | AI研究所
CNN（Convolutional Neural Network：畳み込みニューラルネットワーク）とは、画像認識に特化したディープラーニング（Deep Learning）の1つです。 Convolutional Neural Networkの略称がCNNです。 基本的には、「畳み込み層」＆「プーリング層」の組み合わせを複数回繰り返したあと、最後に全結合層を繰り返して結果を出力します。 CNNについてはこちらの記事で詳しく解説しています。 【2024】CNNとは？機械学習やDNNとの違い、構造なども詳しく解説！ 畳み込みとは畳み込みとは、フィルター(カーネル)を通して画像の特徴を抽出する画像処理です。画像の特徴がより強調されるのと同時に、「位置のズレ」にも強いモデルが出来ることで認識精度が上がります。 縦と横のフィルター(カーネル)を通すと… プーリングとはプーリングとは、縦・横方向の空間を
LeNet: 最初のCNN構造 | CVMLエキスパートガイド
1. LeNetとは [概要] LeNetとは，CNN(畳み込みニューラルネットワーク)の，最初の提案および実装である [LeCun et al., 1989], [LeCun et al., 1998a] ．従来の「画像認識向けの3層MLP」を，LeNetでは「畳み込み層 - サブサンプリング層」を2回繰り返したのち，全結合層を3層つなげて識別するというCNN構造へと，初めて発展させた．これをLeCunらは，(MNIST データセットのような)「郵便の手書き数字画像からの文字クラス認識」向けに，LeNet(CNN)を研究開発し，論文としてもその成果を発表した．これは，LeNetは「局所不変性により，手書き文字にも対処できるようにした」というCNNの実用性を示した，かなり応用向けのプロジェクトの成果であったと言える． この記事では，LeNetのネットワーク構造と特徴について，主に紹介する．
Neural Architecture Searchを用いたセマンティックセグメンテーションモデルの探索 - Preferred Networks Research & Development
はじめに 近年、ニューラルネットワークを用いた機械学習の実用化が様々な分野で進んでいます。機械学習モデルの推論精度を向上させるためには、通常多くの試行錯誤が必要となりますが、モデルのデプロイ先の多様化に伴い、単純な精度向上だけでなく利用環境の制約（推論速度、メモリ使用量、バッテリー消費量、等々）も考慮したチューニングが必要となっています。 そのようなニューラルネットワークを実デバイス上での速度や精度の要求に合わせてチューニングする作業は、多くの人的資源と計算資源を要します。PFNでは、この作業を自動化しつつ人手よりもさらに良いモデルを作成する手法の一つとして、ニューラルアーキテクチャ探索（Neural Architecture Search、以降は”NAS”と表記）を効率的に行うためのエコシステムの整備を進めています。 本記事では、開発を行っているNASエコシステムの概要と、その適用事例の
2019年最強の画像認識モデルEfficientNet解説 - Qiita
GPipeは大きすぎてハードウェアのメモリに限界がきてしまっている。 そのため、効率的なモデルが求められる。 2.2 ConvNetの効率性 モデル圧縮やハンドクラフトによる効率的なモデル作成などがあったが、近年ではNAS(=Neural Architecture Search)によるモデル作成が性能が良く、流行っている。 この論文ではモデルの広さ、深さ、解像度をいじるモデルスケーリングを使ってConvNetの効率性を高める。 3. Compound Model Scaling(複合モデルスケーリング) 3.1 問題の定式化 繰り返しになるが、モデルスケーリングはあくまで広さ、深さ、解像度を変えるだけで、 レイヤーのアーキテクチャを変えたりはしない。 そのため、いじるのは広さ、深さ、解像度だけで良くなるが、全てのレイヤーでそれらを最適な値にするのはまだ候補が多すぎるため、この論文では、全て
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列モデリング手法 HiPPO を読み解く(2) - どすえのブログ