深層学習で部分空間を扱うときは射影行列を考えるとよい - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
拙著『グラフニューラルネットワーク』が重版して第 5 刷となりました。皆さまありがとうございます！ 【重版速報🎉🎉🎉🎉】 機械学習プロフェッショナルシリーズの重版が決まりました😆ご愛読ありがとうございます‼️ 松井孝太・熊谷亘『転移学習』【4刷】 https://t.co/Qic24KAwxD 佐藤竜馬『グラフニューラルネットワーク』【5刷】 https://t.co/Peqn1ZQavo pic.twitter.com/VBkNp2Uwjj— 講談社サイエンティフィク🖋️📔 (@kspub_kodansha) 2024年8月1日 グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤竜馬講談社Amazon 拡散モデルと最適輸送（最適輸送第 5 刷）や GNN の最新動向（グラフニューラルネットワーク第 3 刷）でもやりましたが、重版に感謝して書き下
遺伝的アルゴリズムによる非線形重回帰分析の変数＆関数選択
まず回帰分析とは 回帰分析とは何らかの目的変数を別のパラメータ（説明変数）から導き出すモデルを考えることです。 例えばある人の身長は遺伝によりその人の父親の身長と相関があると考えられます。この時息子の身長を「目的変数」として父親の身長から息子の身長を推定することを考えます。 まず、何人もの人の父親の身長(x(i))と息子の身長(y(i))を調べてデータを作ります(x(1),y(1)), x(2),y(2)), x(3),y(3))...)。それをプロットしたところ下図のようになったとします。 この時、なんとなく以下の直線のような関係があると推測できます。式で書くとy=ax+bです。 ではどのようなa,bを選ぶのが一番いいのでしょう？ それは誤差が一番少なくなるa,bです。具体的にはy=ax+bで計算したyの値（理論値）と実際のyの値の差（の2乗）の和（ 残差平方和 ）が最小になるa,bです
軽量なセグメンテーションモデルのNanoSAM を試す
こんにちは、HACARUS でインターンをしている山下です。 今回は、Segment Anything Model (SAM) のような高性能のセグメンテーションモデルを限られたリソース下で利用したい場合の選択肢となる NanoSAM (Apache License 2.0) を紹介します！ NanoSAM は通常の SAM とどう違うのか？ SAM は Meta によって公開された高性能のセグメンテーションモデルです。SAM の基本的な使い方 や 他のモデルと組み合わせて使う方法 は、以前の記事で紹介しました。 SAMは、入力画像を image encoder でテンソルに変換した上で座標指定などのプロンプトと組み合わせ、mask decoder でマスクを出力するという構造になっています。 SAM の構造（パラメータ数は実測値） 上の画像中にも示したとおり、NanoSAM の構造上の
MIRU2025参加レポート: 西野先生の講演「見えないモノを視ようとして」から見えた研究の姿勢
株式会社SCIEN 機械学習エンジニアの川田です。 先日、画像認識とコンピュータビジョン分野における国内最大の会議、MIRU2025に参加してきました。数多くの刺激的な発表がありましたが、中でも特に私の心に深く刻まれたのが、京都大学 西野恒 先生による講演「見えないモノを視ようとして」です。 この講演は、単に研究事例を紹介するだけでなく、そこから『見るとは何か？』という根源的な問いを私たちに考えさせる内容でした。 CVの研究というと、つい最新のモデルの精度や、斬新なモデルアーキテクチャに目を奪われがちです。しかし西野先生は、その原点に立ち返り、目の前の画像や映像そのものを深く観察することの重要性を説きました。 本レポートでは、特に私の心を揺さぶったこの講演の要点を、3つの「見えないモノ」をテーマにご紹介します。 現象の奥に隠された物理法則を視る 「なぜ、風が強く吹く水面は黒く見えるのか？」
論文メモ: Conditional PixelCNN - PixelCNNベースの条件付き画像生成モデル
論文 Conditional Image Generation with PixelCNN Decoders 表記 LL: log likelihood 概要 PixelCNNをベースにした条件付き生成モデルを提案する。モデルに与えるコンテクストは任意のラベルやタグ、埋め込みベクトルを指定できる。例えばImageNetのクラスラベルをコンテクストに与えた場合は動物、物体、風景、構造物などのリアルかつ多様な画像を生成する。また、未知の特定の人物の埋め込みベクトルを与えた場合はその人物の様々な表情、ポーズ、照明条件の画像を生成する。また、提案モデルをオートエンコーダのデコーダとして用いた場合、高精細かつ多様な画像を生成する。さらに、提案手法はPixelCNNのLLを改善し、PixelRNNと同等のLLのモデルをPixelRNNの半分以下の時間で学習することに成功した。 研究分野における位置付け
NVIDIA Cosmos の世界基盤モデルによる合成データ生成入門 〜 Cosmos Predict 編 - ABEJA Tech Blog
こんにちは！ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。 今年の CES2025 にて、 NVIDIA から Cosmos という自動運転やロボティクス用のプラットフォームをリリースしたという発表が大々的にありました。 blogs.nvidia.co.jp CES 2025での NVIDIA 発表動画は、以下を見ていただければと思います（Cosmos以外にも色々発表しています） youtu.be Cosmos は、NVIDIA が提唱している「フィジカル AI」の開発を促進するプラットフォームであり「世界基盤モデル」なるものを使っているとのことで、何やら凄そうな印象を受け、NVIDIA Omniverse との違いも気になったので、実際に Cosmos を動かしながらその機能を確かめてみました。 なお、本記事の動画は全体的に画質が悪いです
[拡散モデル] 拡散過程を可視化してみる
はじめに 現在、話題になっている拡散モデルでは、観測データに対して、ノイズを徐々に加えて最終的にノイズのみする拡散過程が使われています。 その拡散過程が実際にどの様にノイズに変換するかを確率分布で可視化してみようと思います。 以下の数式では、拡散モデルの元祖であるDDPM(Diffusion Denoising Probabilistic Models)とそろえます。 以下で使う可視化コードは、こちらにあります。 拡散過程の概要 拡散過程は、観測変数にノイズを徐々に加えていき、最終的にノイズのみの分布( \bold{x}_T)にする過程のことである。 ステップを t として、確率変数 \bold{x}_{t-1} から \bold{x}_t への条件付き確率を以下の式で表す。 \begin{align} q(\bold{x}_t|\bold{x}_{t-1}) := \mathcal{N}
![[拡散モデル] 拡散過程を可視化してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a02c9a70e35ef9edf6b1cdbc53c70199069d14/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--_cKBL5rq--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E6%25258B%2525A1%2525E6%252595%2525A3%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%25255D%252520%2525E6%25258B%2525A1%2525E6%252595%2525A3%2525E9%252581%25258E%2525E7%2525A8%25258B%2525E3%252582%252592%2525E5%25258F%2525AF%2525E8%2525A6%252596%2525E5%25258C%252596%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ars220122%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EvQUNnOG9jSmpaU0ZySGFtV2hHekd6MHA0aWtQekNFT3kwOTlaU1ZpZEM0NXE3SkM0SWJBUVlteW49czk2LWM%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Sparse Overcomplete Word Vector Representations - こんな夢を見た
Sparse Overcomplete Word Vector Representations Manaal Faruqui, Yulia Tsvetkov, Dani Yogatama, Chris Dyer, Noah Smith, 2015, ACL 単語ベクトルのovercompleteなスパース化。 スパースな単語ベクトルは各次元の成分の強さで解釈がしやすいことから好まれているが、この論文では一般的なSparse codingで単語ベクトルを作り出す際に、次元（構成要素）を増やすような行列分解を行う。 つまりは、語彙数V × 次元数N の元の行列を、語彙数V × 次元数M(>N) に変換してしまうということ。このようにして出来た行列はovercompleteと呼ばれ、画像とか通信?とかの他の分野では使われることもあるらしい。言語処理ではまず見ないので面白い。 変換元のベクトルはS
Visual-Inertial Odometryが自動運転に与えるインパクトと応用への課題 - TIER IV Tech Blog
こんにちは、ティアフォーでVisual SLAMの研究開発をしている石田です。今回はVisual-Inertial Odometryという、カメラとIMU(慣性計測装置)を用いた経路推定手法を紹介し、これを自動運転に応用できた場合のインパクトと、応用までに乗り越えなければならない課題についてお話します。 走行経路の推定結果 なお、ティアフォーでは、「自動運転の民主化」をともに実現していく様々なエンジニア・リサーチャーを募集しています。もしご興味があればカジュアル面談も可能ですので以下のページからコンタクトいただければと思います。 tier4.jp 自動運転における自己位置推定 自己位置推定とは、名前のとおり車両やセンサーデバイスなどが地図の中でどこにいるのかを推定するための技術であり、自動運転において欠かせない要素のひとつです。自分がどこを走っているか把握できなければ迷子になってしまいます
Spherical Average (多点間の球面線形補間)について
こんにちは。GokRackこと極落にんじんです。 今回は、私が Beatrice VSTの2.0.0-beta.3のアップデートとして話者のモーフィング機能 (Voice Morphing Mode)を実装したときに用いた Spherical Average (多点間の球面線形補間) についてのお話です。 背景 私が Beatrice VST に興味を持ってソースコードを眺めたのは Ver.2.0.0-beta.2 の頃なのですが、その当時のVSTのソースコードを読み解く限り、 Beatrice は話者の特徴量を 256 次元の Embeddings で保持しており、話者切り替えは推論時に与える 256 次元のベクトルの値を複数切り替えることで実現されているということが読み取れました。 そこで、試しに VSTのソースコードに手を加えてそれら話者ごとの特徴量ベクトルの加重平均をとって推論させ
SCCL：対照学習の応用による文書クラスタリング
はじめに こんにちは。今回は、こちらのSCCL（Supporting Clustering with Contrastive Learning）という新しいクラスタリング手法について記述します。 Supporting Clustering with Contrastive Learning ※本記事にある画像や数式は、当論文より引用しています。 Contrastive Learningは対照学習のことです。正直なところ、対照学習については学び始めたばかりの段階です。ですが、ここ最近画像処理の分野で著名な対照学習が自然言語処理に応用されていることに興味を持ちました。それで、今回知って読んだ論文を記事に起こすことにしました。 今回の記事は特に理論面の記述の割合が高いので、いきなり細部まで理解しようとせずに読んでいただけたらと思います。 クラスタリングについて クラスタリングの要件 当たり前かも
単眼深度推定のアルゴリズム Depth-Anything を試す
こんにちは！ HACARUS でインターンをしている長野です。 本記事では深度推定の最新モデルの一つである Depth-Anything と、その簡単な実行方法を紹介します。 深度推定とは カメラから被写体までの距離のことを深度と言い、画像から深度を推測することを深度推定と呼びます。以下の画像は深度推定を行った例です。右の画像ではカメラから近い物体ほど明るい色で表現されていることがわかります。 元画像: https://github.com/LiheYoung/Depth-Anything/blob/main/assets/examples/demo3.png 人間は過去の経験から物体ごとのおおよそのサイズ感や遠近感などをわかっているため、画像を一目見て大体の距離感が掴めますが、コンピュータにはその判断が非常に難しいです。そのため、以前はステレオカメラなど複数の視点の画像をもとに深度の推定
【CVPR'22】物体検出アルゴリズムの新しい評価指標 | | AI tech studio
Media fundamentalsチームの大谷です。今回は物体検出を評価するための新しい指標を設計したので、その研究について概要を解説します。この研究成果はCVPR2022に採択されています。論文のリンクはこちらです。 Mean Average Precisionはなにを見ている？ 物体検出の評価では多くの場合Mean Average Precision (mAP)が使われています。まずAPについて概要を確認しておきましょう。APは検出したオブジェクトをconfidence score順に並べてprecision-recall curveを求め、その曲線の下の面積で求められます。これをカテゴリごとに計算し、全てのカテゴリ上で平均したものがmAPです。ここでは詳細に触れませんが、実際のAPの計算では諸々の実装上の事情があり、それらがAPの振る舞いにおいて少なくない影響を及ぼしています。ここ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メタ動画データセットによる動作認識の現状と可能性
係り受けに基づく日本語単語埋め込み - LAPRAS Tech Blog
機械学習を用いた東西日本の境界線決定
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
自律移動ロボットの安全機構のためのLiDARによる速度推定
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
機械学習におけるConcept-Driftの対策または検知について - GMOインターネットグループ グループ研究開発本部
