eccoによる言語モデルの可視化 (2022-01-28 NLP Hacks#1)2022-01-28に開催されたNLP Hacks#1での発表資料です。
焼きなまし法と粒子群最適化法の探索挙動を可視化してみた - クマガリウムぶろぐ
目次 目次 0. はじめに 1. 最適化アルゴリズム 1.1 山登り法 1.2 焼きなまし法 1.3 粒子群最適化（Particle Swarm Optimazation: PSO） 2 ベンチマークを用いた探索挙動の可視化 2.1 Sphere function 2.2 Ackley function 2.3 Rastrigin function 2.3 Himmelblau's function 3. おわりに 4. 参考 0. はじめに 以前書いたブログ（超個体型データセンターにおける群知能クラスタリングの利用構想 - クマガリウムぶろぐ）の構想実現を進めるために、最適化アルゴリズムの基本的なところを理解するため、山登り法をはじめ、焼きなまし法や粒子群最適化法の探索挙動を可視化した結果を簡単にまとめてみます。 ※このあたりお詳しい人がいたらコメント、補足など大歓迎 1. 最適化アルゴ
[拡散モデル] 拡散過程を可視化してみる
はじめに 現在、話題になっている拡散モデルでは、観測データに対して、ノイズを徐々に加えて最終的にノイズのみする拡散過程が使われています。 その拡散過程が実際にどの様にノイズに変換するかを確率分布で可視化してみようと思います。 以下の数式では、拡散モデルの元祖であるDDPM(Diffusion Denoising Probabilistic Models)とそろえます。 以下で使う可視化コードは、こちらにあります。 拡散過程の概要 拡散過程は、観測変数にノイズを徐々に加えていき、最終的にノイズのみの分布( \bold{x}_T)にする過程のことである。 ステップを t として、確率変数 \bold{x}_{t-1} から \bold{x}_t への条件付き確率を以下の式で表す。 \begin{align} q(\bold{x}_t|\bold{x}_{t-1}) := \mathcal{N}
![[拡散モデル] 拡散過程を可視化してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a02c9a70e35ef9edf6b1cdbc53c70199069d14/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--_cKBL5rq--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E6%25258B%2525A1%2525E6%252595%2525A3%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%25255D%252520%2525E6%25258B%2525A1%2525E6%252595%2525A3%2525E9%252581%25258E%2525E7%2525A8%25258B%2525E3%252582%252592%2525E5%25258F%2525AF%2525E8%2525A6%252596%2525E5%25258C%252596%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ars220122%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EvQUNnOG9jSmpaU0ZySGFtV2hHekd6MHA0aWtQekNFT3kwOTlaU1ZpZEM0NXE3SkM0SWJBUVlteW49czk2LWM%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
今日の論文2023/05/11, 12：AttentionViz: A Global View of Transformer Attention - izmyonの日記
AttentionViz: A Global View of Transformer Attention arxiv.org Yeh, Catherine, Yida Chen, Aoyu Wu, Cynthia Chen, Fernanda Viégas, and Martin Wattenberg. "AttentionViz: A Global View of Transformer Attention." arXiv preprint arXiv:2305.03210 (2023). ©2023 The Authors License: Creative Commons Attribution 4.0 International License(CC-BY) 本記事は、原著の内容に基づき筆者が要約または翻訳したものです。以下の図は、そこから引用しています。 This article
Poincaré Embeddings でJ1リーグのチーム・選手を可視化 - u++の備忘録
ふと「Poincaré Embeddings」*1で遊んでみたいと思い立ち、サッカーJ1リーグのデータで試してみました。 Poincaré Embeddings gensimでの実装とデータセット Poincaré Embeddingsの学習 活用方法 おわりに Poincaré Embeddings Poincaré Embeddingsに関する説明は、ABEJA*2やscouty*3のブログに譲ります。 Poincaré Embeddings は端的に言うと word2vec の埋め込み先をユークリッド空間ではなく双曲空間にするという手法で、階層構造やべき分布をもつデータを埋め込むという問題設定において、低次元でもよい表現を与えられるという特徴があります。 Poincaré Embeddings による職種の類似度計算とその利用 - LAPRAS AI LAB gensimでの実装とデ
Selecting median using Quick Select Algorithm(1) - agwの日記
先日のエントリではメディアンの選択にsort()を用い、より効率のよいメディアンの選択方法を課題としました。 さて、今回そのアイデアの一つとして紹介するのはQuick Selectというアルゴリズムです。Quick Selectというアルゴリズム名は一般的ではないかもしれません。また、原典でも異なる呼称がなされている可能性があります。 Quick Selectはかの有名なアルゴリズム、Quicksortの分割部分を利用したアルゴリズムです。QuicksortはC. A. R. Hoareから1962年にComputer Journalにて発表されており、先日紹介したkd木と同様、1980年代に書かれた名著アルゴリズム Cに取り上げられています。日本語版では第1巻、整列のクイックソートの章に掲載されています。 Quick Selectは以下のような特徴を持っています。 平均的に線形時間で走る
『繋がり』を見る： Cytoscapeと周辺ツールを使ったグラフデータ可視化入門
『繋がり』を見る： Cytoscapeと周辺ツールを使ったグラフデータ可視化入門AI-enhanced description The document discusses Cytoscape, a software environment for visualizing biomolecular interaction networks, highlighting its capabilities, tools, and models like the Watts-Strogatz and Barabási-Albert for network generation. It contains technical details about network visualization and examples of node interactions along with a sample
nlplotを使ってみた - Re:ゼロから始めるML生活
最近、昨年書かれたこちらの記事を見かけました。 www.takapy.work なんだか非常に良さそうな感じで実際に使ってみたので、今回は使ってみたときのメモです。 nlplot is なに？ 実際に使ってみる 前提条件 使用するデータ 環境 表示してみた 注意点 使用したサンプルスクリプト 感想 nlplot is なに？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男 何やら簡単にNLPにおける可視化ができるツールらしく、非常に便利そうです。 Githubはこちら。 github.com 何やら可視化できるのは、 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-
データ分析を支える可視化ツールの作り方 〜 ヤフーのデータで紹介します
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめての○○特集3本目の記事です。 はじめまして。ヤフーで社内向けのデータ可視化ツールの開発を担当しているタムラです。 本記事では、ヤフーのデータ分析を支える可視化ツールについて紹介します。「若手エンジニアに贈りたい、はじめての○○特集」、ということなので、なるべくわかりやすく書いたつもりですが、いかんせんテーマがニッチなので、はたして日本に同じような仕事をしている人が何人いるのか、どれくらいの人に役立てる内容なのか、少し不安です。しかし、記事を通して、はじめて分析業務をされる方や、可視化ツールに限らず、はじめてプロダクト開発をされる方にも、少しは生かせるものになっていれば幸いです。 データ可視化ツールってなに？ データ可視化ツ
ChainerRL を Colaboratory で動かす - Qiita
TL;DR (英語版) https://colab.research.google.com/github/chainer-community/chainer-colab-notebook/blob/master/hands_on_en/chainerrl/quickstart.ipynb (日本語版) https://colab.research.google.com/github/chainer-community/chainer-colab-notebook/blob/master/hands_on_ja/chainerrl/quickstart.ipynb Colaboratory で、ChainerRLで動かした。 ChainerRL は、Chainerを使った深層強化学習ライブラリ。 Colaboratory は、Google が公開している無料で Jupyter noteboo
双方向ダイクストラ - tshitaの備忘録Ⅱ
・（追記）2015年11月3日：Mi_Sawaさんとtmaeharaさんのソースコードへのリンクとtmaeharaさんのプログラムとの比較 [概要] 双方向ダイクストラを初めて実装したので備忘録としてまとめておきます． 時間がないのでざっくりとしか書いてません． 双方向ダイクストラ法を知らなかったのでMi_Sawaさんに教えていただきました．有り難うございます． 無向グラフ上で始点sと終点tが与えられたときのsからtへの最短路を求める問題を考えます．この問題は2頂点対最短経路問題と呼ばれています．グラフの上で最短経路を求める問題は一般的に最短経路問題と呼ばれておりいろいろな種類があります． 最短経路問題 - Wikipedia 特にsから各頂点への最短経路を求める問題は単一始点最短経路問題と呼ばれており，その問題を解く有名なアルゴリズムにダイクストラ法（ダイクストラ法 - Wikipedi
ソーベルフィルタでMNISTデータの画像のエッジ検出 - 人工知能・ロボティクス・and so on 工学系ブログ
今回は空間フィルタの一つで、エッジ検出に用いられるソーベルフィルタを使ってみたいと思います。 1. ソーベルフィルタ ソーベルフシルタは空間フィルタの一種で使用されるもので、以下のものが代表的です。 ぱっと行列を示されるのもあれなので、順に簡単に説明します。 1.1 エッジ検出と微分 我々人間も画像でエッジを検出するときには色の変化の度合いを見ますよね。コンピュータにおいても同様で、画素と画素の間における画素値の差の大きさを見るのです。例えば以下行列を画像にしてみます。 >>> ex = np.array([[0,0,0,0,0], [1,1,1,1,1], [1,2,3,4,5], [5,4,3,2,1], [1,1,1,1,1], [0,0,0,0,0]]) >>> plt.imshow(ex, cmap=plt.cm.gray_r, interpolation='nearest')
高次元のデータを可視化するt-SNEの効果的な使い方
t-SNEは、高次元のデータを可視化する手法としては、非常に便利ですが、時々不可解な挙動をしたり、誤解を招くような可視化をすることがあります。 シンプルなデータを可視化して動作の仕組みを理解することで、t-SNEのより効果的な使い方を学ぶことができます。 t-SNEは、高次元のデータを調査するための手法として、2008年にvan der MaatenとHintonによって発表 [1] された人気の手法です。 この技術は、数百または数千次元のデータですら無理やり2次元の「マップ」に落とし込むという、ほとんど魔法のような能力を備えているために、機械学習の分野で幅広く普及しています。 このような印象を持っている方が多いのですが、こういった捉え方をしていると誤解を招くこともあります。 この記事の目的は、よくある共通の誤解を解くためでもあります。 t-SNEで可視化できることと、できないことを説明す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VTuber 埋め込みベクトル可視化プロジェクト
独立成分分析を用いた埋め込み表現の視覚的な理解
旅行記から地図へ：文章から旅の軌跡を取り出して地図上に描く
Integrated Gradientsでグラフニューラルネットワークを可視化する
UMAP 0.4の新機能で遊ぶ（プロット、非ユークリッド空間への埋め込み、逆変換） - Qiita
高次元データの分布の密度を反映した埋め込み手法DensMAP - Qiita
JSのProxyでアルゴリズムを可視化する - Qiita
