普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
深層距離学習(Deep Metric Learning)の基礎から紹介 - OPTiM TECH BLOG
こんにちは、R&Dチームの河野(@ps3kono)です。深層学習モデルの開発を担当しております。 今回は、画像分類、画像検査、顔認識や異常検知など様々な分野に利用されている深層距離学習(Deep Metric Learning)について紹介したいと思います。 Deep Metric Learningとは 定番のクラス分類と距離学習によるクラス分類の違い 距離学習の進化 1. 対照的(contrastive)アプローチ サンプル選択(sample selection) 代表的な学習手法 Contrastive loss Triplet loss さらなる改善と進化 対照的アプローチの問題点 2. Softmaxをベースにしたアプローチ 代表的な学習手法 Center loss SphereFace CosFace ArcFace さらなる改善と進化(2019年以降) 推論 深層距離学習の利点
「神絵が1分で生成される。参った」──AIが作ったイラストともに投稿されたそんなツイートが話題になっている。この画像を生成したのはAI「Midjourney」だ。 Midjourneyは、NASA（アメリカ航空宇宙局）の技術者も務めたデイビッド・ホルツさんが代表を務めるAI研究チームが開発した画像生成AI。8月1日の時点ではβ版を公開している。無料で25回まで画像生成のテストができる。有料版は月額10ドル（約1330円）からで、企業向けライセンスも用意している。 画像の生成にはコラボレーションツール「Discord」を使う。MidjourneyのDiscordサーバに入り、コマンドを使って生成したい画像の内容を英語で指示すると、AIが1分前後でお題に沿った画像を出力する仕組み。生成した画像の権利はユーザーに帰属するが、規約上はMidjourneyチームや他のユーザーが生成画像を取得し、加工
追記：続きを書きました。 はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が少し残っていました。 このページですがED法のサンプルプログラム（C言語）が残っており、このサンプルプログラムをベースにpythonで書き起こしたものが本記事となりま
生成AIの飛躍的性能アップの秘密「グロッキング」とは？
ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/abs/2301.05217 A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokk
NeRFRepresenting Scenes as Neural Radiance Fields for View SynthesisECCV 2020 Oral - Best Paper Honorable Mention
はじめに 自然言語処理をはじめたら、一度は作ってみたいのが共起ネットワークではないかと思います。 私自身、共起ネットワークについては、書籍やネット記事を参考にしながら、これまで何度も作ってきました。 しかしながら、文章→共起行列→共起ネットワークとなる一連の過程において、特に共起行列を作成するコードの理解が十分ではないと思い至り、今回、勉強もかねて、共起行列の作成過程を残すことにしました。 共起ネットワークに興味を持たれている方の参考になればと思います。 共起ネットワーク 単語どおしのつながりを可視化してくれる手法で、文章の構造的な特徴を直感的に理解するのによく利用されます。 文書（text)を文章(sentence)に分割したのち、同一文章中に同時に出現する単語(word)の組みを数えあげることで共起行列を作成し、これをネットワークで可視化します。 ネットワークはノード（丸） と、ノード
ニューラルネットワーク入門
Pythonコードで理解するニューラルネットワーク入門 ニューラルネットワークの仕組みや挙動を、数学理論からではなく、Pythonコードから理解しよう。フルスクラッチでニューラルネットワーク（DNN：Deep Neural Network）を実装していく。 第1回 Pythonでニューラルネットワークを書いてみよう（2022/02/09） 本連載（基礎編）の目的 ・本連載（基礎編）の特徴 ニューラルネットワークの図 訓練（学習）処理全体の実装 モデルの定義と、仮の訓練データ ステップ1. 順伝播の実装 ・1つのノードにおける順伝播の処理 ・重み付き線形和 ・活性化関数：シグモイド関数 ・活性化関数：恒等関数 ・順伝播の処理全体の実装 ・順伝播による予測の実行例 ・今後のステップの準備：関数への仮引数の追加 第2回 図とコードで必ず分かるニューラルネットワークの逆伝播（2022/02/16）
テキストからイラストを生成するAIサービス「Midjourney」が、SNS上で注目を集めています。 「Midjourney」は、Midjourney社が開発・運営する、チャットアプリケーション・Discord上での画像生成サービス。スラッシュコマンド「imagine」と共に好きな英語を入力すると、60秒以内に4枚のイラストが出力されます。 さらに、出力されたイラストそれぞれを高解像度化（アップスケーリング）したり、スタイルや構図の似ている新しいイラストを出力したりすることもできます。 現在、「Midjourney」はベータ版として公開中。無料トライアルとして、約25回イラストを作成することが可能です。 今回、「KAI-YOU POP PORTAL CULTURE MEDIA」のイラストを生成してみたので、その手順を紹介します！ 画像生成AIサービス「Midjourney」の使い方 1.D
文中の図は理がない限り、原論文あるいはドキュメントからの引用です。 KANってなに？ KAN（Kolmogorov-Arnold Network） は2024年4月30日にプレプリント公開サイトarXivに投稿された論文 にて提案された従来のMLPとは異なる新たなニューラルネットワーク構造です。1 コルモゴロフ・アーノルド表現定理（Kolmogorov-Arnold representation theorem）に基づいて設計されており、非線形な活性化関数そのものを直接学習することから、パラメータ効率が良く、学習結果の解釈可能性が高いことが特徴です。 上の画像は$x, y$を入力として$\exp(\sin(\pi x)+y^2)$を正解として学習させるケースを示した図ですが、元の関数の関係性がそのまま活性化関数の形状として学習され現れていることが読み取れます。 コルモゴロフ・アーノルド表現
LLM連携アプリの開発を支援するライブラリ LangChain の使い方 (1) - LLMとプロンプト・チェーン｜npaka
「LangChain」の「LLMとプロンプト」「チェーン」の使い方をまとめました。 1. LangChain「LangChain」は、「LLM」 (Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。本当の力は、それを他の計算や知識と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 2. LangChainの支援領域「LangChain」の支援領域は、次の5つがあります。 (1) LLM とプロンプト (2) チェーン (3) データ拡張生成 (4) エージェント (5) メモリ (6) 評価 (BE
最近話題の"Diffusion Model（拡散モデル）"について、簡潔にまとめてみた - AI・セキュリティのまとめのまとめ
OpenAIが先日発表したGLIDEにDiffusion Moldelが使用されているとのことで、最近話題のDiffusion Model（拡散モデル）について、まとめました。 サマリー 生成モデルとは Diffusion Model（拡散モデル）とは Forward diffusion process Reverse diffusion process 学習 応用例 画像生成 条件付き画像生成 画像変換 参考文献 サマリー ・Diffusion Model（拡散モデル）は、元データにノイズが徐々に付加されていき、最終的にガウシアンノイズとなるという前提を置き、その逆のプロセスをモデル化することでデータを生成する。 ・GANやVAEよりも高品質の画像を生成することに成功しており、様々な分野への応用が期待される。 生成モデルとは 生成モデルを使用することで、データ（ex. 画像）の生成プロセ
Research Agent57: Outperforming the human Atari benchmark Published 31 March 2020 Authors Adrià Puigdomènech, Bilal Piot, Steven Kapturowski, Pablo Sprechmann, Alex Vitvitskyi, Daniel Guo, Charles Blundell The Atari57 suite of games is a long-standing benchmark to gauge agent performance across a wide range of tasks. We’ve developed Agent57, the first deep reinforcement learning agent to obtain a
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
第9回全日本コンピュータビジョン勉強会「ICCV2021論文読み会」の発表資料です https://kantocv.connpass.com/event/228283/ ICCV'21 Best PaperであるSwin Transformerを完全に理解するためにふんだんに余談を盛り込んだ資料となりますRead less
CharTurner - Character Turnaround helper for 1.5 AND 2.1! - CharTurner V2 - For 2.1 | Stable Diffusion Textual Inversion | Civitai
Edit: controlNet works great with this. Charturner keeps the outfit consistent, controlNet openPose keeps the turns under control. Three versions, scroll down to pick the right one for you. If you're unsure of what version you are running, it's probably 1.5, as it is more popular, but 2.1 is newer and gaining ground fast. Version 2, for 2.0 and 2.1 models Version 2, for 1.5 models Version 1, for 1
オックスフォード大学の研究チームが開発した 「Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild」[Wu et al. 2020]は、いかなる事前情報なしに、単眼カメラによる静止画から3次元形状を復元する教師なし学習モデルだ。主に、人の顔、猫の顔の再構築を実証した。 [Wu et al. 2020] 多視点画像からの3次元形状復元 これまでにも2次元画像を3次元画像に再構築する手法は、複数研究されてきたが、そのほとんどが異なる視点の複数画像や、3次元の事前情報を必要としてきた。 代表的なところでいうと、異なる視点の複数画像を入力として、対象物の3次元画像を復元するStructure from Motion （SfM）がある。 複数の画像間における特徴点の対応関係を
事前学習（Pre-training）と下流タスク（Downstream Tasks）とは？：AI・機械学習の用語辞典 用語「事前学習」「下流タスク」について説明。訓練の工程を2段階に分けて、最初に機械学習モデルを訓練することを「事前学習」、次にその事前学習済みモデルを新しいタスクに向けて転移学習／ファインチューニングすることを「下流タスク」と呼ぶ。自己教師あり学習でも同様の用語が使われる。
日本電信電話（NTT）は6月19日、自然な音を聞き分ける人工ニューラルネットワーク（NN）が、音の振幅の変化に対して人間の脳と似た反応を示すことを発見したと明らかにした。 研究では人間が音を認識する際、音の振幅の緩やかな時間変化のパターン（AM）を活用していることに着目。自然な音を認識するように訓練したNNで知覚実験と神経活動記録実験をシミュレーションしたところ、モデル構築時に人間や動物の聴覚特性を考慮していなかったにも関わらず、人間がAMを検出可能な最少限界値と類似する結果を得たという。 また、AM音を学習したモデルとAM構造を破壊した音を学習したモデルで比較したところ、前者の方が後者よりも人間に近い性質を示すこともわかった。 同社は結果について、人間のAM音の検出能力が進化や発達の過程で聴覚が音認識に適応したために獲得できた性質である可能性が示されたと指摘。 あわせて、今回得られた知見
Safety Gym
We’re releasing Safety Gym, a suite of environments and tools for measuring progress towards reinforcement learning agents that respect safety constraints while training. We also provide a standardized method of comparing algorithms and how well they avoid costly mistakes while learning. If deep reinforcement learning is applied to the real world, whether in robotics or internet-based tasks, it wi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『Winny』の金子勇さんの失われたED法を求めて - Qiita
「神絵が1分で生成される」 画像生成AI「Midjourney」が話題
金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
NeRF: Neural Radiance Fields
【自然言語処理】【Python】共起ネットワークの作り方を理解する
イラスト自動生成「Midjourney」使い方 AIが1分で描いた濃密な世界観
本家Examplesで知る、新たなニューラルネットワーク『KAN』の威力 - Qiita
Agent57: Outperforming the human Atari benchmark
全くの事前情報なしに2D画像のみから3D形状を生成する学習モデル オックスフォード大学が開発
事前学習（Pre-training）と下流タスク（Downstream Tasks）とは？
NTT、自然な音を聴き分けるニューラルネットワークが人間によく似た反応をすることを発見