※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク
深層距離学習(Deep Metric Learning)の基礎から紹介 - OPTiM TECH BLOG
こんにちは、R&Dチームの河野(@ps3kono)です。深層学習モデルの開発を担当しております。 今回は、画像分類、画像検査、顔認識や異常検知など様々な分野に利用されている深層距離学習(Deep Metric Learning)について紹介したいと思います。 Deep Metric Learningとは 定番のクラス分類と距離学習によるクラス分類の違い 距離学習の進化 1. 対照的(contrastive)アプローチ サンプル選択(sample selection) 代表的な学習手法 Contrastive loss Triplet loss さらなる改善と進化 対照的アプローチの問題点 2. Softmaxをベースにしたアプローチ 代表的な学習手法 Center loss SphereFace CosFace ArcFace さらなる改善と進化(2019年以降) 推論 深層距離学習の利点
CSSで数式を使用するときには、今まではcalc()関数をはじめ、min(), max(), clamp()などの関数でしたが、ついに三角関数もChrome, Edge, Safari, Firefoxのすべてにサポートされました。 CSSの三角関数、sin(), cos, tan(), asin(), acos(), atan(), atan2()の基礎知識と基本的な使い方を紹介します。 Trigonometric functions in CSS by Bramus 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 CSSの三角関数が主要ブラウザにサポートされました CSSの三角関数とは: sin(), cos(), tan() CSSの三角関数とは: asin(), acos(), atan(), atan2() CSSの三
はじめに 先月、YOLOv4が公開されました。位置づけとしては、物体認識のポピュラーなモデルの1つであるYOLO系統の最新版となります。結果がすごいのはぱっと見分かりましたし、内容も既存の手法をサーベイ・実験頑張って、精度上げていったんだなあくらいのさら読みはしていましたが、もう少しちゃんと読んでおこうと思い、読んでみたので紹介します。 私自身は物体認識の研究者というわけではないですが、なんだかんだ物体認識周りの記事をいくつか書いているので興味のある方は以下もご参照下さい。 note.com note.com [DL輪読会]Objects as Points from Deep Learning JP www.slideshare.net さて、このYOLOv4ですが、元々のYOLOの作者であるJoseph Redmon氏は著者ではありません。Jeseph Redmon氏は研究の軍事利用や
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
こんにちは！逆瀬川 ( @gyakuse ) です！ 今日は最近作った議事録文字起こしアプリに話者分離機能をくっつけたものを作っていきたいと思います。 ChatGPT APIの使い方、Whisper APIの使い方、Hugging Face Spacesへのデプロイ方法等を知りたい場合は以下の記事をぜひ！ できたもの openai_keyにOpenAIのAPIキーを入れる メイン音声ファイルに会話音声 (wav, 25MB以内) を入れる 話者 (1) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (1) の名前を入れる 話者 (2) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (2) の名前を入れる 上記を行って送信ボタンを押すと処理が開始されます。なお、参考音声は10秒程度で大丈夫です。実装全体は以下で確認できます。 話者分離 (S
はじめに 以下の Tweet で言っている"長い旅路"の詳細です。完全にポエムかつ長文*1、しかも自己陶酔を多分に含んだ自分語りです。 暇かつ心に余裕があって何でも寛大に許せそうな場合にお読みください。 奇跡の solo gold を獲得し、遂に Kaggle Master になりました！ Kaggle と出会ってから4年半、一念発起して分析コンペに本気で取り組み始めてから1年半、長い旅路でした。 今までチームを組んだり議論したりして下さった皆さん、本当にありがとうございました！これからもよろしくお願い致します！ pic.twitter.com/IzWin2rioa— 俵 (@tawatawara) 2020年3月18日 話をしよう。あれは２年... いや５年くらい前の話だったか... といった感じの、むかーしむかしからの話*2。Kaggle と出会ってからの人生(の一部)の紹介みたいなも
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
Sentence BERTをFine TuningしてFAQを類似文書検索してみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そんな中で、今回はFAQを対象にした類似文書検索をSentence BERTを使って試してみます。 FAQでよくある困りごと 今回やること Sentence BERTとは 検証 FAQデータセットから文章ベクトルを学習する 回答文から文章ベクトルを生成する 質問文から近しい回答を見つける 単語が揺れてもいい感じに回答を取得できるのか検証 まとめ FAQでよくある困りごと FAQはあらゆる場面で重要な情報源ですが、いまいち検索がしづらい情報でもあります。 FAQを利用し
いま「新しい数学」が必要だ。助けて数学者!｜shi3z
最初に言っておくが、僕は数学は全く苦手だ。数学が得意な人から見たらかなり的外れなことを言ってるのかもしれないが、僕にとっては切実な悩みなのである。「そんなのは簡単だよ」という人がいたらどうか教えて欲しい。 点がある。 これを0次元と言う。 点が横に並行移動して伸びて線になる。この線は無限大の長さまで伸びることができる。これを一次元という。 任意の長さ1の線が縦に1だけ動く、正方形になる。これを二次元と言う。 正方形を長さ1だけ今度は奥行方向に伸ばす。立方体になる。これを三次元という。 ここまでに「3つの方向」が出てきた。横、縦、奥行。 そのどれでもない四つ目の方向を考える。ただしこれは「時間軸」ではない。自由に行き来できる縦、横、奥行、ではない四つ目の「方向」だ。 立方体をそっち側の方向に動かす。これを超立方体といい、この空間を4次元という。 この長立方体をさらに「べつの方向」に動かす。こ
かまろ/Camaro @mlaass1 ディープラーニングのモデリングの経験則を語る会をやってみたい。理論的な背景は不要（あってもいい）で、こういうときはこうする、こういうデータにはこうすると上手くいく、初手はいつもこれ、などのヒューリスティックを無責任に語る会。 かまろ/Camaro @mlaass1 画像だとデータの特徴と合わせてこの辺り話してみたい。 ・image sizeとmodelの大きさ ・batch sizeの決め方とBatch norm ・fp16使うか ・デバイス(GPU/TPU)の違い ・間違いないaugmentation ・間違いないscheduling ・frameworkの違い(tf/pytorch) ・lossの選び方 ・optimizerの違い ・headの設計方法 かまろ/Camaro @mlaass1 ちなみに私は ・基本的に大きいほうがいい、特に画像が複
Distance Measures. Image by the author.Many algorithms, whether supervised or unsupervised, make use of distance measures. These measures, such as euclidean distance or cosine similarity, can often be found in algorithms such as k-NN, UMAP, HDBSCAN, etc.
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
今回は初心に帰って類似文章検索です。連載の第1回で扱ったネタですが、 BERT を用いて再挑戦してみましょう。BERT のモデルは Hagging Face Transformers の事前学習済みモデルを用いるので、お手軽に試せるかと思います。手法としては Sentence BERT を用い、おまけとして Poor Man's BERT についても紹介します。 （本記事公開後に公開されたデータセットで再検証しています。最新情報は 第18回 をご覧ください。 2021.12.21 追記） 1. はじめに 本記事では Sentence BERT 1による類似文章検索について、学習や推論のコード例と実験結果を交えてご紹介します。前々から Sentence BERT を試したいと考えていたものの、教師あり学習に必要な日本語の類似文データが用意できずにいました。その後、画像キャプションのデータセッ
化学者のつぶやき 光速の文献管理ソフト「Paperpile」 2021/9/30 化学者のつぶやき, 書籍・ソフト・Web Google, Paperpile, ソフトウェア, 化学研究ライフハック, 文献管理 コメント: 0 投稿者: cosine 皆さん、文献管理ソフト、使ってますか？？ ケムステでも、過去に様々な文献管理ソフトを比較・紹介してきました（末尾の関連記事参照）。筆者（副代表）は少し前までReadCube推しだったのですが、Papersに統合されてからというものやや馴染まなくなってしまい、すっかり距離を置くようになりました。 しかしあるとき、かのGoogleが新たな文献管理ソフトを提供していることを知ります。その名もPaperpile。軽い気持ちで触り始めましたが、他のソフトを圧倒することがすぐ分かりました。めちゃくちゃ軽い！高速、いや、もはや光速！なのです。動作スピードへ
はじめまして、ZOZO研究所福岡の家富です。画像検索システムのインフラ、機械学習まわりを担当しています。 今回は画像検索システムでお世話になっているAnnoyについてじっくり紹介したいと思います。 目次 目次 Annoyについて 近傍探索について Annoyのソースコードを読むときのポイント AnnoyIndexというクラスのインスタンスを作る インストール過程について PythonのC/C++拡張 Annoyの実装 1. add_item 2. build 3. get_nns_by_vector 4. build再考 他に問題となる点について CPU依存部分 ディスクかメモリか まとめ さいごに Annoyについて Annoyは、SpotifyによるPython近傍探索ライブラリです。 github.com 弊社のテックブログでも以前に取り上げています。 techblog.zozo.c
Pythonでネットワーク構造のデータを扱いたい(networkxを扱う) - あれもPython,これもPython
データ分析の仕事をしていると、基本的な表形式のデータ以外では表現しにくい現実事象が存在します。要素と関係性で表現されるネットワークもその一つです。 個人的にはこの形式のデータは、示唆までたどり着きにくいため、ビジネス的な分析とは言いにくいな、とは思います。ただし、探索的にデータを理解したり、プロダクトの機能として使えることは多い分野だと思っているため、タイトルはあえて「データを扱う」にしました。 ネットワーク分析とは networkxはグラフ(ネットワーク)に関するデータの保持/操作をしやすくするパッケージです。 なお、情報がきちんとまとまっているのは以下の書籍です。(クリックするとAmazonにとびます) （感染症のモデルであるSIRモデルや、Word2Vecとの組み合わせなど、応用も多く非常に面白かったです。 ネットワークは繋がりを持つ要素(=ノード)と、その繋がり(=エッジ)で表現さ
どうも！オペレーション部の西村祐二です。 ChatGPT関連の専用アプリケーションを作成しようとすると、「ベクトルデータベース」という用語が出てきます。これは私にとって、これまでまったく経験したことのない分野で理解できていない状態でした。 このままでは行き詰まってしまうという思いと、この分野に関してある程度知識を身につけておくと、今後応用がききそうだなと考えました。 そこで今回、他のベクトルデータベースと比べて機能がシンプルそうで、Rustで作られているという特徴から、Qdrantを試してみました。 Qdrantとは 公式ドキュメントから引用し翻訳したもの Qdrantは「ベクトルの類似性検索エンジンであり、追加のペイロード（つまりベクトル）を格納、検索、管理するための便利なAPIを備えた本番環境で使用できるサービスを提供します。」ペイロードとは、検索を絞り込むのに役立つ追加の情報や、ユー
2. Transformer の構造と本研究のまとめ • Transformer は Layer Normalization (LN) の位置で2種に⼤別される 2 Post-LN Pre-LN Residual 後に Layer Norm 本研究の貢献 ・Post-LN と Pre-LN の性能差を実験的に⽰す ・多層 Post-LN の学習が難しい原因を⽰す ・⾼い性能を維持しつつ多層化する⼿法を提案 性能 多層化 Post-LN ○ × Pre-LN × ○ B2T（提案⼿法） ○ ○ × N × N Layer Norm Attention FFN Layer Norm Layer Norm Attention FFN Layer Norm Layer Norm Attention × N × N Attention Layer Norm Layer Norm FFN Layer
MPEG-5 EVCコーデックメモ - Qiita
https://mpeg.chiariglione.org/standards/mpeg-5/essential-video-coding 正式名称「MPEG-5 Part 1 Essential Video Coding」 ISO/IEC 23094-1 Essential video coding 特許問題により普及しないH.265/HEVCコーデックの代替を狙った、ライセンス・フレンドリ(licensing-friendly)な動画像コーデック。 目的 ロイヤリティフリー(RF; Royalty-Free)な枯れた技術1のみを用いる Baseline Profile と、特許技術を用いてより高効率を目指す Main Profile という2オプションを提供する。 ロイヤリティフリー・コーデック運用ができるよう、任意の Main Profile 向け符号化ツールは選択的に無効化可能。
はじめに Deep Learningを使った距離学習（Metric Learning）では、Contrastive LossやTriplet Lossなどを用いて、画像間の類似性（や非類似性）を直接学習していく方法が広く利用されていますが、学習データの組み合わせや選び方が難しく、学習自体が難航するケースが多い事も知られています。それだけに、これまで様々な改良と工夫が提案されています。 しかし、最近はこのような学習データ選びに難航することなく、一般的なクラス分類タスクの感覚で、Softmax関数をベースに学習できるMetric Learningが注目を浴びています。ArcFaceなどはその代表的手法でこちらで詳しく説明されています。 Softmax関数をベースにしたMetric Learningがうまくいく理由、またさらなる改良の余地はあるのか？これらに関して少し紹介しようと思います。 Ce
Postgres as a search engine
This method ensures that items ranked high in multiple lists are given a high rank in the final list. It also ensures that items ranked high in only a few lists but low in others are not given a high rank in the final list. Placing the rank in the denominator when calculating score helps penalize the low ranking records. It’s also worth noting: $rrf_k: To prevent extremely high scores for items ra
Generative Agents論文を参考にした長期記憶機構をもつLLMエージェント×非同期コミュニケーションの実装 - Gaudiy Tech Blog
こんにちは！ファンと共に時代を進める、Web3スタートアップのGaudiyでエンジニアをしている椿（@mikr29028944）です。 今年の8月にお台場で行われた世界最大級のアイドルフェスにて、ユーザーの投稿に反応する「バーチャルAI-DOL（バーチャルアイドル、以下 AI-DOL）」のサービスを同コミュニティアプリ内で提供しました。 このサービスには「ファンが育てるAIアイドル」というコンセプトのもと、次の機能を搭載しました。 ユーザーが投稿すると、AI-DOLが返答する。 ユーザーの投稿を記憶し、それに基づいて会話内容が進化する。 AI-DOLが記憶に基づいて2023のアワード選出をする。 たとえば「今年の初出演アイドルで最も輝いていたのは誰？」と聞くと、それに合致したアイドルを選出理由とともに答えてくれる。 GPT-4登場以降、LLMを使ったAIサービスがたくさん出ていますが、基本
はじめに カレー好きの皆さん、こんにちは！「もっと自分好みのカレーに出会いたい」「友達にぴったりのカレーを提案したい」と思ったことはありませんか？今回は、そんな夢を叶える魔法のような AI 技術、「協調フィルタリング」を使って、カレー推薦システムを作ってみましょう。 この記事で学べること カレー好きの皆さん、協調フィルタリングを学ぶことで、こんな素敵な体験ができるんです： AIの実践的な使い方を知る: NetflixやAmazonなど、普段使っているサービスの裏側で動いているAI技術を、カレーという身近な題材で理解できます。難しそうなAIも、こうして実践的に学べば、とても親しみやすいものだとわかりますよ。 個人の好みに合わせる技を習得: 「この人にはこのカレーがぴったり！」というマッチングの裏側にある技術を学べます。これは、カレーショップのオーナーさんや、友達にぴったりのプレゼントを選びた
Document Layout Analysisに物体検出を利用したDocument Object Detectionのすゝめ - LayerX エンジニアブログ
はじめに こんにちは。バクラク事業部 機械学習チームの機械学習エンジニアの上川(@kamikawa)です。 バクラクではAI-OCRという機能を用いて、請求書や領収書をはじめとする書類にOCRを実行し、書類日付や支払い金額などの項目内容をサジェストすることで、お客様が手入力する手間を省いています。 書類から特定の項目を抽出する方法は、自然言語処理や画像認識、近年はマルチモーダルな手法などたくさんあるのですが、今回は項目抽出のための物体検出モデルを構築するまでの手順について紹介します。 Document Layout Analysisとは Document Layout Analysisとは、文書のレイアウトを解析するタスク(直訳)のことを指します。具体的には、文書内のさまざまな要素(例えば、テキスト、画像、表、見出し、段落など)を抽出し、それぞれの位置や意味などを明らかにすることを目的とし
BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-performance video card that supports VESA local bus with 1-2MB RAM. Does anyone hav...", ...]） 出力： 各文書の関係性を表した2次元座標図 ソースコード 以下にもあります Github Google colab import pandas as pd from umap import UMA
アンドパッドのデータ基盤チームに所属している成松です。 先日までkaggleで開催されていたH&M Personalized Fashion Recommendationsにて、私が参加したチームが2,952チーム中22位で銀メダルを獲得しました！ そこで、本記事ではH&Mコンペの簡単な概要説明と私個人のSolution（Private 36位相当）について紹介します。 コンペ概要 本コンペは、指定されたテスト期間中に購入されそうなH&Mのファッションアイテム12個をユーザごとに予測し精度を競うという内容でした。データとしては、ユーザや商品の属性（ユーザ年齢、商品カテゴリなど）を記したメタデータ（customers.csv, articles.csv）とトランザクションデータ（transactions_train.csv）、そして商品の画像データが与えられました。また、本コペではMAP@1
誰でもわかるStable Diffusion Kohya_ssを使ったLoRA学習設定を徹底解説 - 人工知能と親しくなるブログ
前回の記事では、Stable Diffusionモデルを追加学習するためのWebUI環境「kohya_ss」の導入法について解説しました。 今回は、LoRAのしくみを大まかに説明し、その後にkohya_ssを使ったLoRA学習設定について解説していきます。 ※今回の記事は非常に長いです！ この記事では「各設定の意味」のみ解説しています。 「学習画像の用意のしかた」とか「画像にどうキャプションをつけるか」とか「どう学習を実行するか」は解説していません。学習の実行法についてはまた別の記事で解説したいと思います。 LoRAの仕組みを知ろう 「モデル」とは LoRAは小さいニューラルネットを追加する 小さいニューラルネットの構造 LoRA学習対象1：U-Net RoLA学習対象2：テキストエンコーダー kohya_ssを立ち上げてみよう LoRA学習の各設定 LoRA設定のセーブ、ロード Sour
Vertex AIとBigQueryでつくる、簡単ベクトル検索&テキスト分析システム | DevelopersIO
Vertex AIパイプラインを使うことで、BigQueryおよびBigQueryから参照できるデータを対象にしつつも、Google Cloud Pipeline ComponentsやVertex AIメタデータなどVertex AIの機能の恩恵もできるだけ受けることができます。 データアナリティクス事業本部 機械学習チームの鈴木です。 BigQueryでは、Vertex AIと連携して格納したデータを生成AIで処理することが可能です。 例えばテーブルに格納済みのテキストをもとに埋め込みベクトルや別のテキストを生成することができます。 特に埋め込みベクトルがあれば興味があるテキストに類似したテキストをBigQuery内で検索し、類似レコードの特徴から関心のあるテキストを分析することもできます。また、RAGに使用することもできます。 今回はBigQueryとVertex AIを使って、テー
GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena
OpenAIでGPTを使ったAPIにembeddingというのがあって、これを使うと文章同士の距離がとれるので、近いエントリを取得したり文章から検索したりができるということで、試してみました。 思いのほかちゃんと動きました。おそらく、GPTで一番実用的なんじゃないでしょうか。 GPTで実際に一番出番がありそうなEmbeddingを使った、近いブログをとってきたり検索したりするやつ。 pic.twitter.com/Vzgy57a7ju— きしだൠ(K1S) (@kis) 2023年3月9日 embeddingとは なんか、文章の特徴を表す多次元のベクトルに変換してくれるらしい。 ようわからん。 OpenAIでは1500次元くらいのベクトルに変換します。 そして、このベクトルの距離が近ければ文章の内容も近いやろということで、似たエントリの抽出などができます。 しかし、テキストが要素数1500
[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる
はじめに こんにちは。 早速本題に入ります。 [2023/01/20追記] この記事で説明しているDepth-to-Imageモデルのドメイン適応と、適応したモデルのAUTOMATIC1111さんのWebUIでの使用が行えるColab Notebookを公開しました。 こんな感じで使えます Depth-to-Imageモデルの説明 StabilityAIが公開したStable Diffusion V2系のモデルの中に、depthモデルというものがあります。 このモデルができることは、一般的なStable Diffusionのimg2imgができることと基本的には同じで、画像とテキストを入力とし、入力された画像スタイルをテキストの指示に従って変換する、というものです。 まずは、一般的なモデル（ここではWaifu Diffusion V1.4 Epoch1を使用しています）のimg2img結果
![[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる](https://cdn-ak-scissors.b.st-hatena.com/image/square/f079338e88577c9ed0180b37d246109b0658238b/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--KHWZcUxC--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BStable%252520Diffusion%25255D%252520Depth-to-Image%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252582%252592%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AA%2525E3%252581%252597%2525E3%252581%2525A7%2525E7%252589%2525B9%2525E5%2525AE%25259A%2525E3%252581%2525AE%2525E3%252583%252589%2525E3%252583%2525A1%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E5%2525BF%25259C%2525E3%252581%252595%2525E3%252581%25259B%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%25258B%252595%2525E8%2525A9%25259E%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYxZGFhYmYzMjMuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Attentionと類似度は異なるという話
はじめに 「Transformerのattentionはトークン間の類似度をモデリングしている」という説明をよく聞くが、この表現は適切でないことを示す。 なお、このような説明がよくされる背景としては、Transformerのdot-product attentionは内積で計算され、コサイン類似度も正規化されたベクトルの内積で計算される点によるものと思われる。しかしながら両者は正規化の有無に違いがあり、ベクトル空間に埋め込んだ時の数学的性質はかなり異なるということを本稿では指摘する。 TL; DR Attention(dot-product attention)は類似度とは異なる数学的性質を持つ 類似度はトークン間の近接関係はモデリングできるが、それ以外の多様な関連をモデリングするには適さない。 dot-product attentionはトークン間の近接関係を含むさまざまな関連をモデリン
若手アーティストたちにより運営されるバーチャル空間のクラブ、技術とデザイン力で創りだされた不思議なワールド「GHOSTCLUB」
TOP 特集 若手アーティストたちにより運営されるバーチャル空間のクラブ、技術とデザイン力で創りだされた不思議なワールド「GHOSTCLUB」 2022/04/05 若手アーティストたちにより運営されるバーチャル空間のクラブ、技術とデザイン力で創りだされた不思議なワールド「GHOSTCLUB」 xR VRChat内の人気クラブワールド「GHOSTCLUB」。現実とフィクションの狭間を行き来するその舞台は、日常的にVRChatを楽しむ若手アーティストたちの手によるもの。ここでは、ユニークな運営方法から世界観構築のブレイクダウンまで、広く深く制作の背景を紹介する。 ※本記事はCGWORLD283号（2022年3月号）の記事を一部再編集したものです クラブワールド「GHOSTCLUB」 プラットフォーム：VRChat https://ゴーストクラブ.コム Copyright©GHOSTCLUB
はじめに 『あら、イタズラな風さんが…ふふっ♪ふたりの仲にジェラシーでしょうか』 SSレアの長富蓮実ちゃん登場です！https://t.co/mIoEjCBQs4 #デレステ pic.twitter.com/loELdD6e6w— スターライトステージ (@imascg_stage) 2020年3月19日 蓮実ちゃんお誕生日＆SSRおめでとう。 蓮実ちゃんといえば昭和アイドルの歌詞などを元にした発言が多いことで有名ですが、残念なことに平成生まれの自分は昭和アイドルの知識が足りず元ネタが分からないことが多いです。 「長富蓮実セリフ＋元ネタまとめ」を更新しました！ ①セリフ情報の更新 ・グッドラックマリンズ ・2019アニバーサリー ・2019クリスマス ・2020初詣 ・でれぽ(10/01~01/14) ②各種集計の更新 ・集計 ・交流まとめ ・楽曲データhttps://t.co/2jg5g
分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。 情報検索論文読み会のスケジュール そこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。 大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したのでその結果を報告します。 Overview 弊社が抱える類似文書検索の課題 Sentence-BERT Valdを使った近似最近傍探索 NGT Vald Vald×Sententce-BERTで類似文書
Alpaca まとめ｜npaka
「Alpaca」の学習方法について軽くまとめました。 1. Alpaca「Alpaca」は、「LLaMA 7B」(Meta)をファインチューニングした言語モデルです。「text-davinci-003」による「self-instruct」で生成された52Kの命令追従型の学習データを使って学習しています。「Alpaca」はOpenAIの「text-davinci-003」に似た挙動を示しますが、驚くほど小さく再現が容易で安価であることが特徴です。 また、「Alpaca」は学術研究のみを目的としており、商用利用は禁止しています。 2. 学習済み言語モデル と 学習データアカデミックな予算で高品質な言語モデルを学習させるためには、「強力な学習済み言語モデル」と「高品質な学習データ」が必要です。 1つ目は、最近リリースされたMetaの「LLaMA」で解決されます。2つ目は、「self-instru
情報検索・検索技術 Advent Calendar 2021 の22日目の記事です。 Motivation 検索エンジニアはバックエンドエンジニアのサブセットだと見なされることがありますが、ある程度の規模のプロダクトに携わる検索エンジニアの業務内容は新しい機能やAPIを作るというよりも、典型的な検索アプリが持っているSearch API、Auto-Completion API、Query Suggestion APIのような、すでに実装されているAPIのインタフェースを変えずに中身を変えることが多いという点で、バックエンドエンジニアとは少し違うと思っています。私自身も過去数年で新しい検索のAPIを書いた回数は片手で数えられるくらいですが、代わりにオフライン・オンラインの実験を毎日しているといった感じです。 このように検索エンジニアは新しいアルゴリズムを提案、比較、そして実験を通してベースラ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI・Python活用レシピ100選 - Qiita
CSSの三角関数（sin(), cos(), tan()）の基礎知識と基本的な使い方を解説
物体認識モデルYOLOv3を軽く凌駕するYOLOv4の紹介 - ほろ酔い開発日誌
SQLで始める自然言語処理 - やむやむもやむなし
Whisperで文字起こしをした議事録の発話者の名前を自動的に判定する！ - Qiita
Kaggle と出会ってから Master になるまで、そしてこれから。 - 俵言
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z
ディープラーニングのモデリングの経験則を語る会についての有識者からの反応まとめ
9 Distance Measures in Data Science
Doing RAG? Vector search is *not* enough
はじめての自然言語処理 Sentence BERT による類似文章検索の検証 | オブジェクトの広場
光速の文献管理ソフト「Paperpile」 | Chem-Station (ケムステ)
近傍探索ライブラリ「Annoy」のコード詳解 - ZOZO TECH BLOG
Rust製のベクトルデータベースQdrantを試してみる | DevelopersIO
Transformerを多層にする際の勾配消失問題と解決法について
Softmax関数をベースにした Deep Metric Learning が上手くいく理由 - Qiita
Python で作る協調フィルタリング入門：カレー推薦システム - Qiita
KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜
H&Mコンペで銀メダルを獲得したソリューション - ANDPAD Tech Blog
長富蓮実ちゃん元ネタ調査ツールを作りました - いはらいふ
検索システムを適切に評価したい - Qiita