Tim O’Reilly helped bring us Web 1.0 and 2.0. Here’s why he’s a Web3 skeptic
Tim O’Reilly has been a conversation starter within the tech industry for more than three decades. The company he founded, O’Reilly Media, launched the first true commercial website in 1993, and remains a tech-industry staple that publishes tech books, offers online education, and holds virtual events. O’Reilly saw firsthand the first wave of big dot-com companies swell, crest, and crash in the la
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper and first released at this page. Disclaimer: The team releasing GPT-2 also wrote a model card for their model. Content from this model card has been written by the Hugging Face tea
初めに はじめまして、Toshikiです！ 最近、拡散モデルより高速なFlow Matchingが画像や音声の生成に使用されてきています。 そこで、Flow Matchingの技術を音声合成に初めて適応したMatch-TTSという音声合成モデルを実際に動かしてみました！ 本記事では、Match-TTSの各部の処理などに関して、簡単に解説します。論文を読んでみましたが理解し切れていない部分も多く、もし誤りなどあればコメントしていただけると嬉しいです！ 拡散モデルとFlowMatching 拡散モデルは、画像生成やモーション生成、音声合成等の幅広い生成タスクにおいて、高品質な生成を達成している今流行りの手法です。拡散モデルでは、例えばデータ分布を正規分布へ段々と変換する等の拡散過程を定義して、その逆過程を辿る処理をベースにサンプルが行われますが、この逆過程を辿る際には多くの繰り返しの処理が必要
単語分散表現とは、単語の意味をベクトルで表現することです。単語埋め込み（Word Embedding）とも呼ばれます。単語を100～300の次元数で表現することが多いです。 分散表現（＋自然言語処理の主な手法も）は、単語の意味は周囲の単語で形成されるという分布仮説を前提にしています。 なので、Wikipediaなど大量のテキストデータ（コーパス）を学習させれば、単語の意味が表現できるということです。 例えばWord2Vecは、周辺の単語から中心語を推論する（逆に中心語から周辺の単語を推論する方法もあり）ことで、単語をベクトル表現しています。 コーパスを読み込ませるだけで学習できるので、実務的にも利便性の高い手法です。分散表現の学習済みモデルを公開している団体も多数あります。 単語分散表現の利用例：単語間の類似度計算 単語分散表現は、単語の意味をベクトル(数値)で表現できます。代表的な利用ケ
… … … … … … 𝑧𝑑+1:𝐷 𝑧1:𝑑 𝑧 𝑧1:𝑑 ′ 𝑧𝑑+1:𝐷 ′ 𝑧′ 𝑧′ = 𝑧1:𝑑 , 𝑧𝑑+1:𝐷 + 𝑔 𝑧1:𝑑 𝑔(𝑧1:𝑑 ) 𝑧 = 𝑧1:𝑑 ′ , 𝑧𝑑+1:𝐷 ′ − 𝑔 𝑧1:𝑑 ′
![SSII2024 [OS1] 画像生成技術の発展： 過去10年の軌跡と未来への展望](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc3049fa14b26636f71c8fbc89e3bc81850fed60/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F68b7473e38d64b2496833470020f7038%2Fslide_0.jpg%3F30571414)
小型LLM「ABEJA Qwen2.5-7B Model」学習のための蒸留のパイプライン並列化 - ABEJA Tech Blog
はじめに こんにちは、Labsチームの藤本です。 弊社は、経済産業省とNEDOが実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の1期に続き、2期にも採択され、そこで大規模言語モデルの開発を進めています。今回は、そのプロジェクトの中で実施した大規模言語モデルの蒸留（Knowledge Distillation）に関する技術的な取り組みをご紹介します。 本蒸留の成果については、以前の記事（https://tech-blog.abeja.asia/entry/geniac2-qwen25-7b-v0.1）で既に紹介しております。本記事では、特にNeMoフレームワークにおける蒸留の仕組みと、NeMoで大規模なモデルを効率的に蒸留する際の技術的課題およびABEJAではどのように実装したかについて紹
GENIAC第2期成果/データグリッド：汎用画像生成基盤モデルの軽量化のためのTransformersベースLDM—LocalDiT—の開発
データ前処理: 元画像の中央を基準に1:1比率でクロップし、各解像度にリサイズしました。この処理によりアスペクト比の一貫性を保ちつつ、重要な被写体を中心に維持することができました。 効率的なデータパイプライン: WebDatasetフォーマットを採用し、NVIDIA DALIを使用した高速データローディングパイプラインを構築しました。これにより、I/Oボトルネックを最小限に抑え、GPUの稼働率を向上させることができました。 ただし、全解像度のデータを個別に保存する方式を採用したため、ディスク容量の不足や、データ移行に多大な時間を要するなどの課題も生じました。今後の改善点として、最高解像度（1Kや2K）のデータセットのみを保存し、学習時に動的にリサイズする戦略も検討価値があると考えています。 学習過程における特筆すべき観察点 学習過程で以下のような興味深い現象が観察されました： データ品質の
こんにちは。LINEヤフーで音楽情報処理の研究開発をしている蓮実です。 私たちのチームでは、音楽推薦システムの研究開発を行っています。今回はこの技術の概要についてお伝えいたします。なお、本記事の詳細な内容は日本音響学会第151回（2024年春季）研究発表会でも発表済みです。 検証に使ったデモの紹介 私たちが開発している音楽推薦システムは、テキストと音楽の関係を学習する対照学習を用いています。システム内部では、テキスト情報と音楽特徴量をひもづける、クロスモーダルの埋め込み空間を構築するように学習されたモデルを使用しています。推薦時には、ユーザーが入力したテキストの意味に近い音響特徴量を持つ音楽を埋め込み空間から探し出し、提示します。 上に示す検証に使ったデモでは、LINE MUSICの2023年間ランキング総合TOP100と、第74回 NHK紅白歌合戦 2023年に含まれる149曲の中から、
2025年度 人工知能学会全国大会（第39回）参加報告 - Sansan Tech Blog
こんにちは、Sansan株式会社 技術本部 研究開発部の田柳です。 2025年5月27日（火）〜30日（金）の4日間、大阪国際会議場（グランキューブ大阪）にて開催された 2025年度 人工知能学会全国大会（JSAI2025）に参加してきました。弊社はプラチナスポンサーとして協賛し、大田尾・黒木・竹長・田柳・山内が現地参加しました。 私自身、学生時代は経済学を専攻し、現在は契約書データのキーワード抽出技術の研究開発などに取り組んでいます。こうした機械学習系の学会への参加は今回が初めてで、多くの刺激を受けました。 本記事では、印象に残ったセッションや発表、そして会場の雰囲気などをレポートします。 ブースにて、写真左からでの田柳・竹長・大田尾 JSAI2025について 以下、JSAI2025の公式HPから引用します。 JSAI 2025は、人工知能学会（JSAI）が主催する日本最大級のAI学術イ
Python: A versatile programming language for Web Development to Machine Learning
Guido van Rossum created Python programming language in the 1980s. The idea behind the Python programming language was to develop a general-purpose programming language that can be simple in syntax and easy for amateur developers to understand. Python is a programming language that has gained importance over time. Python is an extensive library that supports multiple use cases, from web developmen
概要 日本には美しい四季があることが自慢らしい。しかし日本は亜熱帯地域にあるため雨季を加えなければならないのではなかろうか。 四季が適当か五季が適当か機械学習で吟味してみる。 クラスタリング手法は多くあるが天気予報を文章と捉えたとき、LDA(Latent Dirichlet Allocation)で納得の行くクラスタ数（季節数）を得ることができるのか。 本当は出力が確率分布なのでクラスタ内の各分布距離を計算しながらクラスタ数の落としどころを探す手法を試したかっただけ。確率分布ではAICやBICが使えないから。 そのときの備忘録 実施期間: 2022年6月 環境：Ubuntu20.04 LTS 1. パケージ LDAはgensimではなくscikit learnで作成する。確率分布距離はJensen-Shannon distanceをscipyのAPIで計る。 import numpy as
古典的で未来的な人にやさしい顔映像匿名化
現代では簡単に写真や動画を撮ることができる。それは、個人情報の流出と直結する。 特に動画に映った人物について、匿名化することはなかなかに大変だ。 目線やモザイク、塗りつぶしなどで顔を隠すケースをよく見かけるが、個人的にはちょっと微妙。犯罪臭がするし、淫靡な印象を与えてしまう。 ほかにもアイコンやシンボルで顔を隠したりすることができるツールなどもあるが、ちょっと自分好みではないし、何よりオリジナリティに欠ける。 そこで、古典的でもあり、未来的でもある、そして新しい、そんな顔映像匿名化を考えてみた。 匿名化するにあたって、まずは顔、特に目と鼻を検出できなくてはならない。 幸いなことに、Keypoint R-CNNモデルを使えばそれが可能になる。 利用するだけならば、PyTorchのチュートリアルレベルの知識を持っていれば十分。 そして、コードはできるだけシンプルで分かりやすく、その場ですぐに書
【道具として使いこなす！】 膨大な観測データから普遍的な法則を抽出する手法とは？ 高校数学レベルから始まり、Python入門、TensorFlowによる実装、最新の論文まで踏み込む入門書。 【著者サポートページ】 https://github.com/akio-tomiya/intro_ml_in_physics 【目次】 第1章 データとサイエンス 1.1 物理学とデータサイエンス／1.2 最小2乗法とオーバーフィット／1.3 テイラー展開と振り子の等時性／コラム：武谷の三段階論 第2章 行列と線形変換 2.1 ベクトル、行列と線形変換／2.2 変換としての行列／2.3 行列に関する色々／コラム：計算量のオーダー 第3章 確率論と機械学習 3.1 確率の基礎事項／3.2 教師あり学習と教師なし学習、強化学習／3.3 確率変数と経験的確率、大数の法則／3.4 大数の弱法則の証明／3.5 カ
集計作業のお悩みをAIで解決／第4話「文章自由回答データを効率的に集計する”教師なし学習AI”とは」｜ミルコミ│運営マクロミル
前回は、意見や感想などの文章で記述された自由回答データの集計についてご紹介しました。今回はAIを活用して効率化するプロセスをご紹介します。 １.「教師なし学習AI」で行われる処理 今回もアンケートで得られた「作りたてコーヒーサービスがあったら利用したいか」という質問に対する以下のような文章での自由回答データを使用します。前回はアフターコーディングを人の手で行う方法をご紹介しましたが、今回はAIでアフターコーディングを効率的に行う過程を解説していきます。 今回は「教師なし学習」という種類のAIを活用して、分類分けを行います。ここでは大きく分けて3つの処理を経て文章のデータを分類します。 ※教師なし学習の定義やAIの分類については第3話 をご参照ください。 （１）文章分解：形態素解析などで文章を細かく分解 （２）ベクトル化：分解した文章を「複数の数値の組」でデータ化 （３）クラスタリング：デー
このページでは、Vertex AI Model Monitoring の概要について説明します。 モニタリングの概要 Vertex AI Model Monitoring を使用すると、必要に応じて、または定期的にモニタリング ジョブを実行して、表形式モデルの品質を追跡できます。アラートを設定している場合、指標が指定されたしきい値を超えると、Vertex AI Model Monitoring から通知が届きます。 たとえば、顧客のライフタイム バリューを予測するモデルがあるとします。顧客の習慣が変化すると、顧客の支出を予測する要因も変化します。そのため、モデルのトレーニングに以前使用した特徴と特徴値は、現在の予測には関連がない可能性があります。データのこの偏差はドリフトと呼ばれます。 Vertex AI Model Monitoring では、偏差が指定されたしきい値を超えるタイミングを
YANS2023に「機械学習モデルを用いた構造化文書からの情報抽出」で発表しました! - Money Forward Developers Blog
こんにちは、CTO室AI推進部のこたろうです。 今回は、8/30(水) ~ 8/31(木)の二日間を通して開催されたNLP若手の会（YANS）第18回シンポジウム（2023）に参加したのでその報告です！ Money Forward CTO室AI推進部からは私と長期インターンの満石さん、Money Forward Labからは山岸さんが発表を行いました。 発表について Money Forwardからは3名がポスター発表を行いました。以下が発表題目と著者です（発表順となっています）。 [S1-P07] text embeddingを用いたデータ作成支援の検討, 満石風斗, 安立健人, 狩野芳伸 (静大) [S4-P10] 機械学習モデルを用いた構造化文書からの情報抽出, 竹下虎太朗, 安立健人, 狩野芳伸 (静大) [S5-P09] 財務諸表と仕訳データを用いた増減要因の説明文生成の初期検討,
相互情報量からみるDeep Learning
Deep Learningの表現学習を情報量という観点で見てみる。 所属組織のしがらみがあるので公開情報に限定し自分の考察などは基本記述しない まとめ 相互情報量使うといろいろおもしろ表現学習できるし汎化誤差にも関係ありそうだし、相互情報量大事だよ！ おまけで相互情報量を計算するサンプルコード載せたよ！ 相互情報量とは？ ２つの確率変数XとYの情報がどれだけかぶっていないかを表す指標で以下で定義される I\left(X;Y\right)\equiv D_{{\rm KL}}\left(p\left(x,y\right)||p\left(x\right)p\left(y\right)\right)=\iint p\left(x,y\right)\log\frac{p\left(x,y\right)}{p\left(x\right)p\left(y\right)}dxdy ここでD_{\rm{
Parquet+Petastormを使って画像分類モデルをSparkで学習させてみました！ - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングス技術開発の三浦です。 最近寒い日が続いています。寒いと温かい飲み物が欲しくなりますが、近ごろは緑茶を飲むようになりました。お湯を入れたらすぐに飲むことが出来る粉末タイプのものもあって、気軽に楽しむことが出来ます。 今回の記事は分散処理フレームワークSpark周りについて調べた内容です。普段深層学習モデルの分散学習をDatabricksを通じ、Sparkクラスタで行っています。その中で最近少し引っかかっていたのが画像やテキストなどのモデル学習用データを読み取る処理がボトルネックになっている点でした。この部分をどう改善すれば良いのかなかなか分かりませんでした。 今のデータの入力処理は特にSparkの特徴を活かしきれているとは言えず、TensorFlowやPyTorchのDataLoaderを通じて都度画像ファイルやテキストファイルを読み込んでモデルに入力さ
リーガルテックにおける MLOps 構築事例の紹介
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
社内LT会で発表した資料です。 内容はアノテーションのバイアス排除に関する近年の研究をざっくり紹介したものです。
概要 私事で恐縮ながら、社会人になって一人暮らしを始めました。 今住んでいるのは都心の近くなのですが、実家は郊外なので、それぞれの景観は異なってきます。路地を歩いているとなんとなく街並みが○○区っぽいな、とか、ここは○○市らしいなとか、感じたことがある方も多いと思います。 とはいえ、その差は結構微々たるもので、その市区町村にあるな”雰囲気”の差のようなものがある気がします。 今回は東京都の町田市と中央区の画像を教師あり学習で識別モデルを学習し、GradCAMを用いて判断根拠が何なのか確認してみます。 モデルには定番のResNetを用います。 実装や詳細は下記のサイト（M3 Tech Blog様）を参考にさせていただきました。 機械学習で逆ストリートビューを作り、写真から港区らしさを判定する ご指摘・疑問などございましたらコメントよろしくお願いいたします。 学習 上記のようなモデルを考えます
【論文要約】FederBoost: Private Federated Learning for GBDT - 名前はまだない
はじめに Federated Learningに興味があり色々確認していたのですが、決定木ベースのモデルはないのかと思うようになりました。 探してみると以下の論文が出てきたので、読みました。 メモとしてここで簡単にまとめます。 arxiv.org はじめに 概要 イントロ 事前知識 GBDT Federated learning Secure aggregation Differential privacy 設定 環境の設定 FLの設定 Vertical FederBoost 学習 バスケット化 差分プライバシーノイズ付加 学習の全体像 推論 プライバシー保護について Horizontal FederBoost 分散バケット構築 学習 プライバシー保護について 実装と実験 有用性の検証 効率性の確認 LAN設定の場合の結果 WAN設定の場合の結果 概要 Federated Learning
Style-Bert-VITS2の差分マージで遊ぶ
はじめに オープンソースな日本語音声合成 (TTS) であるStyle-Bert-VITS2の2024-06-16のver 2.6.0で、マージ機能に差分マージやヌルモデルマージが追加されました。 この記事は、これらのマージでできることをいろいろ紹介して、みんな実験して共有してみてね、という記事です。 注意 日本語特化版 (JP-Extra版) とそうでないモデル同士のマージはできません。 このページで共有している結果やモデルは全てJP-Extra版のものです。 差分マージとは？ 通常のマージについて SBV2では、今まで以下の点で2つのモデルをマージすることができました: 声質（誰が喋っているか） 声の高さ 話し方・感情表現 話すリズム・テンポ 具体的には、2つのモデルを A, B とすると、スカラー weight について、 を、上記4つの要素が入っていると思われるモデルの重みについて
ONNXモデルのチューニングテクニック (応用編２)
サイバーエージェント AI Lab の Human Computer Interaction Team に所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。今回は応用編２です。 8. 各種トリック PyTorchやTensorFlowを経由して生成されたONNXから他のフレームワークへモデルを転用する場合に有効な様々なトリック、ワークアラウンドをご紹介します。あまり真新しい知見ではありませんが、以下でご紹介するようなトリックが記事としてまとまっているものはあまり見かけませんのでご参考になれば幸いです。エンジニアよりもリサーチャーの方々に是非読んでいただきたい内容です。ほとんどの内容が地味で
機械学習モデル（ニューラルネットワーク）は、たくさんの数値に対して値をかけたり、足したり、合計したり…といった操作をすることで問題を解きます。 そしてGeometryNodesは、（本来は3Dモデリングやモーショングラフィックスのための機能ですが、）たくさんの頂点（ジオメトリ）に対して値をかけたり、足したり、合計したり…といった操作が可能です。 ということは機械学習モデルをGeometryNodesで動かすこともできそうですよね。 実際、動かせました。 すみません！本来出力にSoftMaxをかけるべきところを、いれていませんでした！ （出力の値は変わっていないのですが、可視化の印象がだいぶ変わります） 撮りなおしたので、最初の動画のことは忘れてこちらをご覧ください…！🙇 pic.twitter.com/fowj9Tm8lL — Melville (@MelvilleTw) Novembe
ニューラルネットワークの量子化手法の紹介
ニューラルネットワークにおける量子化とLLMや混合精度などの最近のトピックに関して紹介します。
はじめに 弊社では現在、レコメンドエンジンの高度化を進めています。その取組みの一貫として、強化学習を用いたレコメンドの検証を行いました。本稿ではその取り組みについて、まとめたいと思います。 強化学習とは 機械学習の分野の中でも強化学習は、教師あり学習や教師なし学習とは取り扱う問題の構造が異なります。 教師あり学習は入力と出力（正解ラベル）のペアデータを扱いますが、強化学習は教師なし学習と同様に正解ラベルは扱いません。一方で強化学習の特徴は、正解の代わりに報酬（もしくは罰）を扱います。 また、教師あり学習は入力から出力への変換方法を学習し、教師なし学習はデータに潜む構造や規則性を学習しますが、強化学習はエージェントが環境と相互作用しながら（行動を起こしながら）集めたデータ（環境の状態）を使って高い報酬を得る方策（いわゆるモデル）を学習します。 強化学習のレコメンドへの応用 ここではECサイト
スコアベース拡散モデルの概要 - ころがる狸
こんにちは。前回に引き続き、拡散モデルに関する話題を取り上げます。拡散モデルとはGoogleのImagen等に活用されている話題の生成モデルであり、一部のタスクでは最も研究が進んでいる生成モデルGAN（敵対的生成ネットワーク）の最高性能を上回ることが報告されています。拡散モデルにはスコアベースモデル、拡散確率モデルなど幾つかのタイプがありますが、今回はスコアベースモデルについて解説を行います[1,2,3,4]。 以下は、スコアベースモデルによる画像生成の実例です。人間の目にはフェイクであることが分からないほどの精度で、画像が生成できています。 socre based modelによる画像生成例（出典[4]） エネルギーベースモデルの復習 スコアベースモデルの概要 スコアマッチング スコアベースモデルの課題 多段階のノイズ付加 更なる改良 おわりに 出典 エネルギーベースモデルの復習 スコア
機械学習のモデル解釈手法を学びました。ほとんどは、書籍「機械学習を解釈する技術」から学んでいます(良書！)。ここに書いているのは、個人的視点でつまみ食いしている感じなので、興味を持ったら購入おすすめです。 一部、scikit-learnからも学んでいます。 内容 全般 解釈手法一覧 下表が解釈手法の一覧です。 解釈手法 解釈手法(正式名) 内容 視点
概要 冒頭の例のように、レビューテキストから名詞と形容詞のペアを抽出 してみます。 これを複数のレビューで集計することで、レビュー文を１つずつ読まずとも、傾向としてどんな部分がどういった評価を受けているのか が見えてきそうですよね。 （例えば、ラーメン店であれば、スープ、麺、値段それぞれがどんな評価が多いのか、とか） 基本的には、以下のような流れで実装しています。 GiNZAで形態素解析+係り受け解析 名詞・形容詞のペアを抽出 特定の係り受け関係であれば採用 やや苦慮した部分は、以下の２点です。 複数の形態素からなる形容詞 の扱い（例：高価な=高価+な） GiNZAの係り受け解析結果（UD: Universal Dependency） の扱い 両者とも、私の知識が十分でなく、今回の扱いが適切でない可能性も多分にあります。その点はご了承ください（お気づきの点はコメントいただけるととても嬉しい
Rubix - Machine Learning for PHP
A suite of tools for end-to-end machine learning and deep learning using the PHP language. Start building programs that learn from your data with over 40 algorithms to choose from.
import numpy as np import matplotlib.pyplot as plt import pandas as pd import time class Linear: def __init__(self,pointlist): self.pointlist = np.array(pointlist) def search(self,point,q=1): length = [] for i in self.pointlist: length.append([self.L2(i,point),list(i)]) if q == 1: return [i[1] for i in sorted(length)][0] else: return [i[1] for i in sorted(length)][:q] def L2(self,point1,point2): #
![[python] kd木を使った最近傍探索 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bf507bd712df541da2583ccf0844a524b03b981c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcHl0aG9uJTVEJTIwa2QlRTYlOUMlQTglRTMlODIlOTIlRTQlQkQlQkYlRTMlODElQTMlRTMlODElOUYlRTYlOUMlODAlRTglQkYlOTElRTUlODIlOEQlRTYlOEUlQTIlRTclQjQlQTImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTA1OGQwODhmODVmYTJhYjQ3ODE5YTYzNmZkNDYzNDNj%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBSQUQwTiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDI1NzFkMGNmYTM4ZGJlMjM1ZGU2NmNmOTdmYjFiNmU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5ce1714f6de36ef78bc28943cbbf8bb4)
ラベル伝播法・拡散法による半教師あり学習で少量のラベル付きデータから分類モデルを作る - Qiita
はじめに こんにちは，(株)日立製作所 研究開発グループ サービスコンピューティング研究部の露木です。 機械学習で一般的な教師あり学習の問題として，正解ラベルの付いているデータを大量に準備しなければならないことが挙げられます。この問題を解決するために，ラベルなしデータを活用することで必要なラベル付きデータの数を削減する半教師あり学習の分野があります。そして，半教師あり学習の一種にグラフベースのラベル伝播法があります。 ラベル伝播法は，あるデータのラベルをその近傍にあるラベルのないデータにコピーする (伝播させる) ことで，少量のラベル付きデータからモデルを学習します。また，「グラフベース」と呼ばれる理由は，ひとつひとつのデータをノード，データの類似度をエッジ (の重み) としたグラフを構成して，このグラフ上でラベルを伝播するからです。このとき，類似度の計算にカーネル法を組み合わせることで非
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
運営元のロゴ Copyright © 2007-2025 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
Ivy is an open-source machine learning framework that enables you to: 🔄 Convert code into any framework: Use and build on top of any model, library, or device by converting any code from one framework to another using ivy.transpile. ⚒️ Write framework-agnostic code: Write your code once in ivy and then choose the most appropriate ML framework as the backend to leverage all the benefits and tools.
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 協調フィルタリング 一言で表すと、ユーザーの行動履歴に基づいた推薦アルゴリズム。 メモリベースの手法とモデルベースの手法の二種類があります。 メモリベース手法 ユーザ間の類似性やアイテム間の類似性に着目して推薦を生成する手法です。 このうち、さらにユーザーベースの手法とアイテムベースの手法に分類されます。 特徴 ドメイン知識を必要としない(商品の内容を知らなくてもレコメンドできる) 異なるジャンルをまたいだ推薦ができる 利用者が多い場合に有利 推定の都度全データに対して計算を行う(類似度を計算する)アプローチをとるのでデータのサイズに比
[CV勉強会@関東 CVPR2023] 自動運転におけるBEVベース物体認識技術の進化
7/23関東CV勉強会の資料です
![[CV勉強会@関東 CVPR2023] 自動運転におけるBEVベース物体認識技術の進化](https://cdn-ak-scissors.b.st-hatena.com/image/square/c86ca6a853a07afce6d18095bb854ce2726b6e75/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F58120b9abddc4b56bc6e05be2cff08c1%2Fslide_0.jpg%3F26457487)
はじめに 以前も記事にしたが、ウェブ上のユーザーの行動ログを使って推薦システムを開発している自分のようなMLエンジニアにとって、ランキング学習におけるポジションバイアスの除去は重要なテーマである。サービスのログは通常様々なバイアスに塗れており、特にリストの上位に表示されたアイテムほどクリックが集まりやすくなってしまうポジションバイアスは非常に厄介だ。アカデミアではこの手のテーマはだいぶ研究が進んでいるものの、これまでは論文や書籍で手法が紹介されるだけで、手軽にパッと使えるライブラリは存在しなかった。 しかしどうやら最近になって XGBoost や LightGBM という多くの人が使う強力なGBDTライブラリにポジションバイアスを除去する機能が実装されたらしく、これが使い物になるのであれば実務で利用するハードルがグッと下がると思い、実験して性能を検証してみた。 検証に使うデータセット ここ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
openai-community/gpt2 · Hugging Face
【音声合成】Matcha-TTS🍵で日本語音声を生成してみる
自然言語処理の分散表現(Word2Vec,fastText)の課題 : 新規事業のつくり方
SSII2024 [OS1] 画像生成技術の発展： 過去10年の軌跡と未来への展望
日本語のテキストの意味に基づき音楽を推薦するシステムの開発
https://tilman151.github.io/posts/deep-learning-unit-tests/
天気予報とLDAで適切な季節数を求める 備忘録 - Qiita
『これならわかる機械学習入門』（富谷 昭夫） 製品詳細 講談社BOOK倶楽部
Vertex AI Model Monitoring の概要 | Google Cloud
アノテーションのバイアス排除に関する2020年代の研究動向
【GradCAM】ResNetで学習させた都市景観画像の判断根拠 - Qiita
BlenderのGeometryNodesで機械学習モデルを動かしてみた｜Melville
強化学習を用いたレコメンドを検証してみた件 - Qiita
機械学習モデル解釈手法概要(PFI, PD, ICE, SHAP) - Qiita
名詞・形容詞ペアの抽出によるレビュー分析 - Qiita
[python] kd木を使った最近傍探索 - Qiita
SentdexさんのPython機械学習の説明ビデオがすごい - Qiita
機械学習 はじめよう 記事一覧 | gihyo.jp
GitHub - unifyai/ivy: The Unified AI Framework
【推薦システム】レコメンドアルゴリズムまとめ①【入門/協調フィルタリング/NMF】 - Qiita
XGBoost と LightGBM に実装されているポジションバイアス除去を試してみた
www.ben54.jp
x.com
samezu.seocycle.biz
note.com/bunko_x
ochimusha-sentouhuku.hatenablog.jp
mainichi.jp