今年もアドベントの季節が来ました。この記事は、まつーらとしお氏の主催する、アドベントカレンダー「言語学な人々」2023の12月16日のエントリーとして書かれました。今年は、カレンダー増刷で、黒木邦彦氏主催の、別館（言語学なるひとびと）もあります。どちらもご覧下さい。 和歌集の歌風の分析日本の古典和歌集には、それぞれの性格があります。『万葉集』は自然を歌っていて、「素朴」な歌もあるが、『古今集』は、宮中の「優雅」な伝統を反映している、など、言い方はいろいろあり得ますが、それぞれ異なった歌風を持っていることは間違いありません。それを、コンピュータ、特にAIで分析してみるというのがこのエントリーの内容です。日本語学会の機関誌『日本語の研究』19巻3号（2023年12月）に掲載した拙論（「和歌集の歌風の言語的差異の記述ー大規模言語モデルによる分析−」）の解説記事となります（来年6月にはJSTAGE
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 無料、会員登録不要、データをアップせずオフラインでも使えるブラウザベースの機械学習ツールを作りました。 空飛ぶニューラルネット https://soratobu-nn.net/ 目次 なにこれ 特徴 基本的な使い方 ちょっと高度な使い方 今後について 空飛ぶニューラルネット なにこれ 主にReact.jsとTensorflow.jsで構成された簡易的な機械学習ツールです。 世の中には多機能・高性能な機械学習プラットフォームがゴマンとありますが、利用料が高額、利用開始まで時間がかかる、使い方が難しい、データをサーバーにアップロー
Heterogeneous Graphでグラフニューラルネットワークの学習をやってみた - NTT docomo Business Engineers' Blog
この記事は、NTTコミュニケーションズ Advent Calendar 2022 20日目の記事です。 こんにちは。コミュニケーション&アプリケーションサービス部の石井です。 普段の業務では文章要約技術を用いたAPIサービス1の開発・運用に取り組んでおります。 この記事ではグラフニューラルネットワーク（GNN）、特に Heterogeneous Graph（異種グラフ） を扱ったGNNについて紹介していこうと思います。 本記事で扱う内容 この記事で取り扱う内容は以下です。 グラフニューラルネットワーク（GNN）とは Heterogeneous Graph（異種グラフ） 機械学習におけるグラフベースの問題設定 Pytorch-geometricによるモデル構築 GNNの概要と Heterogeneous Graph について簡単に説明をした後に、実際にモデルを作成していく流れで展開していきま
この記事は NSSOL advent carendar 12/23担当分です。よろしくお願いします。 昨日は研修を運営してみて思ったことでした。 研修対応すると、その後も割と忙しくて、振り返りの時間がちゃんと取れなかったりします。 まとまった現場知見・感想が読めるのって、ありがたいなと思いました。 さて、今回のテーマは、「疑似データ生成」です。 背景：実データの取得は大変 擬似データが使えるかも データ分析やシステム開発のために、実データかそれに近いデータが欲しくなることは多々あります。 ただ、顧客情報や営業秘密といった機微な情報が含まれる場合は、データ取得までに高いハードルがあることが多いです。 結果、試してみたいアイディア/製品/分析手法などの適用ができないこともあるかと思います。 解決策の1つとして、擬似データの利用、が挙げられそうです。参考 実データを入力して、データの形式や統計量
OGP の生成をAIですれば楽な気がしてきた
この OGP は "Draw open graph protocol by AI." っていう言葉で作った OGP だ。graph に引っ張られすぎだろ... ブログの OGP このブログの入稿は のようにフォルダに visual.png という名前でフォルダに保存して、 --- path: /draw-ogp-by-ai created: "2022-08-24" title: OGP の生成をAIですれば楽な気がしてきた visual: "./visual.png" tags: ["OGP"] userId: sadnessOjisan isFavorite: false isProtect: false --- の visual でパスを visual.png に指定すれば適用できるようになっている。 なので日頃は ユーモア ある画像を入稿するようにしている。 が、最近はそれがめんど
テラーノベルで機械学習を中心に担当している川尻です。最近、グラフニューラルネットワーク(GNN)に注目してサーベイしています。今回は、実際のテラーノベルのデータを簡単なモデルに適用してみたので報告します。 グラフニューラルネットワーク (GNN) グラフニューラルネットワーク（GNN）とは、グラフ理論において対象を「ノード」と「エッジ」からなる「グラフ」として扱うためのニューラルネットワークの一種です。例えば、テラーノベルにおいては、ノードがユーザーや作品の一つ一つを表し、エッジが「読んだ」「いいね」「フォロー」などを表します。ディープラーニングの発展に伴い、GNNの研究も盛んになっており、大規模なデータや様々なタスクに適用されるようになっています[1]。 テラーノベルでのグラフの例 arxivで投稿された年ごとの「Graph Neural Network」がタイトルに含まれている件数 G
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
はじめに 凸最適化問題に使われている主双対内点法の解説を目標に、凸最適化の概要を説明します。二次計画がメインターゲットです。 この記事は ソルバーは使ったことあるけど、もう少しアルゴリズムの中身が知りたい 凸最適を学びたいけど、最適化の章までの道のりが長すぎてつらい な方が対象です。いまどき1から凸最適アルゴリズム実装しようなんて物好きは稀だと思いますが、この記事の目的は主双対内点法を実装するための知識を全体的にふわっと理解することです。 二次計画でよく使われる 主双対内点法 と 有効制約法 を以下に可視化しました。解の求め方が全く異なることが分かります。コードはpythonです。 主双対内点法（primal dual interpoint） 内点法の系譜（有効領域の内部を進む） 徐々に相補性残差を減少させて最適解を得る 線形計画、二次計画、非線形計画まで幅広く対応可能 高次元の問題が得意
はじめまして。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 本記事では、機械学習チームの取り組みの一環として機械学習等のバッチを含むバッチ実行環境を整備した話について話したいと思います。 今までのバッチ実行環境 機械学習チームではピクシブ会社全体のサービスにおけるアイテムのレコメンド等を主に取り組んでおり、そのロジックは多岐に渡ります。 matrix factorizationを用いた手法 item間共起頻度に基づくシンプルなアイテムの推薦手法 ニューラルネットを用いた手法 これらの計算を行うためのバッチは実装者の好きな手法で実装されており、バッチを行う環境に関しても下記にようにバラバラになっていました。 オンプレの機械学習用マシンに各ユーザー毎に設定したcronでバッチが実行 gitlab-ciのスケジューリングによってバッチが実行 BigQueryで完結す
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
Posted by Sibon Li, Jan Pfeifer and Bryan Perozzi and Douglas Yarrington Today, we are excited to release TensorFlow Graph Neural Networks (GNNs), a library designed to make it easy to work with graph structured data using TensorFlow. We have used an earlier version of this library in production at Google in a variety of contexts (for example, spam and anomaly detection, traffic estimation, YouTub
20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄
第8回 Data-Centric AI勉強会 ~Human-in-the-Loop機械学習 特別回~の発表内容です。 https://dcai-jp.connpass.com/event/315963/ 書籍「Human-in-the-Loop 機械学習」において、翻訳を担当した章（1,7,8,…
何をしたのか(概要) 🤗Huggingface Transformersで提供されているmicrosoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltextをベースにして、医療論文の2値分類用にFine tuningしました。 Modelには、上記のBERTをベースとして、LSTM, Conv1D, Linear層を追加し、BERTの重みを最大限活かした予測ができるように工夫しています。 Datasetには、Argument(データ拡張)処理を実装し、学習データの文章をランダムに削除したり入れ替えることで過学習の抑制をしました。 ラベル1が全体のうちの 1/43 程度しかなかったこと、評価指標がラベル1の正解を高く評価する指標であることから、損失関数のラベル1に対する重みを130倍 (ヒューリスティックス) に設定した。 Datase
内容にもとづいたアニメ推薦のための Contrastive Learning による埋め込み作成 - kirarajump-tech
創作+機械学習 Advent Calendar 2021 12日目の記事です。昨日は Xiong Jie さんの 超ニッチな二次元画像用リアルタイム超解像モデルを学習させた でした。 adventar.org 2022/11/11 追記: 本記事で紹介した技術がバンダイナムコグループで活用されています。 www.wantedly.com 2022/1/10 追記: 本記事が優秀賞としてノミネートされ、賞金10,000円を頂きました！大切に使います💰 https://kivantium.hateblo.jp/entry/advent-calendar-2021-result 先に結論が知りたい人へ 以下のサイトにアクセスしてみてください。 8x7k.github.io はじめに 皆さんは新しくアニメを見ようと思った時にどのような基準で作品を選択するでしょうか？ 一つの典型的なパターンとして
強化学習「理論」入門
2022年度 TopSE「機械学習概論」コースの一部として使用した講義資料です。 https://www.topse.jp/ja/curriculum-lectures.html
拙著『グラフニューラルネットワーク』が重版して第 5 刷となりました。皆さまありがとうございます！ 【重版速報🎉🎉🎉🎉】 機械学習プロフェッショナルシリーズの重版が決まりました😆ご愛読ありがとうございます‼️ 松井孝太・熊谷亘『転移学習』【4刷】 https://t.co/Qic24KAwxD 佐藤竜馬『グラフニューラルネットワーク』【5刷】 https://t.co/Peqn1ZQavo pic.twitter.com/VBkNp2Uwjj— 講談社サイエンティフィク🖋️📔 (@kspub_kodansha) 2024年8月1日 グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤竜馬講談社Amazon 拡散モデルと最適輸送（最適輸送第 5 刷）や GNN の最新動向（グラフニューラルネットワーク第 3 刷）でもやりましたが、重版に感謝して書き下
ディープラーニングフレームワークのncnnを試してみた - NTT docomo Business Engineers' Blog
はじめに こんにちは。イノベーションセンターテクノロジー部門の齋藤と申します。普段はコンピュータビジョンの技術開発やAI/MLシステムの検証に取り組んでいます。今回は、モバイル向けの推論フレームワークのncnnに触れてみたので、その結果について書いて行きます。 ncnnとは ncnn1とは、モバイル向けの推論フレームワークでAndroidとiOSにどちらも対応しています。Pytorchの場合モデルは、pthの形式で1つのファイルで構成されています。ncnnの場合モデルは、param(モデル構造)とbin(重み)ファイルに分割されています。 自身のncnnを使用するモチベーションは、ncnnのデータフォーマットにあります。モバイルで使用するフレームワークにTensorFlow Lite2がありますが、他のフレームワークからモデルを変換するためにNCHW形式からNHWC形式に変換する必要があり
Vertex Pipelines で動く Kubeflow Pipelines のサンプルを公開しました - Repro Tech Blog
Repro AI Labs で Software Engineer として働いている杉山阿聖です。Repro では機械学習の基盤として GCP を用いています。今回は Google I/O 2021 で発表された Vertex AI のサービスのひとつである、機械学習パイプラインの構築・運用を行える Vertex Pipelines で動かせるサンプルを作成したのでその紹介をします。サンプルは次のリンクからお試しください。 reproio/lab_sample_pipelines この記事ではまず、機械学習パイプラインの主な要件について述べます。次に、機械学習パイプラインの構築で用いられる Kubeflow Pipelines について概要を述べます。最後に、機械学習パイプラインの構築にあたり理解が必要な Kubeflow Pipelines の仕様について、今回作成したパイプラインを例に
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。先端技術の調査報告や深層学習まわりのエンジニアリングを担当している、テクノロジーインテリジェンス室の清水です。 Yahoo!ニュースでは、「記事との関連性の低いコメント」や「過度な批判や誹謗中傷、不快な内容を含むコメント」を表示させなくする仕組みを導入しています。今回の記事では、Yahoo!ニュースの不適切コメント対策のために深層学習ベースの大規模モデルを導入した際、どのように事前学習を行い、高性能な判定モデルの実現に繋げたか、概要をご紹介します。 不適切コメント対策とは Yahoo!ニュースのコメント欄では日々、数十万件の投稿が寄せられており、その大半は問題がないものですが、中には残念ながら「記事との関連性の低いコメ
詳解！defer panic recover のしくみ / Understanding defer, panic, and recover
Since its inception in "Attention Is All You Need", transformer architecture has led to revolutionary advancements in NLP. The attention layer within the transformer admits a sequence of input tokens $X$ and makes them interact through pairwise similarities computed as softmax$(XQK^\top X^\top)$, where $(K,Q)$ are the trainable key-query parameters. In this work, we establish a formal equivalence
目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま
文章を楽に書きたい。 日常生活でそう思ったことはないでしょうか？ 文章を書く機会は社会人だけでなく学生でも多いと思います。 報告書やメール、レポート課題、そして今読んでいるようなブログなどです。 その時に出だしは順調でも途中で詰まったり、表現がわからずにネットで調べたりして、ちっとも進まないということがよくあります。 そういった場合に続きの文章を書いてくれる、もしくは続きの候補を出してくれるシステムがあると非常に便利ですよね？ 私もそういう楽をしたいために色々探ってみましたが、どうやら文章自動作成ツールを作るには「自然言語処理」というものを学ぶ必要がありそう……。 しかもそれを学ぶ上では数々の用語や知識が必要でなかなか難しそうでした。 楽になるためにはまずは勉強をしなくてはダメか、と諦めかけていたのですが、ネットの海を漂っていると事前学習済みのモデルがあることがわかりました。 そのひとつが
はじめに 今更感満載ですが・・・ ↑ ↑ ↑ このマリオ君が ↑ ↑ ↑ こうなるように頑張った話！ Gitは以下。環境構築の流れとかも以下を参照。 開発環境 プラットフォームとか Hyper-V Ubuntu18 Anaconda Python3.8 Tensorflow2.2.0など、Pythonライブラリ色々 (envs/conda_env.yaml参照) エミュレータ FCEUX 2.2.2 開発環境以外の動作確認済み環境 GPU on WSL2環境 WSL2 Ubuntu20 GPU環境 (cuda toolkit 10.2) それより上のレイヤは開発環境と同様 ⇒ 学習がCPUよりとても速かった。 あと、WSLなのでHyper-Vより軽量。 ここの詳細はメインとは逸れるので、末尾に記載。 マリオが動くまで AnacondaとエミュレータであるFCEUX 2.2.2の環境構築は終
社内でデータ分析コンペティションを開催しました
こんにちは、デジタル改革推進部の河合と浅野です！ 私たちデジタル改革推進部では、普段から全社で使うためのデータ分析環境の開発・提供を行っています。 今回は社内でデータ分析コンペティションを開催したのでその内容を報告します。 社内データ分析コンペティションとは？ 社内にある様々なデータ活用課題をコンペティション形式に落とし込み、全社で知恵をしぼって解こうという試みです。 もともと、データサイエンスの界隈ではKaggleやatmaCupと呼ばれる分析力を競うコンペが行われており、課題や技術を集団で共有して解く文化があります。 今回はそれらを参考に、社内のデータを使ったコンペを 6/21~7/2 の２週間にかけて初開催しました。 開催にあたって期待したことは、以下の３つです。 様々な部署に散らばっているサービス特有のドメイン知識、データ、分析技術を一箇所に集める 優れたソリューションを集合知によ
GiNZAのja-ginza-electraモデルでELECTRAベースの単語ベクトルを使用できるようにする - OPTiM TECH BLOG
はじめに R&Dチーム所属の伊藤です。相も変わらず自然言語処理と格闘する毎日を送っています。 今回は個人的にとても楽しみにしていたGiNZA v5の新モデルであるja-ginza-electraを使って、前後の文脈を加味した単語ベクトルを求められるようにするまでの手順をまとめました。 はじめに GiNZA v5について セットアップ モデルのロード + 文の解析方法 行いたいこと Contextualな単語ベクトル ELECTRAモデルの出力と単語ベクトルの計算 spaCyのUser hooksの追加 おわりに GiNZA v5について GiNZAはspaCyをベースにしたPythonの日本語向け自然言語処理ライブラリです。 形態素解析をはじめとして、固有表現抽出や品詞タグ付け、構文解析などを行うことが可能です。 このGiNZAですが、2021年8月26日に最新バージョンであるv5が公開さ
Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrou
Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more
Transformers4Recで簡単にセッションベースなレコメンデーションを試してみた - Taste of Tech Topics
アクロクエスト アドベントカレンダー 12月14日 の記事です。 こんにちは。最近テニス熱が再燃している@Ssk1029Takashiです。 深層学習の界隈はここ最近はTransformerアーキテクチャが様々な分野で高い精度を出しています。 そんな中NVIDIAから、Transformerを使ってセッションベースのレコメンドを学習できるTransformers4Recというライブラリがリリースされています。 github.com 簡単に精度が高いレコメンドが試せるライブラリとのことなので、チュートリアルをベースに試してみました。 ブログの内容は以下になります。 注意点として、ライブラリの使い方に主眼を置いているので、モデルの詳細な中身や前処理の具体的なコードの説明はこの記事では説明していません。 セッションベースのレコメンデーションとは Transformers4Recとは 実際に使って
英語記事をAI関連 or AI関連でない、というテキスト分類器を fastText + 量子化で作ったら、ファイルサイズ1.7MBで実用的なモデルができてしまって驚き、というお話をメモ記事に。1.7MB ですよ!! AI Newsでは、AI関連 or AI関連でないのテキスト分類にAI News の公開と、裏側の OpenAI の活用話で書いた通り、OpenAIのtext-embedding-ada-002で1536次元のベクトルにしたものをlightGBMで学習させたものを使っている。この方法の問題は、すべての記事の判定に必ず OpenAI の API を通す必要があり、長文記事が沢山あると日によっては一日あたり数十円がかかってしまっている。月にすると500~1000円はかかってそうで、チリツモヤマトテナデコである。 というわけで、そろそろデータも溜まってきたしと、OpenAIのAPIに
Monitoring feature attributions: How Google saved one of the largest ML services in trouble | Google Cloud Blog
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
How to get meaning from text with language model BERT | AI Explained
In this video, we give a step-by-step walkthrough of self-attention, the mechanism powering the deep learning model BERT, and other state-of-the-art transformer models for natural language processing (NLP). More on attention and BERT: https://bit.ly/38vpOyW How to solve a text classification problem with BERT with this tutorial: https://bit.ly/2Ij6tGa 0:00 Introduction of NLP 0:39 Text tokenizati
初学者の段階から一歩前に進みたい方に勧めたい「深層強化学習入門」 - Seitaro Shinagawaの雑記帳
こんにちは、品川です。本記事は強化学習 Advent Calendar 2021 17日目の記事です。 今回は以前献本いただいた「深層強化学習入門」についてご紹介したいと思います。 www.kyoritsu-pub.co.jp 噂の深層強化学習本を頂いたので拝読しました！概論として基礎知識や問題設定、課題感がギュッとコンパクトにまとまってました。特に7章以降は学習させるための工夫とか実験の作法だとか重要な点がさらっと詰め込まれてて勉強になりました。分厚い本と組合せて行ったり来たり読み進めると良さそうです pic.twitter.com/3nIEoQmGkE— Seitaro Shinagawa (@sei_shinagawa) 2021年4月14日 オレンジと黒白の装丁がカッコよくて素晴らしいです。 目次 前置き 本題：「深層強化学習入門」は誰向けの本？ 前置き 強化学習は様々な分野で用い
はじめに こんにちは、データシステム部推薦基盤ブロックの上國料（@Kamiko20174481）とMA推薦ブロックの住安（@kosuke_sumiyasu）です。 私たちは2025年9月22日〜9月26日にチェコのプラハにて開催されたRecSys2025（19th ACM Conference on Recommender Systems）に現地参加しました。本記事では会場の様子や現地でのワークショップ、セッションの様子をお伝えすると共に、気になったトピックをいくつか取り上げてご紹介します。 はじめに RecSys とは 開催地のプラハについて 会場の様子 論文の紹介 Orthogonal Low Rank Embedding Stabilization 感想・考察 Suggest, Complement, Inspire: Story of Two-Tower Recommendatio
Probabilistic Machine Learning: Advanced Topics by Kevin Patrick Murphy. MIT Press, 2023. Key links Short table of contents Long table of contents Preface Draft pdf of the main book, 2025-04-18. CC-BY-NC-ND license. (Please cite the official reference below.) Supplementary material Issue tracker. Code to reproduce most of the figures Acknowledgements Endorsements If you use this book, please be su
今回は、実例があまり出てこない食品画像を攻略してみたいと思います。（といっても、精度100％は出ていません(^^；） （右端「Padim + YOLOv5」が提案手法） 食品画像の難しさ 食品画像の検査は、工業製品と違って難しいと言われています。個人的には 見た目に多様性がある 位置が決まっていない が理由だと思っております。 見た目の多様性は、例えばミカンでいうと、色やサイズ、形が様々で、一つとして同じものはありません。つまり、正常品の範囲が広く、正常/異常の境界線があいまいになりがちです。一方、工業製品は多様性が少なく、正常品の範囲が狭いです。このため、正常/異常の境界線がはっきりしています。 二点目、「位置が決まっていない」は、食品という特性上、位置が多少ズレることがあります。さらに、2つの食品があったとして、2つの位置が入れ替わったとしても正常となることがあります。つまり、位置ベー
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 近年の深層学習ブームにおいて，VAE（変分オートエンコーダ: variational autoencoder）の果たした貢献は非常に大きいです。GAN（敵対的生成ネットワーク: generative adversarial network）やFlowと並んで，生成モデルの三大巨頭として主に教師なし学習や半教師あり学習で応用されています。 多くの書籍やWeb上の資料では「VAEはオートエンコーダの発展手法である」と説明されています。名前にもAE（オートエンコーダ）と入っているので，そう思ってしまうのは一見当然のことのように思えます。しかし，語弊を恐れずに言うと，この説明は深刻な誤解を読者に与えています。Kingmaらの原著論文を読めば，VAEがA
はじめに この記事では，ニューラルネットワークを乱数初期化のまま学習させたときに発生する 「初期化の罠」 を整理し，その回避策としての事前学習を原理から紹介します．Transformer や ResNet がどうして安定的に学習できるのか．最新の理論をもとに掘り下げながら，「事前学習モデルを微調整するのが一番コスパが良い理由」を示したいと思います． 1. いきなり Fine‑tune はダメ？ 深層モデルの損失関数は高次元かつ非凸ですが，実際には Transformer や ResNet がサクッと収束するケースのほうが多いです．ところが，小規模データをゼロから Transformer で Fine‑Tune しようとすると，勾配が発散したり精度がガタ落ちしたりするシーンが報告されています．たとえば Spider (∼7 k 訓練例) では，標準初期化の Transformer は 8 層
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本の古典和歌を埋め込みベクトルで分析する｜yhkondo
無料で登録不要、オフラインでも使える機械学習ツールを作ってみた - Qiita
"気の利いた"擬似データを生成したい - Qiita
グラフニューラルネットワーク(GNN)を使ったタグ分類
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
凸最適化の概要と主双対内点法のアルゴリズムの解説 - Qiita
機械学習バッチ実行環境を整備した話 - pixiv inside
Introducing TensorFlow Graph Neural Networks
【SIGNATE】BERTで医療論文を2値分類する(PyTorch BERT)
深層学習で部分空間を扱うときは射影行列を考えるとよい - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
大規模深層学習モデルによるYahoo!ニュース「不適切コメント」対策
hydra-mlflow-optuna
Transformers as Support Vector Machines
複数時系列データ × Transformerの実装と評価
自然言語処理初心者が「GPT2-japanese」で遊んでみた | 豆蔵デベロッパーサイト
自作AIがスーパーマリオ1-1をやっとのことでクリアした - Qiita
fastText で量子化し、実用的な 1.7MB のテキスト分類器を作る - A Day in the Life
RecSys 2025参加レポート - ZOZO TECH BLOG
Probabilistic Machine Learning: Advanced Topics
【異常検知】食品画像を攻略してみる - Qiita
13億パラメータのGPT日本語学習済みモデルが出たので会話応答を生成してみた - Qiita
【徹底解説】VAEをはじめからていねいに | Academaid
そもそもなぜ事前学習（Pre-training）が要るのか？ - もちもちしている
zenn.dev/sqer
hirocy890.hatenablog.com
media-innovation.jp
yutaro-sata.com
www.news-postseven.com
hit-press.org