Transformers4Recで簡単にセッションベースなレコメンデーションを試してみた - Taste of Tech Topics
アクロクエスト アドベントカレンダー 12月14日 の記事です。 こんにちは。最近テニス熱が再燃している@Ssk1029Takashiです。 深層学習の界隈はここ最近はTransformerアーキテクチャが様々な分野で高い精度を出しています。 そんな中NVIDIAから、Transformerを使ってセッションベースのレコメンドを学習できるTransformers4Recというライブラリがリリースされています。 github.com 簡単に精度が高いレコメンドが試せるライブラリとのことなので、チュートリアルをベースに試してみました。 ブログの内容は以下になります。 注意点として、ライブラリの使い方に主眼を置いているので、モデルの詳細な中身や前処理の具体的なコードの説明はこの記事では説明していません。 セッションベースのレコメンデーションとは Transformers4Recとは 実際に使って
英語記事をAI関連 or AI関連でない、というテキスト分類器を fastText + 量子化で作ったら、ファイルサイズ1.7MBで実用的なモデルができてしまって驚き、というお話をメモ記事に。1.7MB ですよ!! AI Newsでは、AI関連 or AI関連でないのテキスト分類にAI News の公開と、裏側の OpenAI の活用話で書いた通り、OpenAIのtext-embedding-ada-002で1536次元のベクトルにしたものをlightGBMで学習させたものを使っている。この方法の問題は、すべての記事の判定に必ず OpenAI の API を通す必要があり、長文記事が沢山あると日によっては一日あたり数十円がかかってしまっている。月にすると500~1000円はかかってそうで、チリツモヤマトテナデコである。 というわけで、そろそろデータも溜まってきたしと、OpenAIのAPIに
Monitoring feature attributions: How Google saved one of the largest ML services in trouble | Google Cloud Blog
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
How to get meaning from text with language model BERT | AI Explained
In this video, we give a step-by-step walkthrough of self-attention, the mechanism powering the deep learning model BERT, and other state-of-the-art transformer models for natural language processing (NLP). More on attention and BERT: https://bit.ly/38vpOyW How to solve a text classification problem with BERT with this tutorial: https://bit.ly/2Ij6tGa 0:00 Introduction of NLP 0:39 Text tokenizati
初学者の段階から一歩前に進みたい方に勧めたい「深層強化学習入門」 - Seitaro Shinagawaの雑記帳
こんにちは、品川です。本記事は強化学習 Advent Calendar 2021 17日目の記事です。 今回は以前献本いただいた「深層強化学習入門」についてご紹介したいと思います。 www.kyoritsu-pub.co.jp 噂の深層強化学習本を頂いたので拝読しました！概論として基礎知識や問題設定、課題感がギュッとコンパクトにまとまってました。特に7章以降は学習させるための工夫とか実験の作法だとか重要な点がさらっと詰め込まれてて勉強になりました。分厚い本と組合せて行ったり来たり読み進めると良さそうです pic.twitter.com/3nIEoQmGkE— Seitaro Shinagawa (@sei_shinagawa) 2021年4月14日 オレンジと黒白の装丁がカッコよくて素晴らしいです。 目次 前置き 本題：「深層強化学習入門」は誰向けの本？ 前置き 強化学習は様々な分野で用い
Probabilistic Machine Learning: Advanced Topics by Kevin Patrick Murphy. MIT Press, 2023. Key links Short table of contents Long table of contents Preface Draft pdf of the main book, 2025-04-18. CC-BY-NC-ND license. (Please cite the official reference below.) Supplementary material Issue tracker. Code to reproduce most of the figures Acknowledgements Endorsements If you use this book, please be su
今回は、実例があまり出てこない食品画像を攻略してみたいと思います。（といっても、精度100％は出ていません(^^；） （右端「Padim + YOLOv5」が提案手法） 食品画像の難しさ 食品画像の検査は、工業製品と違って難しいと言われています。個人的には 見た目に多様性がある 位置が決まっていない が理由だと思っております。 見た目の多様性は、例えばミカンでいうと、色やサイズ、形が様々で、一つとして同じものはありません。つまり、正常品の範囲が広く、正常/異常の境界線があいまいになりがちです。一方、工業製品は多様性が少なく、正常品の範囲が狭いです。このため、正常/異常の境界線がはっきりしています。 二点目、「位置が決まっていない」は、食品という特性上、位置が多少ズレることがあります。さらに、2つの食品があったとして、2つの位置が入れ替わったとしても正常となることがあります。つまり、位置ベー
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 近年の深層学習ブームにおいて，VAE（変分オートエンコーダ: variational autoencoder）の果たした貢献は非常に大きいです。GAN（敵対的生成ネットワーク: generative adversarial network）やFlowと並んで，生成モデルの三大巨頭として主に教師なし学習や半教師あり学習で応用されています。 多くの書籍やWeb上の資料では「VAEはオートエンコーダの発展手法である」と説明されています。名前にもAE（オートエンコーダ）と入っているので，そう思ってしまうのは一見当然のことのように思えます。しかし，語弊を恐れずに言うと，この説明は深刻な誤解を読者に与えています。Kingmaらの原著論文を読めば，VAEがA
はじめに この記事では，ニューラルネットワークを乱数初期化のまま学習させたときに発生する 「初期化の罠」 を整理し，その回避策としての事前学習を原理から紹介します．Transformer や ResNet がどうして安定的に学習できるのか．最新の理論をもとに掘り下げながら，「事前学習モデルを微調整するのが一番コスパが良い理由」を示したいと思います． 1. いきなり Fine‑tune はダメ？ 深層モデルの損失関数は高次元かつ非凸ですが，実際には Transformer や ResNet がサクッと収束するケースのほうが多いです．ところが，小規模データをゼロから Transformer で Fine‑Tune しようとすると，勾配が発散したり精度がガタ落ちしたりするシーンが報告されています．たとえば Spider (∼7 k 訓練例) では，標準初期化の Transformer は 8 層
OpenCALM-7BをLoRAでinstruction tuningするための実装解説 / QLoRAの実装も紹介 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ※本記事で「現時点」という言葉は2023/6/1を指すこととします。 先日（2023年5月17日）、サイバーエージェントが日本語に特化したLLM（Large Language Model）をhuggingface上に公開されました。 現時点で日本語に特化したLLMで最大級のパラメータを持つモデル 商用利用可能 という点が非常に魅力的であり、すでにたくさんの方がこのOpenCALM-7Bを動かしたり、チューニングしたりされてるように、自分も勉強がてらこのLLMのチューニングに挑戦してみました。 とはいえ、パラメータ数が68億と巨
この記事は何か lightGBMやXGboostといったGBDT(Gradient Boosting Decision Tree)系でのハイパーパラメータを意味ベースで理解する。 その際に図があるとわかりやすいので図示する。 なお、ハイパーパラメータ名はlightGBMの名前で記載する。XGboostとかでも名前の表記ゆれはあるが同じことを指す場合は概念としては同じ。ただし、アルゴリズムの違い（Level-wiseとLeaf-wise）によって重要度は変わるし、片方にのみ存在するハイパーパラメータもあるので注意。 lightgbm.readthedocs.io また、記事の構成などは以下を大いに参考にさせていただいた。 nykergoto.hatenablog.jp 網羅的には以下の記事もよさげ qiita.com この記事は何か そもそもGBDTとは ハイパーパラメータ どのような決定木
日本語ニュース分類から見る多言語モデル
多言語モデルの英語・日本語間での転移性能を日本語ニュース分類で評価
Japanese Language Analysis by GPU Ready Open Source NLP Frameworks
Japanese Language Analysis by GPU Ready Open Source NLP Frameworks Hiroshi Matsuda GPU Technology Conference 2020 1 This document is published under CC BY 4.0 license from Megagon Labs, Recruit Co., Ltd. Contents 自然言語処理技術の進歩とGPUが与えた影響 ルールベースからTransformersまで NLP Frameworkを用いた日本語の解析 世界の全言語を統一的に扱うUniversal Dependenciesとその日本語化 GiNZAの文節API GPU Ready OSS NLP Frameworks spaCy v2.3 → v3.0 Stanza
機械学習のルール: | Machine Learning | Google for Developers
ML エンジニアリングのベスト プラクティス Martin Zinkevich このドキュメントは、機械学習に関する基本的な知識をお持ちの方を対象に、Google の機械学習のベスト プラクティスを活用できるようにすることを目的としています。Google C++ スタイルガイドやその他の一般的な実践的なプログラミング ガイドと同様に、機械学習のスタイルを示しています。機械学習のクラスを受講したことがある、または機械学習モデルを構築または操作したことがある場合は、このドキュメントを読むのに必要な背景知識があります。 Martin Zinkevich が、お気に入りの機械学習のルールを 10 個紹介します。43 個のルールをすべて確認する。 用語 効果的な ML の説明では、次の用語が繰り返し使用されます。 インスタンス: 予測を行う対象。たとえば、インスタンスは、「猫に関する」または「猫に関
BERTの埋め込み空間の可視化を最速で
BERTのtoken embeddings(入力部分にある単語id->単語埋め込みに変換する層)の埋め込み空間の可視化をやったので、手順をまとめた。 文脈化単語埋め込みの方(BERTの出力ベクトル)の可視化も似たような手順でできると思う。 今回は東北大の乾研の方が公開されている日本語BERT(cl-tohoku/bert-base-japanese-whole-word-masking)を利用した。 使用する技術は主に以下。 huggingface/transformers: 事前学習済みモデルの利用 holoviews: 可視化まとめツール t-SNE: 次元削減 poetry: パッケージマネージャ 環境構築 poetryでいい感じにやった。 以下のpyproject.tomlをコピペしてpoetry installすればよさそう。 [tool.poetry] name = "hoge
Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines
第9回 MLOps 勉強会 Tokyo (Online)： https://mlops.connpass.com/event/215133/ でトークした際の資料です
基礎コースでは、機械学習の基礎と核となるコンセプトについて説明します。 下記の順序に沿って更新することをおすすめします。
東京大学2021年度深層学習（Deep learning基礎講座2021） 第8回「深層学習と自然言語処理」
東京大学2021年度深層学習（Deep learning基礎講座） https://deeplearning.jp/lectures/dlb2021/ 第8回（2021/06/01）「深層学習と自然言語処理」の講義資料です。 以下誤植ですので読み替えてご覧ください。 p25: Micolov -> Mikolov
世界モデル系強化学習の先端手法であるDreamerV2をブロック崩し（BreakoutDeterministic-v4）向けに実装しました。 はじめに 世界モデルベース強化学習とは DreamerV2：Atari環境で初めてモデルフリー手法に並んだ世界モデルベース強化学習 世界モデル（World Models）について 方策の獲得 Dreamerへの系譜 Wolrd Models （2018） PlaNet： Deep Planning Network （2019） Dreamer （2020） DreamerV2 （2021） 非VAEの状態遷移モデル：MuZero（2020） Tensorflow2による実装例 世界モデル部 ロールアウト部 強化学習エージェント部 学習結果 雑記 DreamerV3 論文： DreamerV2: [2010.02193] Mastering Atari
この投稿はrioyokotalab Advent Calendar 2020 21日目の投稿です。 adventar.org サウンド系の機械学習 PyTorchを使ってなにかするとなると、なぜか多くの人は画像をどうにかしようとしがちな気がします。特にブログとかでやってみた的な記事だとその傾向が強いと思います。確かにインパクトはありますし...。 画像処理はやり尽くされている感はありますが、音声系って意外とやられていない要素が多いように思います。もし、PyTorchで音声に関する機械学習を行いたいのであれば、この記事が参考になればと思います。 サウンド系機械学習のスタンダードな実装 音声というのは波情報です。それをそのまま1次元CNNにかけるというのでもいいのですが、波情報のままだと、情報が冗長すぎます。なので、基本的にはスペクトログラム1と呼ばれる、二次元情報に変換し、それを画像処理ベー
こんにちは！東工大修士2年/産総研RAの高島空良と申します。本記事は、研究コミュニティ cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022の17日目の記事となります。 本記事では、私がcvpaper.challengeに研究メンバーとして参画した経緯から1年間活動してきた内容の振り返りを、ざっくばらんに記載します。メインコンテンツは「大規模分散学習」になる見込みです。 私の体験を通して「cvpaper.challengeでの研究・活動の流れ」や「cvpaper.challengeの研究コミニュティの雰囲気」なども伝えられれば幸いです。 注：勢いに任せて執筆した結果、かなり長くなってしまったので、ご興味に応じて適当に読み飛ばしていただければと思います🙇♂️ 自己紹介私は現在、東京工業大学の情報工学系修士2年で、高性能計
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 メタバースやAR等の進展で人体の3Dモデル化は需要大 （Vtuber等のアバター,ゲームモーション作成、映像コンテンツの作成等） 今回は画像や動画からどうやって人体を3D化するかという技術を紹介したいと思います。 3Dモデルの表現方法 画像から3Dモデルを作成する上で重要なのは３Dをどのような形で表現をすればよりNNの学習に適しているかということです。 3DモデルをPoint Cloudのような点群として表現するのか、メッシュとして表現するのかなど同じ3Dにしても多数の表現方法があります。用途やNNの学習に適した表現形式 が多数提
AI勉強1ヶ月目。風景画を生み出すAIをトレーニングしました。 トレーニング期間1週間ほど。 遠目にはボブ・ロスに戦いをいどめそうなレベルには、育ちました。 以下、AIがジェネレートした存在しない風景による、異世界紀行です。 花畑朝焼けの湖畔霧につつまれた森素敵な遺跡 カードゲームの地形カードや、ゲームの初期コンセプトアートとしては使えるレベルの画像を、無限に出力できるようになりました！ 地形別のサンプル 平地平地平野は安定して出力できます。多くはダート系なのですが複数種が混ざったり、麦、菜の花、茂みなどが生まれることもありました。 木々樹木のジェネレートに関しては、かなり安定したクオリティがでます。一方で、双子の木が生まれやすい傾向があり、この原因は謎です。 山嶺 山岳山々。雲や水とセットで出力されることが多い印象です。切り立った岩山から、雪の被った霊峰までバリエーションをもって出力され
時系列文書解析とコロナ禍における�ニュースへの応用 / Analysis of Time Series Documents and its Application to News in the Corona Disaster
■イベント ：自然言語処理勉強会 https://sansan.connpass.com/event/190157/ ■登壇概要 タイトル：時系列文書解析とコロナ禍における�ニュースへの応用 発表者： DSOC R&D研究員 橋本 航 ▼Twitter https://twitt…
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 作るもの 本記事では、日本語文の感情分析をするAIモデル を作ります。 入力文に含まれる感情を、8つの基本感情 の軸で推定します。 こんな感じです。 上記の棒グラフは、「今日から長期休暇だぁーーー！！！」という文章には「喜び」と「期待」の感情が含まれている、という推定結果を示したものです。 （夏季休暇を目前にして、「せっかくの休みで時間もあるし、あれもしたいし、これもしたいな♪」と喜びと期待に胸を躍らせていた私の気持ちが見透かされているようで怖いです……。） 概要 タイトルの通り、「Hugging Face」と「WRIMEデータセット」
PyTorch 1.11からβ版として追加された functorch と呼ばれる機能を試してみました。PyTorch 1.9くらいのときから試験版として本体に組み込まれて提供されていましたが、どうやらfunctorchという別モジュールに切り出して提供されるようになったようです。 pytorch/functorch: functorch is JAX-like composable function transforms for PyTorch. functorchとは PyTorch公式サイトには以下のように説明されています。 functorch is a library that adds composable function transforms to PyTorch. It aims to provide composable vmap (vectorization) and a
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は『ドワンゴ AdventCalendar 2020』の17日目の記事です。 今回はMenthasというニュースキュレーションアプリを運用して得られた知見について書こうと思います。Menthasは5年前のアドベントカレンダーで話題になった後も定期的にリニューアルを行っており、現在月に約4000人ほどのユーザが安定的に使っている状況のようです1。数年ごとの大きなリニューアル以外はあまり手を入れることはしていないので、ここまでの人に使ってもらえるのはありがたい限りです。 これまで何年もニュースアプリを作り続けてきたのもあって、それな
<section id="hero_custom" class="hero_custom"> <video aria-hidden="true" role="presentation" class="hero_custom__background hero_custom__background--video" webkit-playsinline="true" playsinline="true" loop="true" autoplay="true" muted="true" poster="/content/dam/system-files/acom/custom-code/change-more/imagery/custom-hero-poster.png"> <source src="/content/dam/system-files/acom/custom-code/change
deno で機械学習
はじめに 最近、deno が面白くなり始めています。deno はコマンドラインバイナリを1つインストールすれば、import によりパッケージの読み込みはインターネットからダウンロードしてキャッシュされ、開発者が package.json を書く事もなく、とてもお手軽に TypeScript を書くことができます。 もし、機械学習をやりたいとして、事前準備(npm でインストールしたり、conda/pip 等で依存物をインストールしたり)が大幅に削減できるなら、とても便利だと思いませんか？ deno で機械学習 deno で機械学習と聞くと tensorflow.js を使いたくなりますが、残念ながら現在はまだ deno で tensorflow.js を扱える様にはなっていません。しかし deno 1.8 では GPU を扱う為の機能が追加されており、ジワジワではありますが目標に向かって
Anewsへの応用を見越した既存ニュース推薦手法の性能確認実験
機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装
サンプルパイプライン : https://github.com/reproio/lab_sample_pipelines/tree/main/kfp 解説記事 : https://tech.repro.io/entry/2021/06/22/125113 ハンズオン資料 : https://gist…
Accuracy Accuracyは、二値分類における最も単純な指標で、全データの内正しく0/1を予測できたものの割合です。 $$\text{Accuracy} = \frac{TP + TN}{TP+FN + TN+FP}$$ もはや常識ではありますが、正例と負例の比率が極端に偏っている場合、Accuracyは無意味な予測に対しても大きな値を取り得るので注意が必要です。例えば、正例が1%しか存在しない不均衡データに対し、全てを負例と予測した場合、Accuracyは0.99となります。 このように、不均衡データに対してAccuracyを用いるのは混乱の元になりますし、モデル改善の指針としても不適切なので、避けるべきです。 Balanced Accuracy Balanced Accuracyは、正例と負例でそれぞれ正答率を出した後で、それらの平均を取る指標です。つまり、真陽性率と真陰性率の
基盤モデルのための事前学習用のデータは「量」にフォーカスされがちですが、昨今では「質」の部分にも注目が集まっています。特に昨年開催されたDataCompは、データの質にフォーカスしたData-centricなコンペ設計となっており、データフィルタリングのノウハウが多数共有されました。本発表ではDataC…
GPT Index のナレッジグラフ機能を試す｜npaka
GPT Index のナレッジグラフ機能を試したので、まとめました。 1. ナレッジグラフ「ナレッジグラフ」 (Knowledge Graph) は、さまざまな知識の関係をグラフ構造で表したものです。知的システムの基盤となるデータベースとして用いられます。 「GPT Index」は、RDF フレームワークと直接互換性のある「トリプル」 (主語、述語、目的語) として表されるナレッジグラフデータをサポートします。内部的には、グラフデータは有向グラフとして管理されます。 現在、「GPT Index」は、LLMがサポートするトリプルの操作を2つ提供しています。 ・グラフ抽出 (Graph extraction) : 与えられたテキストからトリプルを抽出 ・グラフQ&A (Graph Q&A) : グラフデータを応答合成のコンテキストとして利用 2. グラフ抽出Google Colabでの「GPT
はじめに GPT-2のファインチューニングの仕方がなんとなくわかってきたので、メモとして残しておきます。 事前学習モデルはrinna社が提供してくれている以下の日本語モデルを使用します。huggingface/transformersから簡単にロードして使うことができます。 https://huggingface.co/rinna/japanese-gpt2-medium こちらのモデルはmediumとあるので、TransformerのDecoderブロックが24層重なったやつですね。 今回紹介する内容はGPT-2条件付き文章生成です。 GPT-2のチュートリアル的な記事でよく見るのが、与えた文章の続きにくる文章を生成するようなものが多いかと思いますが、出力の形式等を入力の段階から制御するようなことをしてみようと思います。 GPT-2自体の理解や、使い方、ファインチューニングの仕方、生成文
関数データ解析への招待
2023/04/26に開催されたザッピングセミナーでの講演資料です。当日の質問内容に対する回答を一部追記しています。
第30回 MLOps 勉強会の資料 https://mlops.connpass.com/event/276894/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fastText で量子化し、実用的な 1.7MB のテキスト分類器を作る - A Day in the Life
Probabilistic Machine Learning: Advanced Topics
【異常検知】食品画像を攻略してみる - Qiita
13億パラメータのGPT日本語学習済みモデルが出たので会話応答を生成してみた - Qiita
【徹底解説】VAEをはじめからていねいに | Academaid
そもそもなぜ事前学習（Pre-training）が要るのか？ - もちもちしている
GBDTのハイパーパラメータの意味を図で理解しつつチューニングを学ぶ - まずは蝋の翼から。
https://deepimagination.cc/eDiffi/
Machine Learning | Google for Developers
世界モデルベース強化学習①： DreamerV2の実装 - どこから見てもメンダコ
サウンド系の深層学習に使うtorchaudio - deoxy’s diary
大規模分散学習でGPUを食べまくる人｜マソラ
画像から人体の3Dモデルを生成する技術 - Qiita
AIを一週間トレーニングしたら、素敵な世界を出力しだした｜深津 貴之 (fladdict)
Hugging Face + WRIMEデータセットで、8クラスの感情分類 - Qiita
JAXライクなfunctorchで機械学習を速くする – part 1 – Rest Term
良いニュースキュレーションアプリを目指して - Qiita
アクセンチュア | 日本 | Let There Be Change
Anewsへの応用を見越した既存ニュース推薦手法の性能確認実験
インバランスな二値分類タスクにおける評価指標の実験的比較 - Qiita
大規模画像テキストデータのフィルタリング手法の紹介
グーグルはスマートテキスト選択をどう改善したのか？その手法が明らかに
GPT-2をファインチューニングしてニュース記事のタイトルを条件付きで生成してみた。 - Qiita
DynalystにおけるMLワークフローへのPrefect導入事例
panashinoorei.com
bunshun.jp
www.nikkei.com
news.yahoo.co.jp
muranoserena.blog91.fc2.com
agri.mynavi.jp