時系列データ向けの表現学習「T-Rep (ICLR2024論文)」の紹介 - Qiita
概要 時系列データ向けの表現学習手法「T-Rep: Representation Learning for Time Series using Time-Embeddings」 (ICLR2024) の論文、公式リポジトリを読んだので備忘録を兼ねて紹介します。 本手法は多変量の時系列データに対応しており、表現学習時に複数のPretextタスクを導入することで異常検出や分類・予測に寄与する汎用的な特徴量を獲得しています。 時系列表現(representation)はタイムスタンプ単位で出力できるため、point-wiseな異常検出であったり、window単位で集約することでsegment-wiseな分類や異常検出も可能な手法です。 記事の後半では公式チュートリアルを参考に、多変量時系列データの分類を試してみます。 arxiv Github モデル構造 T-Repモデルは以下の3つのモジュール
音声認識モデルWhisperを投機的デコーディングで高速化する - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの加藤です。この記事では、Transformerベースの言語モデルで利用可能な高速化技術である投機的デコーディング(speculative decoding)を用いて、音声認識モデルのWhisperの高速化を検証したのでその結果を紹介します。 投機的デコーディングとは Whisperとは 実験 英語音声 (LibriSpeech) の結果 日本語音声 (Common Voice 17.0 日本語サブセット) の結果 まとめ 投機的デコーディングとは 大規模言語モデル(LLM)をはじめとするTransformerベースの言語モデルは、これまでの単語列から次に現れそうな単語を予測することを繰り返して文章生成を行なっています。 これに対し、元のモデルよりも軽量な言語モデルの出力を下書きとして利用することで、元のモデルの出力を完全に再現しながら文章生成を高速化する
Alibabaの推薦システムBehavior Sequence Transformer
はじめに この記事では、Alibabaが提案した「Behavior Sequence Transformer (BST)」というモデルについて解説し、その実装をMovieLensデータセットに適用した例を紹介します。 以下は実装です。 Repository： Google colab： Behavior Sequence Transformer (BST) URL：Behavior Sequence Transformer for E-commerce Recommendation in Alibaba 論文概要・背景 BSTの発表はKDD’2019と若干古いですが、業界に先駆けてTransformerベースの手法を実稼働環境で検証し、A/Bテスト結果も報告したという内容になっており、先行事例として重要な位置付けの論文です。 A/Bテストでは、AlibabaのE-commerceプラットフ
量子計算のQmod言語の仕様を眺めて少し触ってみた感想 - Insight Edge Tech Blog
こんにちは! Insight Edge分析チームの梶原(悠)です。 最近ひょんな経緯で量子計算用のQmodという言語のフィジビリ兼ゆる勉強会に顔を出しています。 Qmod言語 1 はclassiq社という量子ベンチャーが提供している無償ツールで、簡便に量子アルゴリズムを実装できる高水準言語をうたっています。 私は量子計算について何も知らない素人ですが、基本的なpythonと線形代数の知識があれば使えるとのことで、量子畑の人たちにあれこれ教えていただきながら、すこし触ってみました。 量子計算に興味や前提知識はないが、技術動向はある程度把握しておきたいと考える技術者の読み手を想定して、言語仕様の一部やツールに触れてみた感想などを書きます。 目次 はじめに Qmod言語の仕様調査 回路生成の試行 感想 はじめに 量子計算とは 古典的なコンピュータにおけるCPUのレジスタは一刻にひとつの状態しか取
深層学習と古典的画像アルゴリズムを組み合わせた類似画像検索内製化
第63回 コンピュータビジョン勉強会＠関東の発表資料。 https://kantocv.connpass.com/event/344139/ 概要： 世界182ヶ国に1100万人超の会員を有し、出品数630万品を超える CtoC EC サイト BUYMA を運営する株式会社エニグモにおいて、類…
これから強化学習を勉強する人のための「強化学習アルゴリズム・マップ」と、実装例まとめ - Qiita
※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 これから強化学習を勉強したい人に向けて、「どんなアルゴリズムがあるのか」、「どの順番で勉強すれば良いのか」を示した強化学習アルゴリズムの「学習マップ」を作成しました。 さらに、各手法を実際にどう実装すれば良いのかを、簡単な例題を対象に実装しました。 本記事では、ひとつずつ解説します。 オレンジ枠の手法は、実装例を紹介します。 ※今回マップを作るにあたっては、以下の文献を参考にしました。 ●速習 強化学習: 基礎理論とアルゴリズム（書籍） ●Deep Learning for Video Game Playing 強化学習とは 強化学習は、画像識別のような教師あり学習や、クラスタリングのような教師なし
第17回Lucene/Solr勉強会 #SolrJP – Apache Lucene Solrによる形態素解析の課題とN-bestの提案
ビヨンド の社内勉強会で発表した「AlmaLinux と Rocky Linux の誕生経緯＆比較」のスライドです。 ーーー ● AlmaLinuxとRocky Linuxの誕生経緯＆比較 https://beyondjapan.com/blog/2022/08/almalinux%ef%bc%86rockylinux/ ーーー ビヨンドの業務で触れることのある「AlmaLinux」「Rocky Linux」について、誕生の発端である CentOS の説明と、CentOS 後継問題を絡めつつ、本スライドを作成しました。 ＊＊＊ ■ 株式会社ビヨンド ・コーポレートサイト：https://beyondjapan.com ・採用サイト：https://recruit.beyondjapan.com ・Youtube（びよまるチャンネル）：https://www.youtube.com/@
日本十進分類法を意味ネットワーク図にしてみる - やわらか図書館学
ここ数日、今までの人生でないくらい、日本十進分類法（NDC）に触れてます。（今までも毎日目にはしてましたが） 今、作っているNDCカルタのテストプレイを何十回と繰り返しているうちに、自然とNDCが頭に馴染んできて、やっぱりちゃんと意味が近い言葉は近い番号になっているんだなぁと、当たり前のことを今更ながら深く実感する毎日です。 そんなことを感じるなか、そういえばPythonで言葉の意味の近さを計測できるとどこかに書いてあったことを思い出し、NDCの分類でやってみて近い分類は関係性が強く出たりしたらおもしろそうと思い、例のごとく、ChatGPTに手取り足取り教えてもらいながら、NDCの各分類の単語の意味をネットワーク図にするということをやってもらいました。 ネットワーク図 日本十進分類法のデータは日本図書館協会NDC9（CC BY)を使用させていただいています。 見てみる 星座みたいで綺麗です
Differential Transformerの構造解説 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事では、2024年10月7日に登場したばかりの新しい機構、 arXiv:2410.05258 において提唱されたDifferential Attentionの解説をします。 本解説では実装できるレベル感の解説をします。 Differential Transformer (以下DiT) 概要 この機構は、従来のTransformerで問題となっていた、重要ではない無関係な情報にも注目度をふってしまうことを改善するために作られた機構ということです。 様々な条件下で、従来のTransoformerより性能が良いことが示されてい
[DL輪読会]Taskonomy: Disentangling Task Transfer Learning
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include: 1. Masked prediction tasks that predict masked patches of the input image. 2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image. 3. Self-distillation methods like DINO that distill a teacher ViT into a st
![[DL輪読会]Taskonomy: Disentangling Task Transfer Learning](https://cdn-ak-scissors.b.st-hatena.com/image/square/9899af2b9faed03773045c02af679e8a8e518aec/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdlreadingyokota20180706re2-180706055345-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
【論文読み】 Multi-Oriented Scene Text Detection via Corner Localization and Region Segmentation - Qiita
画像中の文字領域検出における 2 つの主流な手法のいいとこ取りを目指した論文、 Multi-Oriented Scene Text Detection via Corner Localization and Region Segmentation を読んでみました。 この記事は、Wantedlyの勉強会で取り上げられた論文・技術をまとめたものです。 2018年に読んだ機械学習系論文・技術まとめ at Wantedly Advent Calendar 2018 - Qiita Reference Multi-Oriented Scene Text Detection via Corner Localization and Region Segmentation [Pengyuan Lyu, Cong Yao, Wenhao Wu, Shuicheng Yan, Xiang Bai. CVPR
動画認識における代表的なモデル・データセット（メタサーベイ）
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/ Read less
Optimal Transport Conditional Flow Matching - 拡散モデルに取って代わる次世代の生成技術？
Optimal Transport Conditional Flow Matching - 拡散モデルに取って代わる次世代の生成技術？ こんにちは！Fusic 機械学習チームの鷲崎です。最近、音声や言語処理に興味がありますが、機械学習モデルの開発からMLOpsまでなんでもしています。もし、機械学習で困っていることがあれば、気軽にDMください。 本記事では、Flow Matching (FM)と、その発展版であるOptimal Transport Conditional Flow Matching (OT-CFM)を解説します。最近の生成AIでは、拡散モデルがよく使用されていますが、Flow Matchingは、拡散モデルに取って代わる可能性がある生成技術と考えています。 おもに、Improving and Generalizing Flow-Based Generative Models
ByteTrack_MOTR_CV勉強会ECCV2022論文読み会発表資料
CV勉強会ECCV2022論文読み会の発表資料です。
Kaggle Competition Grandmasterになるまでを振り返る
0.はじめに こんにちはchumajinです. kaggle profile, X(旧twitter) profile. 本記事は、Kaggle Competition Grandmaster(GM)になったので、その振り返り記事です.私は、kaggleを始めたときは、「俺はGrandmasterになる !!」なんて、ONE PIECEのルフィみたいな大きな志をもって始めたわけではなく、まさか自分がGMになれるとは思っていなかったので、何か参考になる箇所があれば嬉しいです。2024.3.1の関西kaggler会のLTで、本内容を以下のポイントで重点的に話しましたので、この内容を踏まえて、書いていきます！ 強くなれたと思えるイベントが確かにあった。 高かった金メダルへの壁を乗り越えた話。 人生で一番苦しかったソロ金取った時の話。 ※ いろいろまとめてたら、長くなってしまったので、飽きてしまっ
Elasticsearchの全文検索スコア(BM25)は、ざっとこう計算される
Elasticsearchなどの検索エンジンではOkapi BM25というスコア付けアルゴリズムを使って検索結果の候補を順位づけします。今回は主にElasticsearchなどの検索エンジンを使おうとしているエンジニアを想定読者として、BM25について解説していきます。 またこの記事では具体的なスコアの目安も載せていきます。思ったように検索結果が出ない場合やスコアリングの最適化が必要になった時に助けになるのではと思います。 参考までに、BM25の確率論的な解釈などのより理論的な解説が知りたい方のために以前書いたBM25の記事を紹介しておきます。とはいえ読まなくても特に問題なくこの記事を読み進める事はできるはずです。 単語毎のスコアの総合点 クエリ query (単語qの集合)に対するドキュメント doc のスコアは以下の通りです。 \Large{\sum_{q ∈ query} score
推薦/情報検索システムにおけるバイアス除去と不偏学習 - Google スライド
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
20190515 RNNと自然言語処理 RNNの基礎からAttention〜BERTの概要まで
「実践者向けディープラーニング勉強会 第三回」に向けた資料。 https://dl4-practitioners.connpass.com/event/128418/ なんとなくエッセンスを理解するための説明。
データ分析コンペKDDCUP 2024 OAG-AQA 6位入賞解法の紹介 - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR データ分析コンペであるKDDCUP 2024 OAG-AQA にて6位 入賞したので、入賞解法を紹介します。 KDD概要と現地参加した発表の様子はこちらの記事をご覧下さい。 はじめに NTTドコモ クロステック開発部の鈴木明作です！ ドコモR&Dでは、データマイニング国際学術会議であるKDDで開催されているKDDCUPに毎年参加しており、 KDDCUP 2024 OAG-Challengeの一つであるOAG-AQA(Open Academic Graph - Academic Question Answering)にて、約300チームの中で6位入賞することができました。 この記事では、ドコモの入賞解法を紹介します。 OAG-Challengeでは、学術グラフ マイニングに関する3つのコンペ(OAG-IND, OAG-AQA, OAG-PST)が開催され、 その中で、OAG-AQ
KDD 2024 参加レポート
これを見ると、Rec Sys 1、Rec Sys 2などでは、評価指標に関する研究からモバイル端末内で行われる推薦、Cold-start問題への対処に関するものなど幅広い推薦システムに関する研究が発表されていました。 多くの研究は既存の手法の問題点を発見、その問題を解決する手法を提案するような研究でしたが、On (Normalised) Discounted Cumulative Gain as an Off-Policy Evaluation Metric for Top-nnn Recommendationでは推薦問題で一般的に使用されているnDCGがどの程度オンライン実験の結果を近似できるのかを調査し、DCG指標がオフライン実験/オンライン実験に対して不偏となる状況でもnDCGは手法の相対順位が変動する可能性があることを示していました。 DIET: Customized Slimmi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
