並び順

ブックマーク数

期間指定

  • から
  • まで

561 - 600 件 / 726件

新着順 人気順

*algorithmの検索結果561 - 600 件 / 726件

  • Understanding Convolutions on Graphs

    This article is one of two Distill publications about graph neural networks. Take a look at A Gentle Introduction to Graph Neural Networks for a companion view on many things graph and neural network related. Many systems and interactions - social networks, molecules, organizations, citations, physical models, transactions - can be represented quite naturally as graphs. How can we reason about and

      Understanding Convolutions on Graphs
    • 【論文読解】NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections - Qiita

      概要 画像集合をもとに新しい視点からの画像を合成する技術であるNeRF in the Wild(NeRF-W)について紹介します。 例えば、Photo Tourism Datasetには、ある特定のランドマークを様々な位置から撮影した写真が多数含まれています。そのような画像集合から、ランドマークの3次元的な形状を把握し、写真集合には含まれない新しい視点から見たときの合成画像を作成することができる、というのが目的となります。新しい視点からの合成結果をつなぎ合わせると、公式のプロジェクトページ内にあるような動画も生成することができます。 先行手法として、もともと提案されていたNeRF1という手法がありましたが、本手法は天候の変化やオクルージョンが発生している自然な写真の集合でも効果的にモデルを構築できる工夫を盛り込んでいます。本手法はNeRFに大きく依存しているので、この記事では、まずはNeR

        【論文読解】NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections - Qiita
      • 「機械学習を解釈する技術」のここがすごい - まずは蝋の翼から。

        はじめに 弊社の森下が書籍を出版することになりました。 「機械学習を解釈する技術 ~ 予測力と説明力を両立する実践テクニック」 gihyo.jp 本書のレビューに関わらせてもらったのでここが良かったぞ!という部分を書こうかなと思います。 はじめに 本書の特徴 ここがすごいぞ!① 線形回帰モデルを起点に「解釈」について各手法を説明している ここがすごいぞ!②数式に対応するアルゴリズムをコードでも書いて説明している ここがすごいぞ!③ 実際の値を確認しつつ解説する ここがすごいぞ!④ 手法の特徴・メリット・デメリットが腹落ちしやすい まとめ 本書の特徴 本書の概要としては、以下のような書籍となっている ・機械学習モデルは予測精度が高い一方で、何故そのような予測になったかがブラックボックス(解釈性が低い) ・しかし昨今は説明責任を果たすためにモデルの振る舞いの把握が求められている ・このような予

          「機械学習を解釈する技術」のここがすごい - まずは蝋の翼から。
        • マハラノビス距離を徹底解説 - Qiita

          マハラノビス距離は、ユークリッド距離とは違い、分布からの外れ具合を定量化できていることが分かります。 マハラノビス距離は異常検知によく使われます。 STEP2. イメージで詳細を理解する 2.1 正規分布を仮定している マハラノビス距離はデータが正規分布に従う場合にうまく働きます。 正規分布とはよく見るこれです。 山が高い $x=0$ 付近はデータがよく発生し、山が低い $x=4$ や $x=-4$ 付近はほとんどデータが発生しないことを表します。 山の頂点のある $x=0$ から離れれば離れるほど山が低くなり、データが発生しにくくなります。 一方で、2次元の正規分布は次のようになります。 この山を平面で表すと下のようになります。色が山の高さを示します。 1次元の時と同様に、山が高い $(x,y)=(0,0)$ 付近はデータがよく発生し、そこから離れれば離れるほど山が低くなり、データが発生

            マハラノビス距離を徹底解説 - Qiita
          • AtCoder黄色を目指してやってきたこと - Qiita

            Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? hamamuと申します。 AGC053で大成功して(再)入黄できたので(もう1か月たってしまいましたが)、色変記事として、黄色を目指してやってきたことを書きました。他の記事ではあまり見たことがない取り組みを選んで書いたので、お役に立つ部分があるかもしれません。特に「日本語コーディング」は意外と多くの人に役立つかも知れないと思っているので、ぜひぜひ読んで下さいませ! 自己紹介 自分の特徴を並べてみます。 中年である(1975年生まれ) 子供の頃からアルゴリズムが大好きだった、パズルも大好きだった 仕事は研究開発関連でプログラミングは日常、

              AtCoder黄色を目指してやってきたこと - Qiita
            • ArcFace : 顔認証を行う機械学習モデル

              ArcFaceはメトリックスラーニングという仕組みを使用しており、通常のClassificationタスクにSoftmax Lossを置き換えるAngular Mergin Lossを導入することで、距離学習をClassificationタスクで解くことができるようになっています。 顔同士の距離はCos距離を用いています。Cos距離は検索エンジンでも使用される方法で、正規化された2つのベクトルの内積で計算できます。2つのベクトルが同じであればθが0になりcosθ=1、直行していればθがπ/2になりcosθ=0になります。そのため、類似度として使用できます。 (出典:https://arxiv.org/abs/1801.07698)通常のClassificationタスクでは、Featureを計算した後、FC層でFeatureとWeightの内積を取り、出力にSoftmaxを適用します。 A

                ArcFace : 顔認証を行う機械学習モデル
              • Google Cloud AutoMLで動いているmodel searchを実際に動かしてみる

                学習率や正則化、活性化関数、果てはアンサンブルまで試行してくれる Minori @ GDE MLです。 Google AIから少し前にGoogle Cloud Auto MLの中で動いているであろうmodel searchがOSSとして発表されました。記事は下記です。

                  Google Cloud AutoMLで動いているmodel searchを実際に動かしてみる
                • nnablaRLが公開されました! – ブログ – Neural Network Libraries Sites

                  Neural Network Librariesを用いた深層強化学習ライブラリ、nnablaRLを公開しました! nnablaRLは、人間のエキスパートを超えるAIを実現する技術の1つとして、近年、深層学習と並び注目されている強化学習をNeural Network Librariesを通じて簡単に扱えるようにするライブラリです。 nnablaRLは以下のような特徴があります。 簡単に学習コードを記述可能 nnablaRLでは次のように3行のpythonコードを記述するだけで、学習を始めることが出来ます。 import nnabla_rl import nnabla_rl.algorithms as A from nnabla_rl.utils.reproductions import build_atari_env env = build_atari_env("BreakoutNoFram

                    nnablaRLが公開されました! – ブログ – Neural Network Libraries Sites
                  • The Annotated S4

                    Blog Post and Library by Sasha Rush and Sidd Karamcheti, v3 The Structured State Space for Sequence Modeling (S4) architecture is a new approach to very long-range sequence modeling tasks for vision, language, and audio, showing a capacity to capture dependencies over tens of thousands of steps. Especially impressive are the model’s results on the challenging Long Range Arena benchmark, showing an

                    • 【書籍メモ】『Pythonによる金融テキストマイニング』(朝倉書店) - u++の備忘録

                      『Pythonによる金融テキストマイニング』(朝倉書店)を読みました。180 ページ弱で金融関連文書を題材にした話題がまとまっていて、この領域に飛び込む初学者向けに紹介しやすい書籍だと感じました。 www.asakura.co.jp 章立てを以下に示します。第 1 章で全体像を示した後、第 2 、 3 章で開発環境構築と MeCab などのツール・ライブラリを紹介します。第 4 章から第 7 章は、応用事例です。最後に第 8 章で、書籍内で扱えなかった話題や将来展望を解説しています。 金融テイストマイニングの概要 金融データ解析・機械学習の環境構築 テキストマイニングツールの使い方 多変量解析を用いた日銀レポート解析と債券市場予測 深層学習を用いた価格予想 ブートストラップ法を用いた業績要因抽出法 決算短信テキストからの因果関係の抽出 金融テキストマイニング応用の課題を将来 まず、第 4

                        【書籍メモ】『Pythonによる金融テキストマイニング』(朝倉書店) - u++の備忘録
                      • AWS LambdaでStableDiffusionを動かしたい - Qiita

                        # -- coding: utf-8 --` import argparse import os import inspect import numpy as np # openvino import sys sys.path.append('/opt/intel/openvino_2022.1.0.643/python/python3.9/') from openvino.runtime import Core # tokenizer from transformers import CLIPTokenizer # scheduler from diffusers import LMSDiscreteScheduler # utils from tqdm import tqdm import cv2 from huggingface_hub import hf_hub_download

                          AWS LambdaでStableDiffusionを動かしたい - Qiita
                        • マルチモーダルモデルImageBindに「AWSの構成図?Azureの構成図?」を判定させてみた - Qiita

                          導入 5/9にMetaからすごそうなモデルが発表されましたね、しかもOSS ということは、自分のPCでも動かせるのでは?ということで触ってみました。 進化・スピードが早すぎて、情報のキャッチアップ&咀嚼が圧倒的に間に合いません、、 みなさんどうされていますか?こんなときこそAIの出番ですかね。 とか思いつつ寿命(睡眠時間)を削りつつ勉強しています。 ImageBindについて Metaのメタバースへの本気度がうかがえるようなモデルですよね。 参考: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/ 以下、GPT翻訳。 ImageBindは、人間が複数の感覚を使って情報を取り込む能力に近づくためのアプローチです。このモデルは、明示的な監督(生データの整理やラベリングの必要性)なしに、テキスト、画像/動画、音声だ

                            マルチモーダルモデルImageBindに「AWSの構成図?Azureの構成図?」を判定させてみた - Qiita
                          • Deep Neural Networks and Tabular Data: A Survey

                            Heterogeneous tabular data are the most commonly used form of data and are essential for numerous critical and computationally demanding applications. On homogeneous data sets, deep neural networks have repeatedly shown excellent performance and have therefore been widely adopted. However, their adaptation to tabular data for inference or data generation tasks remains challenging. To facilitate fu

                            • 検索結果0件を回避するためのクエリ書き換えアプローチ - ZOZO TECH BLOG

                              はじめに こんにちは、データサイエンス部の朝原です。普段はZOZOTOWNにおける検索の改善を担当しています。 ZOZOTOWNには100万点を超える商品が存在し、毎日2700点もの新商品が追加されています。このような膨大な商品数を扱うZOZOTOWNにおいて、ユーザーが求める商品を見つけやすくするための検索機能は非常に重要です。 一方で、ファッションという日々ニーズが激しく変化するドメインにおいて、ユーザーのニーズを検索クエリから正確に把握し、適切な商品を提示することは困難を伴います。特に、検索システムにおいて検索結果が0件である(以下 0件ヒット)ことはユーザーにとって悪い体験となり、離脱を招いてしまいます1。実際にZOZOTOWNでは、日々0件ヒットが発生しており、大きな課題となっています。 本記事では、検索結果が0件になる主な原因と、その対策の1つであるクエリ書き換えについて紹介し

                                検索結果0件を回避するためのクエリ書き換えアプローチ - ZOZO TECH BLOG
                              • 会社訪問アプリ「Wantedly Visit」のデータで見る相互推薦システム / deim2021-rrs-wantedly-visit

                                2021年3月2日 DEIM2021 (https://db-event.jpn.org/deim2021/) における技術報告の資料です。 [F21] 情報検索・情報推薦④ 3月2日 10:00 ~ 11:40 https://cms.deim-forum.org/deim2021/progr…

                                  会社訪問アプリ「Wantedly Visit」のデータで見る相互推薦システム / deim2021-rrs-wantedly-visit
                                • CompilerGymを試してみた

                                  CompilerGymとは CompilerGym is a toolkit for exposing compiler optimization problems for reinforcement learning. It allows machine learning researchers to experiment with program optimization techniques without requiring any experience in compilers, and provides a framework for compiler developers to expose new optimization problems for AI. GitHub CompilerGymとは、コンパイラ最適化を強化学習の問題として扱うためのツールです。 コンパイラにつ

                                    CompilerGymを試してみた
                                  • AtCoder黄色になりました|Yuta Fukazawa

                                    割と初期(茶〜水くらいのころ)この記事の150問・典型90問(最後の1問のFPSパート以外)を埋めました。特に典型は2周しました。 その後鉄則も復習的な感じで全部、EducationalDPも全部、PASTを8回分くらい埋めました。 https://atcoder.jp/contests/typical90 https://atcoder.jp/contests/tessoku-book https://atcoder.jp/contests/dp hamamuさん、社会人になってから始めた勢の先輩でもありますし、ライブラリや問題を解く部分以外での向き合い方など色変記事の中でもとりわけ参考にさせていただきました。 意識していることなどコンテストに出られるだけ出る発熱や遅刻以外のタイミングでは基本ratedで、参加できるコンテストは全部出ていました。解けなかった問題+1問くらいも(難易度によ

                                      AtCoder黄色になりました|Yuta Fukazawa
                                    • 日本語向け教師なしキーフレーズ抽出の検証 - ABEJA Tech Blog

                                      ABEJAでデータサイエンティストをしている藤原です。 先月開催された 言語処理学会第31回年次大会(NLP2025) に参加し、その際に 埋め込みモデルベースの教師なしキーフレーズ抽出における長文に対する抽出精度の改善 というタイトルで発表を行いました。今回はその発表内容について改めて紹介させていただきます。 発表概要としては、日本語のテキストに対して種々の教師なしキーフレーズ抽出手法を統一したインターフェースで実行できるようにツールを整備し、評価用データセットを構築して各種手法の性能比較を行いました。本記事では開発したツール・評価データセットなど原稿であまり触れられなかった部分や、より詳細な実験結果についても記載します。 開発したツール・評価データセットはこちらからご利用いただけます。GitHub - flatton/keyphrase_extraction_tools はじめに キー

                                        日本語向け教師なしキーフレーズ抽出の検証 - ABEJA Tech Blog
                                      • 時間情報表現抽出とルールベース解析器のこれから / Temporal Expression Analysis in Japanese and Future of Rule-based Approach

                                        【NLP Hacks vol.3】『実装』に特化した、NLP勉強会コミュニティ開催! https://connpass.com/event/241079/

                                          時間情報表現抽出とルールベース解析器のこれから / Temporal Expression Analysis in Japanese and Future of Rule-based Approach
                                        • ベクトル埋め込みを使って「小説家になろう」を検索して、更に多様化する (情報検索・検索技術 Advent Calendar 2022)

                                          ベクトル埋め込みを使って「小説家になろう」を検索して、更に多様化する (情報検索・検索技術 Advent Calendar 2022) Twitter: @cocomoff / Zenn: @takilog です。本記事は情報検索・検索技術 Advent Calendar 2022の8日目の記事として書きました。 まえがき 普段、メーカーの研究職として様々な雪かき的研究(技術的盆栽かも?)を遂行しているのですが、最近趣味で検索システムの本を読んでいたため、検索技術に個人的に興味を持っています。こちら、大変良い本でした(一部分、ちゃんと読めてないところもありますが…)。 せっかく本を読んだので、何か検索システムのことを考えてAdvent Calendarでも書こうと思ってこちらの記事を書きました。 本職が検索ではないので、真面目なソフトウェア(elasticsearchとか)を使うのが難しく

                                            ベクトル埋め込みを使って「小説家になろう」を検索して、更に多様化する (情報検索・検索技術 Advent Calendar 2022)
                                          • 『これならわかる機械学習入門』(富谷 昭夫) 製品詳細 講談社

                                            【道具として使いこなす!】 膨大な観測データから普遍的な法則を抽出する手法とは? 高校数学レベルから始まり、Python入門、TensorFlowによる実装、最新の論文まで踏み込む入門書。 【著者サポートページ】 https://github.com/akio-tomiya/intro_ml_in_physics 【目次】 第1章 データとサイエンス 1.1 物理学とデータサイエンス/1.2 最小2乗法とオーバーフィット/1.3 テイラー展開と振り子の等時性/コラム:武谷の三段階論 第2章 行列と線形変換 2.1 ベクトル、行列と線形変換/2.2 変換としての行列/2.3 行列に関する色々/コラム:計算量のオーダー 第3章 確率論と機械学習 3.1 確率の基礎事項/3.2 教師あり学習と教師なし学習、強化学習/3.3 確率変数と経験的確率、大数の法則/3.4 大数の弱法則の証明/3.5 カ

                                              『これならわかる機械学習入門』(富谷 昭夫) 製品詳細 講談社
                                            • Label Studioによる固有表現抽出のデータアノテーション ~ spacy のファインチューニング

                                              ほかにもHomebrewやDockerなどでインストールすることもできます。詳細は公式ドキュメントをご参照ください。 インストールできた場合は、次のコマンドでLabel Studioを立ち上げられます。 localhost:8080 に接続して以下のような画面が表示されたら成功です。 HumanSignal. Label Studioのログイン画面のスクショ アノテーション ユーザー作成 「SIGN UP」を選択し、適当なメールアドレス、パスワードを入力してアカウントを作成してください。(メールアドレスは実際に使用しているものでも、user@example.com のようなものでもよいと思います。) 無事にユーザー作成ができた場合は以下のような画面に移ります。 HumanSignal. Label Studioのプロジェクト一覧画面のスクショ プロジェクト作成 「Create Projec

                                                Label Studioによる固有表現抽出のデータアノテーション ~ spacy のファインチューニング
                                              • PodcastをWhisperで文字起こしして、BERTで句読点抜きの文章に句読点を付与する(その2) - Qiita

                                                はじめに 前回の記事では、Podcast配信の仕組みを踏まえて、各エピソードの音声ファイルのURLを取得し、Whisperで文字起こしするところまでを書きました。このとき、文字起こしはできたものの、なぜか句読点が入らないという問題がありました。 そこで今回は、句読点のない文章に句読点を入れる方法を取り上げます。先にお伝えしておきますが、私はこの領域には知見が浅く、「句読点の無い文章に句読点を挿入する(BERTによる予測)」の記事を大いに参考にさせていただきました。 こんな方におすすめ 文字起こしをしたものの句読点が入らず困っている あまり詳しくないもののとりあえずBERTを動かしてみたい 句読点付与の成果 先にどのような結果となったのかをお見せしましょう。正直精度が微妙なのですが、その点に関する考察は後述します。 【入力文章】 始めるを応援するポッドキャスト スタートFMおはようございます

                                                  PodcastをWhisperで文字起こしして、BERTで句読点抜きの文章に句読点を付与する(その2) - Qiita
                                                • 微分可能レンダリング (CVIM研究会 チュートリアル)

                                                  https://docs.google.com/presentation/d/1nbyUBucCTFP2-sVLFeo2gP76L3EJTImMFXLmV7OifxI/edit?usp=sharing

                                                    微分可能レンダリング (CVIM研究会 チュートリアル)
                                                  • Tabnetはどのように使えるのか - Qiita

                                                    はじめに 最近、KaggleでTabnetというニューラルネットワークモデルが流行っていると知りました。 テーブルデータコンペといえばGBDT最強のイメージでしたが、ここでもニューラルネットワークモデルが台頭しつつあるようです。そこで今回は、Tabnetについて どんな嬉しさがあるのか どのように使うのか という観点から、論文の要点とリポジトリの使い方について調べてみました。 Tabnetとは 概要 Tabnetは、テーブルデータ向けのニューラルネットワークモデルです。 決定木ベースのモデルの解釈可能性を持ちつつ、 大規模なテーブルデータに対して高精度な学習が可能です。 特徴量の作成を必要としないエンドツーエンドの学習モデルです。 リファレンス 論文 Tabnetの論文は、Google Cloud AIチームによって発表されました。 TabnetはGoogle Cloud AI Platf

                                                      Tabnetはどのように使えるのか - Qiita
                                                    • 拡散確率モデルと音声波形生成

                                                      琉球大学での招待講演(2022/07/06)のスライドです。 URL: https://www.ieice.org/kyushu/2022koen_1/

                                                        拡散確率モデルと音声波形生成
                                                      • 第45回elasticsearch勉強会 BERTモデルを利用した文書分類

                                                        第45回Elasticsearch勉強会のLTスライドです。 BERTモデルをElasticsearch v8.0.0-beta1 にインポートして利用します。

                                                          第45回elasticsearch勉強会 BERTモデルを利用した文書分類
                                                        • BigQuery MLのARIMAモデルで時系列データを扱う | DevelopersIO

                                                          はじめに データアナリティクス事業本部のkobayashiです。 先日Google Cloud 認定資格の一つであるProfessional Machine Learning Engineerを受験しました。Google Cloudの認定試験では模擬試験としてサンプル問題を解くことができるので今回も模擬試験を解いて勉強したのですが、その中で出てきたアーキテクチャで気になったものを実際に試してみたいと思います。 Professional ML Engineer 認定資格  |  Google Cloud Professional ML Engineer の試験問題のサンプル  |  認定  |  Google Cloud Google Cloud 認定資格の模擬試験 Google Cloud 認定資格の試験では模擬試験を無料で受けることができます。出題される問題は固定ですが、解説と関連ドキュ

                                                            BigQuery MLのARIMAモデルで時系列データを扱う | DevelopersIO
                                                          • MLOps系プロダクトの布教活動報告 - Qiita

                                                            Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まず

                                                              MLOps系プロダクトの布教活動報告 - Qiita
                                                            • Transformerを理解するため!今からでもAttention入門 ~ イメージ・仕組み・コードの3面で理解する ~

                                                              はじめに どうもどうも、やまぐちです。 今回はTransformerアーキテクチャの中核をなすAttentionについて重点的に解説したいと思います。 Attentionのイメージ・仕組み・コードの三つの側面から解説することでAttentionの理解につながるかと思います。 記事全体を通して、Attentionの説明にはTransformerの文脈を交えながら解説するように心がけましたのでAttention自体の理解は進むはずです! 解説はできる限り理解しやすいイメージに落とし込んでいます。できる限り正確に解説することを心掛けていますが、もし不正確な点があればご指摘いただけると幸いです。 Transformerの中のAttention まずはよくあるTransformerの全体図です。 (Referenced by https://arxiv.org/pdf/1706.03762) 上記の

                                                                Transformerを理解するため!今からでもAttention入門 ~ イメージ・仕組み・コードの3面で理解する ~
                                                              • 21/12/14 複雑ネットワーク科学入門書籍の感想 - LWのサイゼリヤ

                                                                複雑ネットワーク科学 ここ2週間でネットワーク科学をザッと勉強したのでまとめておく。勉強する羽目になった経緯と結果は後日サイゼミの記事に書く。 概ね難易度順。ネットワーク科学はかなり新しい分野でここ20年くらいの発展が著しいので出版年も書いておいた(訳書の場合は原著も)。理論を解説する記事ではないので気になった人は適当なやつを自分で読んでください。 複雑ネットワーク科学 ①増田直紀、今野紀雄『「複雑ネットワーク」とは何か』 ②増田直紀『私たちはどうつながっているのか』 ③マーク・ブキャナン『歴史は「べき乗則」で動く』 ④ダンカン・ワッツ『スモールワールド・ネットワーク』 ⑤アルバート・ラズロ・バラバシ『新ネットワーク思考』 ⑥増田直紀、今野紀雄『複雑ネットワーク:基礎から応用まで』 ⑦バラバシ・アルバート・ラズロ『ネットワーク科学』 ①増田直紀、今野紀雄『「複雑ネットワーク」とは何か』 「

                                                                  21/12/14 複雑ネットワーク科学入門書籍の感想 - LWのサイゼリヤ
                                                                • 月刊 競技プログラミングをお仕事に役立てるには

                                                                  2025/1/12(日)に行われた競プロ新年会( https://kyopro.connpass.com/event/341443/ )のテックトークで使用したスライドです。

                                                                    月刊 競技プログラミングをお仕事に役立てるには
                                                                  • 日本語ModernBERTの開発: 開発と評価編 (1/3) - SB Intuitions TECH BLOG

                                                                    概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 本記事では、その開発過程や評価結果についてお話しします。 我々が開発した日本語ModernBERTは、30m, 70m, 130m, 310mと4つの異なるパラメータサイズをもち、それぞれのモデルが同パラメータ規模のモデルと比較して、本記事公開時点では最も高い性能を達成しています。 開発した一連のモデルはHuggingFaceにてMITライセンスのもと公開しておりますので、商用・研究用問わず自由にお使いいただけます。 https://huggingface.co/sbintuitions/modernbert-ja-30m https://huggingface.co/sbintuitions/mod

                                                                      日本語ModernBERTの開発: 開発と評価編 (1/3) - SB Intuitions TECH BLOG
                                                                    • 画像向けAI異常検知で間違い探しを解いてみた - Insight Edge Tech Blog

                                                                      はじめまして、今年の1月にInsight Edgeへ参画したData Scientistの山科です。 まだ加入して数ヶ月ですが、画像を用いた異常検知や予兆保全、オペレーションの最適化、生成AI用いたDX案件など、幅広い技術・分野に携わらせてもらっており、日々、調査にデータ分析の試行錯誤と四苦八苦しながら業務に取り組んでいます。 今回は、画像を用いた異常検知に関する案件でPatchCoreという手法を用いたのですが、使い勝手が良く様々なことに使えそうだなと感じましたので、間違い探しを題材にパラメータのケーススタディをした結果を評価し、どういったことに使えるかを考察していきたいと思います。 目次 画像に対する異常検知手法 AIで間違い探しを解く! 考察 画像に対する異常検知手法 画像認識技術を用いた異常検知の重要性については、藤村さんの記事 でも紹介されている通りで、製造業や農業など幅広い分野

                                                                        画像向けAI異常検知で間違い探しを解いてみた - Insight Edge Tech Blog
                                                                      • 可変品質での圧縮を実現する画像トークナイザ「One-D-Piece」を公開しました

                                                                        Turingの基盤AIチームの三輪です。 Turingで研究・開発した結果をまとめた「One-D-Piece: Image Tokenizer Meets Quality-Controllable Compression」という論文を公開したので、紹介します。 これは何? 「One-D-Piece」という新たな「画像トークナイザ」を提案しました。これによって256段階の可変品質で画像を圧縮し、Transformerベースのモデルと相性のいいトークン列での表現に変換することができます。 背景 テキストトークナイザと画像トークナイザ Transformer型のモデルは、「トークン」の列を入力に取ります。そのため、Transformer型のモデルを用いるためには、データを何らかの方法でトークンにする「トークナイザ」が必要です。 トークナイザといって一般に想起されるのはテキストトークナイザ、つまり

                                                                          可変品質での圧縮を実現する画像トークナイザ「One-D-Piece」を公開しました
                                                                        • 生成Deep Learning 第2版 - ぱたへね

                                                                          オライリーの生成Deep Learning 第2版を読みました。 www.oreilly.co.jp 広いトピックに何かしらの動くコードがあって、本を読んで勉強しながら動かして雰囲気がわかる内容になっています。全体が三部構成になっていて、解説の一つ一つがわかりやすいだけで無く、CNNを使った画像の識別からVAE、GAN、LSTM、Transformer、DALL-Eまでの多き流れを一気に知ることが出来ます。一度勉強した人も復習になるのでお勧めです。 第一部 生成Deep Learning入門 生成モデリングの考え方と、MLPから始まるDeep Learningのおさらいです。基本的な層や学習のパラメータの説明に加えて、勾配爆発や共変量シフトなどの説明もあります。ここでわからないところがあれば、生成モデルに進む前に復習した方が良いです。 CNNががっと盛り上がっていた時の説明では無く、今から

                                                                            生成Deep Learning 第2版 - ぱたへね
                                                                          • TabPFN - Qiita

                                                                            初めに このシリーズでは、機械学習や数理最適化などの数理モデルのざっくりとした理論と実装コードを紹介します. 今回紹介するのは,TabPFNというテーブルデータのためのTransformerモデルです.論文では「小さな表形式データに対して1秒以内に教師あり分類タスクを実行でき,ハイパーパラメータのチューニングがいらない高精度のモデル」と紹介されています.精度としてはOpenML-CC18というデータセットの中の30個のデータセットでGBDTの性能を上回ったほか,AutoMLに対して同等の精度を70倍の速度で達成したそうです. 論文:TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second 目次 1. 概要 2. ざっくり理論 3. 実装 4. おわりに 5. 参考文献 1. 概要

                                                                              TabPFN - Qiita
                                                                            • TransformerをRWKVに変換する手法について

                                                                              TransformerをRWKVに変換する技術めも そもそもRWKVって何? RWKV(Receptance Weighted Key Value)は、BlinkDL氏を中心とした約9,000人+のコミュニティメンバーで研究・開発されているオープンソースのLLMアーキテクチャです。現在の最新版は「RWKV-7 "Goose"」で、伝統的にアーキテクチャのメジャー更新ごとに鳥の名前が付けられています。 自分は、v4からメンバーに入りました。 従来のTransformerとの違い 一般的なTransformerの処理フローはこのようになっていまして Transformerのアテンション機構では、Query(Q)、Key(K)、Value(V)を使ってソフトマックスを計算します: \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{

                                                                                TransformerをRWKVに変換する手法について
                                                                              • [論文紹介] wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

                                                                                [論文紹介] wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

                                                                                  [論文紹介] wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations
                                                                                • オフライン強化学習① Conservative Q-Learning (CQL)の実装 - どこから見てもメンダコ

                                                                                  オフライン強化学習の有名手法CQLについて、簡単な解説とともにブロック崩し環境向けのtf2実装を紹介します [2006.04779] Conservative Q-Learning for Offline Reinforcement Learning sites.google.com はじめに:オフライン強化学習とは 問題設定:ゲーム実況を見るだけで上手にプレイできるか? 実世界でのユースケース 模倣学習との違いなど オフライン強化学習の難しさ データセットサイズは問題を解決しない Out of Distribution: データセット分布外アクションの過大評価 もっと詳しく CQL:保守的なQ学習 前例が無いからダメです 方策の正則化 CQL(H)のTF2実装 DQN Replay Datasetの利用 ブロック崩しの学習結果 次:Decision Transformer 前提手法: h

                                                                                    オフライン強化学習① Conservative Q-Learning (CQL)の実装 - どこから見てもメンダコ

                                                                                  新着記事