ミニマルな機械学習の実験管理を目指して
(追記 (2021/12/30): ここで述べた方法を実践するための Python パッケージ luigiflow を公開しました。) (この記事は私が書いた英語版の記事 Toward the minimalism of machine learning experiment workflows を私自身が翻訳したものです。 元記事の作成にあたり友人の Sajjadur Rahman と Sara Evensen にフィードバックをいただいたことを感謝します。) 本記事は、ストックマーク Advent Calendar 2021 の 15 日目の記事です。 機械学習分野の研究者やエンジニアの多くにとって実験は業務の大きなコストを占めます。 そのため実験環境の構築が業務のパフォーマンスに直結することは言うまでもありません。 それと関連して近年 MLOps への注目が非常に高まっていますが、
概要 大量の画像の中から類似画像を検索するソリューションを開発するとします。 類似画像を検索したいが、その都度ファイルを読み出したり、メモリに乗せて処理するのは速度やHWコスト面で大変です。 検索を容易にするためにはRDBMSを活用するのが楽です。 そのため今回は画像の形状パターンをハッシュ化して予めDBに登録しておき、検索したい画像のハッシュ値とSQLだけで類似画像を検索できるようにします。 画像の形状パターンをハッシュ化するには Avarage Hash(aHash) や Perceptual Hash(pHash) などの手法があります。 Avarage Hash 画像を8x8に縮小してグレースケール化した各点の輝度値の平均値を取り、その平均値と比べ各点大きいか小さいかで2値化して一列にすることで64bit値を取得します。 Perceptual Hash 画像を8x8より大きい適当な
はじめに 機械学習の定番アルゴリズムの1つである「サポートベクターマシン（SVM）」ですが、 実用的、かつ比較的シンプルなアルゴリズムから、入門書等でも取り上げられることが多いです。 ただし、解説の抜け漏れや、難解すぎる書籍や記事が多いと感じたので、備忘録も兼ねて ・網羅的 ・平易な説明 ・実データでの実装例あり（Pythonのライブラリscikit-learn（インストール法）を使用） を心がけ、高校生でも「理解した！」と言えるような記事を目指したいと思います。 注意 注意1 ・高校生でもわかると銘打ってしまったのに申し訳ありませんが、 高校で勉強しない（理系の大学1～2年で学習）偏微分の知識が出てきます。 大変分かりやすいYouTube動画があるので、こちらを見れば「理解した！」と言えるのではと思います。 偏微分 ラグランジュの未定乗数法 不等式条件のラグランジュの未定乗数法(KKT条
やりたいこと ONNX形式のファイルが手元にあって、ちょっとだけ直したい。できるだけ手軽に。 目的は、 Model Zoo等から入手したONNXファイルの、入出力の形式を変更したい（floatじゃなくてbyteにしたいとか） ONNXファイルA の出力がそのまま ONNXファイルB の入力になるので、2つをくっつけたい 等です。 方針 ONNXファイルを、バイナリ形式からテキスト形式に変換する 適当なテキストエディタで編集する テキスト形式からバイナリ形式に戻す バイナリ形式⇔テキスト形式の相互変換方法さえわかればできたも同然です。 準備 Protocol Buffer Compilerのダウンロード バイナリ形式⇔テキスト形式の変換にはProtocol Buffer Compilerを使います。というのも、そもそもONNXファイルはProtocol Bufferを使って定義された形式だか
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem (NAACL 2022)
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem (NAACL 2022) NLP コロキウム https://nlp-colloquium-jp.github.io/ で発表した際のスライドです。 論文: https://arxiv.org/abs/2205.01954 GitHub: https://github.com/joisino/wordtour 概要 単語埋め込みは現代の自然言語処理の中核技術のひとつで、文書分類や類似度測定をはじめとして、さまざまな場面で使用されていることは知っての通りです。しかし、ふつう埋め込み先は何百という高次元であり、使用する時には多くの時間やメモリを消費するうえに、高次元埋め込みを視覚的に表現できないため解釈が難しいことが問題です。そこで本研究で
自然言語処理と時系列を考慮した推薦システムの関係（Transformer4Rec） - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のT.Y.です。よろしくお願いします。 皆さん、推薦システム使っていますか？ ここで使っていないと答える方はほぼいないのではないでしょうか。 わかりやすいところではSNSや動画サイト、ECサイトで使われていますが、その他にもニュースサイトやインターネット上の広告など、気づかないうちに様々な場所で我々は情報を推薦されています。 そんな推薦システムですが、実は機械学習の分野で推薦システムは自然言語処理と深い関わりがあるという話があります。こう言うと、「ニュースとかSNSとか、テキストを含んだ情報を推薦するのだから当たり前では？」と思われる方もいるかもしれません。 確かにテキスト情報は推薦システムを構築するときによく使う情報で、テキスト情報を扱うときには自然言語処理は欠かせないのですが、今回のお話はそういう関わりの話ではありません。 今回の話は、自然言語処理の機械
【論文紹介コード付】 時系列Transformerを自然言語処理のお作法で鍛えたらゼロショットで未来の系列を予測することができました｜斑鳩イカリング
【論文紹介コード付】 時系列Transformerを自然言語処理のお作法で鍛えたらゼロショットで未来の系列を予測することができました タイトル：Chronos: Learning the Language of Time Series 著者：Abdul Fatir Ansari1∗ , Lorenzo Stella1∗ , Caner Turkmen1 , Xiyuan Zhang2† , Pedro Mercado1 , Huibin Shen1 , Oleksandr Shchur1 , Syama Sundar Rangapuram1 , Sebastian Pineda Arango3‡ , Shubham Kapoor1 , Jasper Zschiegner, Danielle C. Maddix1 , Michael W. Mahoney4 , Kari Torkkola4
はじめに はじめまして！2023年9月にAIスペシャリストのインターンシップに参加させていただきました、柳（ @ynt0485 ）と申します。普段は数理最適化や機械学習関連の研究を行っています。 今回のインターンでは、DeNAが運営するX（旧Twitter）アカウントの投稿文を自動生成するというタスクに取り組みました。この記事では、どのような工夫によって生成の精度を上げることができたのかについて紹介します ！ 課題内容 概要 初めに、今回のタスクの概要についてお話します。 近年の大規模言語モデルの発展により、文章の自動生成は様々な分野での活用が期待されています。特に、ある分野に特化させた文章の生成はクリエイティブの制作やサービス専用のチャットボットの構築に利用することが できます。 そのため、今回は特定分野に特化させた文章生成の1つとして、あるX（旧Twitter）アカウントの過去の投稿文
布留川npaka大先生がRWKVのファインチューニングする方法を公開していたのだが、Google Colabでは7Bが限界で14Bは失敗したらしい。 人はいつでも、誰かのお役に立つチャンスを伺っている。 今こそ千載一遇のチャンス!ドスパラ様から我らがMemeplexのために開発していただいた、怒涛のA6000x2マシンが火を吹く時が来た!みんな!パソコン買うならドスパラ!AIやるならドスパラだぜ!忘れないでくれよな!(※ドスパラはMemeplexにスポンサーしています) 大先生がGoogle Colabで14Bの学習に失敗したのは、学習時のメインメモリの消費が80GBを超えてしまったからだそうだ。 ならば大丈夫。我らがドスパラ謹製Memeplexマシンは、A6000(VRAM48GB)を二枚搭載した上に、メインメモリは怒涛の256GB。もともとRAMディスクとして使うことを想定していたもの
こんにちは、Sansan DSOC 研究開発部の保坂です。今回の記事は、弊社のアドベントカレンダーで書いた記事 で行った分析を少し丁寧にやり直してまとめたものです。 はじめに 分散表現間の距離 RPD とタスクにおける性能差との関係 RPD で計算された単語の分散表現間の関係 ノードの分散表現の学習アルゴリズム [実験] RPD でノードの分散表現間の関係を計算してみる [実験] RPD とノード分類タスクにおける性能との関係を調査する さいごに はじめに 最近では、ニュース記事などの言語データや、SNS上の友人関係のようなグラフデータを取り扱う研究がさかんになっています。これらのデータを対象にした研究がさかんになっている理由の一つとして、本来数値として扱いづらい単語やノードを、その性質を保持したベクトルとして表現する分散表現と呼ばれる技術の発達があります。 しかし、実際は多様な分散表現の
教師あり学習のクラス分類タスクにおいては、既に様々な正則化手法が考案・実用化されています。 例えば、荷重減衰（Weight Decay）、ドロップアウト、バッチ正規化やレイヤー正規化などが知名度高いでしょう。 しかし「ラベル平滑化（Label Smoothing)」というのは、「あ～なんか聞いたことある」とか「何それ？」というくらい、認知度がありません。 なぜでしょう？実装は恐ろしいほど簡単で、ちゃんと 論文もある（※1） んですが。 ※1）「Rethinking the Inception Architecture for Computer Vision」のP6「7. Model Regularization via Label Smoothing」 本稿では、ラベル平滑化の正則化の効果をMNISTを使用して実験し、少なくともこの実験の条件下においては正則化の効果があることを示しています
はじめに ハードウェアの準備 Arduino の準備 Switch -> PC 環境の実装 stepメソッド 状態の遷移 報酬 を計算する 終了判定 reset メソッド ゲームのリトライ 自動プレイのテスト はじめに ABEJAでデータサイエンティストをしている清田です。今回は強化学習で何かゲームの学習をやってみたいと考え、その題材としてスイカゲームを扱えるようにしました。「強化学習で攻略したい」と銘打っているのですが、この記事で扱うのはその準備までです。 スイカゲームは Nintendo Switch （以下 Switch）用ゲームとして発売された落ち物パズルゲームです。箱の中に果物を落としていき、同じ種類の果物同士を接触させると合わさって一段階上の果物に変化します。より上位の果物を作るほど高い点数が得られます。箱から果物が飛び出してしまうとゲームオーバーです。2048 パズル + 落
【技術】連合学習とは
はじめに本記事では、様々な事情や制約によりデータを外部に持ち出せないユーザや事業者が連携して、安全に機械学習モデルを構築する連合学習（Federated Learning）と呼ばれる手法の概要を解説し...
Optimal Transport Conditional Flow Matching - 拡散モデルに取って代わる次世代の生成技術？
Optimal Transport Conditional Flow Matching - 拡散モデルに取って代わる次世代の生成技術？ こんにちは！Fusic 機械学習チームの鷲崎です。最近、音声や言語処理に興味がありますが、機械学習モデルの開発からMLOpsまでなんでもしています。もし、機械学習で困っていることがあれば、気軽にDMください。 本記事では、Flow Matching (FM)と、その発展版であるOptimal Transport Conditional Flow Matching (OT-CFM)を解説します。最近の生成AIでは、拡散モデルがよく使用されていますが、Flow Matchingは、拡散モデルに取って代わる可能性がある生成技術と考えています。 おもに、Improving and Generalizing Flow-Based Generative Models
背景 最近、Mediumなどの記事でたびたび BERTopic という文字が目に飛び込んできていていました。 ネットリサーチの業務でアンケートのフリーアンサー（自由記述）設問の回答を＂イイ感じで分類したい＂ケースはよくあります。そのためBERTを利用し『集計作業のお悩みをAIで解決／第4話「文章自由回答データを効率的に集計する”教師なし学習AI”とは」』のように分類する機能を利用してきました。 NLPも他の機械学習と同様に「教師あり学習」と「教師無し学習」があり、「教師あり学習」は使いやすく結果の精度も安定した状態でツールとして運用できていて、もう数年もの間地道に利用されている状態です。しかし「教師あり学習」は教師データの学習というワンステップが必要なのと、この「教師データ」のクォリティにより使い物になるかどうかが決まってしまうという、幅広い一般のスタッフが実務としての運用するにはちょっと
複数の関連度から検索可能な BGE M3-Embedding の紹介 - Algomatic Tech Blog
こんにちは。Algomatic の宮脇（@catshun_）です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation おことわり 本記事では精読レベルの 詳細な解説は含みません。 詳細については 参照元の論文をご確認ください。 不十分また不適切な言及内容がございましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事で紹介する 論文 は Work in progress とコメントされており今後内容が更新される可能
LightFMから始める推薦システム入門
アドベントカレンダー 株式会社GENDAでデータサイエンティストをしているtoma2です。 この記事は、GENDAアドベントカレンダー2023の9日目の記事になります。 GENDAアドベントカレンダーでは、プロダクト開発や組織開発に関わるメンバーを中心に多様なテーマの記事を投稿しています。ぜひ、購読登録をしていただき12月25日までお楽しみください。 はじめに 最近、推薦モデルを調べる中でLightFMについて勉強したので、その内容をまとめとデータセットMovieLensでの実行例を示します。また、私が推薦モデルから推薦システムを作ろうとした際に躓いた、新規データへの対応やモデル更新といった実用的な内容も記載しています。 参考文献 こうもとさんのブログ「宇宙 日本 世田谷 機械学習」は、lightFMの理論から実用上の細かい点まで詳しく記載されており、大変参考にさせていただきました。 Li
こんにちは。CTO室リサーチャーの鈴木です。今回は、深層学習の分野でここ数年盛り上がっているContrastive Learning系の手法について、主だった論文を系統的にまとめて紹介したいと思います。 はじめに 近年発展した自己教師あり学習（Self-Supervised Learning：SSL）は、アノテーション情報を人の手ではなく機械的に付与することで、データセットの構築にかかる時間やコストを軽減し、深層学習モデルの精度向上を目指した手法です。自然言語処理分野におけるSSLは大きな成功を収め、ChatGPT等の超高性能なチャットボットの出現にも影響を与えました。 SSLは主に深層学習モデルの「事前」学習として用いられます。SSLによって、文章や画像に含まれる一般的な特徴を大量のデータから学習することができます。これにより、文章生成や画像認識などの本学習の効率が向上し、最終的な性能向
研究開発部署「日経イノベーション・ラボ」の石原です。 Nikkei Advent Calendar 2022の 23 日目を担当します。 日本経済新聞社では、ユーザへより良いサービス利用体験を提供するため、広くデータの利活用を進めています。 本記事では特に「自然言語処理」と呼ばれる領域に焦点を当て、2022 年の主要な取り組みの一つとして、昨今の急速な進展の根幹を担う「事前学習済み言語モデル」の構築と活用に関する事例を紹介します。 最初に自然言語処理や事前学習済み言語モデルの概要を説明し、その後に日本経済新聞社での取り組みをまとめます。 日本経済新聞社では積極的な対外発表が推奨されており、本記事は技術ブログ・外部登壇・論文発表で公表済みの内容をもとに構成しています。 自然言語処理とは 自然言語処理とは、人間が日常的に使っている言語（自然言語）をコンピュータで処理するための一連の技術です。
KDD2022 論文読み会の発表資料です。 https://line.connpass.com/event/258930/ Workshop URL https://sites.google.com/view/kdd22onlinemarketplaces/home Workshop P…
サポートベクターマシン（SVM）とは？特徴やメリットと活用事例 | DXを推進するAIポータルメディア「AIsmiley」
サポートベクターマシン（SVM）は、機械学習における有名なアルゴリズムの1つです。AI技術の発達と浸透が著しい現代、高精度な予測や検出、識別といった用途でサポートベクターマシンが有用であり、業務効率化や生産性の向上にも貢献するでしょう。 この記事では、サポートベクターマシン（SVM）の概要や仕組み、メリットについて詳しく解説します。SVMの活用事例やPython実装時のヒントなど、実用的なポイントも紹介するため、サポートベクターマシンについて理解を深め、システム開発や製品に活かす方法を知りたい方はぜひご覧ください。 機械学習について詳しく知りたい方は以下の記事もご覧ください。 機械学習とは何か？種類や仕組みをわかりやすく簡単に説明 サポートベクターマシン（SVM/Support Vector Machine）とは、機械学習モデルの中でも特に有名なアルゴリズムの1種です。機械学習の種類のうち
概要 時系列データ向けの表現学習手法「T-Rep: Representation Learning for Time Series using Time-Embeddings」 (ICLR2024) の論文、公式リポジトリを読んだので備忘録を兼ねて紹介します。 本手法は多変量の時系列データに対応しており、表現学習時に複数のPretextタスクを導入することで異常検出や分類・予測に寄与する汎用的な特徴量を獲得しています。 時系列表現(representation)はタイムスタンプ単位で出力できるため、point-wiseな異常検出であったり、window単位で集約することでsegment-wiseな分類や異常検出も可能な手法です。 記事の後半では公式チュートリアルを参考に、多変量時系列データの分類を試してみます。 arxiv Github モデル構造 T-Repモデルは以下の3つのモジュール
2022年のニュースから自然言語処理技術を用いてキーフレーズを抽出
知識拡張型言語モデルLUKE
言語処理学会第29回年次大会 併設ワークショップ JLR2023 (
Gunosyにおけるニュース記事の自動要約システム開発 〜ChatGPTの登場を添えて〜 - Gunosyデータ分析ブログ
はじめに 背景とモチベーション ニュースキュレーションサービスとしての自動要約技術の重要性 事前学習済み言語モデルの急速な発展 自動要約モデルの作成 タスク設定 モデル データセット T5 の fine-tune 評価 自動評価 人手評価 推論の高速化 ONNX とモデル量子化 CPU を使用した推論速度と要約精度の評価 API 実装と slack bot 化 API 化 slack bot化 ChatGPT の登場 今後に向けて・おわりに はじめに こんにちは、 Gunosy Tech Lab (GTL) MediaML チームの大竹です。今回のブログでは、社内で運用されているニュース記事の自動要約システムについてご紹介したいと思います。 ニュース記事の本文から簡潔な要約を生成するシステムを作るため、データセットの収集から自動要約モデルの学習、サービスとして利用するための API 実装ま
Self Distillationって何？AlphaFold2では何をしているの？ - magattacaのブログ
先日AlphaFold2についてのPodCastを聞きました。知らないことばかりで「あーなるほどそういう話だったのかー」と興味深かったです。専門の先生方の議論を拝聴できるのはすばらしいですね。 AlphaFold2はディープランニングの専門の方から見ても、面白い技術がたくさん使われているそうですが、ど素人にはそもそもどこが生物学で、どこが深層学習的な話なのかわからないです。 というわけで、今回は深層学習の用語らしい「Self distillation」について調べてみました。ついでにAlphaFold2での使用例もちょっと見たいと思います。 www.nature.com 1. Self distillation 1-1. 知識蒸留はモデル圧縮の技術 1-2. 大事な知識はソフトな知識 1-3. 自己蒸留 ~Be Your Own Teacher~ 1-4. どうして自己蒸留で精度が上がるの
最近はセキュリティログ解析などに取り組んでいます。何か面白そうな話題があればお声がけください。IIJ/IIJ-II技術研究所所属。 【IIJ 2021 TECHアドベントカレンダー 12/6（月）の記事です】 猫も杓子も深層学習と言っていた時代も一区切りついたように思います。画像処理の分野で一躍（再）注目を浴びた深層学習技術は、自然言語処理や囲碁ゲームなど、他の分野でもめざましい成果をあげました。 我々はインターネット界隈で活動していますが、それらの技術を自分たちの分野に活用できないかと検討をしたものです。何か今までできなかったようなすごいことが、深層学習を使ったら魔法のように実現するのではないか、と夢を見ていた時期もありました。もちろん、トップ研究者の方々がいろんな方面からインターネットへの深層学習の応用を試みて、素晴らしい成果が上がったことに間違いはないと思います。ただ、それらが今のネ
2021年で面白かったTransformer関連論文 - moriyamaのエンジニアリング備忘録
この記事はみらい翻訳アドベントカレンダー14日目の記事です。 2021年も終わりを迎える中、個人的には転職してからちょうど1年経ちました。 機械翻訳の研究開発に携わることもあり、自然言語処理や深層学習全般を中心にいろいろな論文を読んだ一年でした。 年末にありがちな今年の論文BEST10のようなランキングを作ってみようと考えたが、選定とランキング基準がなかなか定まらず、それだけで数日かかりそうだったので、Transformer関連論文に絞ってまとめてみようと思います。 今年も昨年に続きTransformer is all you needの色が一層強くなったと感じます。Transformer自体は自然言語処理を題材に提案されたモデルですが、最近は画像領域や音声領域でも高い性能を発揮しています。 強く注目されているモデルということもあり、構造の細部にフォーカスした多くの研究がありましたので、そ
AWS Certified Machine Learning Engineer - Associate (MLA-C01) 対策でやってよかったこと - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 先日 AWS Certified Machine Learning Engineer - Associate (MLA-C01) を受験し、無事に合格しました。本ブログでは、受験後の感想と、試験対策のために「やっていてよかったな」と思ったことをご紹介します。 はじめに 2025 Japan AWS All Certifications Engineers AWS 資格試験の改廃 AWS Certified Machine Learning Engineer - Associate 受験後の感想など 先に AWS Certified AI Practitioner 認定を受けておく 順序付け問題の例 その他の感想 事前対策としてやっておいて良かったと感じたこと AWS サービス別資料を読む SageMaker の機能をわかりやすくまとめておく マネージドサー
こんにちは。ZOZO Researchの研究員の古澤・川島・平川、ZOZOのデータサイエンティストの荒木・小林です。2024年8月6日（火）から8月9日（金）にかけて熊本で開催された画像の認識・理解シンポジウムMIRU2024に参加しました。この記事では、MIRU2024でのZOZO Research・ZOZOのメンバーの取り組みやMIRU2024の様子について報告します。 目次 目次 MIRU2024 企業展示 全体の動向 招待講演・インタラクティブセッション [IS2-35] The Niau Dataset: A Comprehensive Resource for Fashion Image Recognition [IS2-126] 大規模視覚言語モデルを用いた「似合う」の自動評価法 [IS-2-097] Moon & SpencerのAesthetic Measureを用いたフ
はじめに 株式会社ピーアールオー（あったらいいな！を作ります） Advent Calendar 2022の3日目になります。 前日は 私の「Wingetで簡単！開発PCセットアップ（Windows）」でした。 MLをやってみたいけど MLを気軽に試してみたいけど、最大の障壁となるのはやはり高価なGPUが必要という点かと思います。PCゲームをやる方ならまだしも、そうでない人間には数万～数十万もするdGPU/eGPUを用意することは簡単ではありません。特にこの分野ではcudaコアを有するNVIDIAのGPUが一強という感じですが、まともに使えそうなボードをそろえようとするとやはり十万程度の出費が必要になります（この辺は諸説あるでしょうが・・・）。 もちろん、CPUのみで挑むというやり方もありますが、あまりに時間がかかるのはやはり敬遠しがちになります。また、クラウドGPUみたいなものもあるので、
ACL2021のBest PaperのVOLTを日本語文書分類で試してみた結果...！ - Retrieva TECH BLOG
こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、先日開催された自然言語処理のトップカンファレンスである、ACL-IJCNLP2021でBest Paperとなった、VOLT（VOcabulary Learning approach via optimal Transport）を日本語文書分類で試してみた話をします。 概要 VOLTとは？ VOLTの概要 VOLT内部の尺度であるMUVについて VOLTのアルゴリズム 実験 実験設定 日本語文書分類タスクについて 分類モデルのハイパーパラメーターについて VOLTのハイパーパラメーターについて 実験結果 VOLTを使用しなかった場合と使用した場合の比較 VOLTを使用せずに最適な語彙サイズを決める まとめ 概要 一般
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DeepMindのAlphaシリーズ最新作「AlphaCode」が、競技プログラマーの標準レベル（Codeforces TOP 54%）に達したとの発表がありました。 AlphaCodeは今をときめくTransformer系のディープラーニングで、課題文を入力すると解答プログラムを出力する自然言語処理を行います。そうです、これはすなわちプログラミングをするプログラムです。マジかよ……。 詳しい手法については公式ブログや論文を参照してほしいのですが、DeepMindは別途いくつかの解答例について正誤あわせて確認できるデモサイトも用意してい
はじめに 強化学習でゲームを解くことに興味があってちょっとずつ勉強している強化学習苦手勢です。Advent Calender 用に何かゲームの攻略について書いてみることにしました。OpenAI が公開している Stable Baselines の紹介とそれを使ってスーパーマリオブラザーズ 1-1 をクリアするところまでやりましたという内容です。OpenAI Gym / Baselines 深層学習・強化学習 人工知能プログラミング 実践入門を参考にました。 Stable Baselines Stable Baselines は OpenAI が公開している強化学習アルゴリズムの実装セットです。多くの有名な手法を利用しやすい形で提供しています。強化学習アルゴリズムは実装時に仕込んでしまったバグの検出が難しく、学習が上手くいかない時に問題を切り分けにくくしています。Stable Baselin
エグゼクティブサマリー 本プロポーザルは、数理最適化手法では厳密解を得ることが難しい問題に対して、機械学習と組み合わせることで実用上有用な近似解を得る最適化手法の研究開発を提案する。 社会課題の解決においては、政策立案、資源配分、リスク管理など、数多くの重要な判断が求められる。これらの判断を体系的かつ定量的に支援する手段として最適化手法が役に立つ。同様に、企業など組織や事業の経営においても多岐にわたる判断が求められるため、それらの定量的支援にも最適化手法が役に立つ。 数理最適化手法は、1947年に発表された線形計画法に始まり、計算機の発展と共に研究開発が進んだが、次のような問題がある。 問題が大規模で高次元（膨大な数の変数を含む）な場合、計算量が爆発的に増大して計算ができない データが欠損したり誤差やバイアスを含んだりして、うまく計算ができない 最適化対象のモデルの構築が困難な場合や、対象
【Techの道も一歩から】第41回「SageMakerでStep Functionsを使った学習パイプラインを構築するために概念を理解する」 - Sansan Tech Blog
こんにちは。 DSOC R&D グループの高橋寛治です。 最近は、MLOpsへの興味が大きく、ツールの実利用や勉強会での発表を行っています。 機械学習プロジェクトにおいて、久々の実行や引き継いだコードの実行の際に、順序や実行環境を思い出したり準備したりしながら確認するのはすごく大変です。 コンテナ化された上でパイプラインがあると、実行順序も実行環境も覚えたり記録したりする必要がなくなります。 コンテナとパイプラインを組み合わせて利用するAmazon SageMakerを利用し、学習パイプラインを構築してみました。 その概要とAmazon SageMakerを利用したパイプラインを構築する上で押さえておくべきだと思う概念を簡単に紹介します。 SageMakerによるパイプライン構築の概要 AWS Step Functions Data Science SDK for Amazon SageM
Grounding DINO とは Grounding DINOとは、物体検出と視覚言語統合のモデルで、特にテキスト条件付き物体検出に強みを持つモデルです。 具体的には、Grounding DINOは自然言語のテキストを入力として受け取り、そのテキストに関連するオブジェクトを画像の中で検出できる機能を持っています。 これにより、従来の物体検出モデルがラベルやカテゴリに基づいて検出を行うのに対し、Grounding DINOはより柔軟で、事前定義されていないカテゴリでもテキストを使って検出が可能です。 この記事を読んでできるようになること Grounding DINOは、訓練を行わなくても利用できるゼロショットモデルとして優れた性能を発揮しますが、航空画像のような特定の領域では物体検出が苦手な場合があります。 本記事では、像のデータセットを使用して、Grounding DINOを自分のデータ
gzipで言語判定 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、川本稔己と申します。今回LINE夏インターンシップ技術職就業型コースに参加する機会を頂きましたので、その内容をご報告致します。 現在、私は東京工業大学 大学院修士課程1年で、奥村・船越研に在籍しており、自然言語処理という分野の研究を行っています。私は特に対話に関する研究を行っていて、身近な例でいうと音声アシスタントのような人とシステムで行う対話に興味があります。システムが何でも答えてくれるようになったり、話し相手になってくれたら楽しいですよね。そういった思いがあって、今回のLINEのインターンでは、AI開発室のNLPチームで業務に携わりました。業務内容は大規模汎用言語モデルを用いた対話システムを構築することで、その
機械学習による適応的実験計画
ベイズ最適化と能動的レベル集合推定の基礎と実践に関するセミナー資料
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像をハッシュ化しRDBMSに記録し、SQLで類似画像を検索する - Qiita
機械学習の定番「サポートベクターマシン（SVM）」を高校生でもわかるよう解説 - Qiita
ONNXファイルをテキスト形式に変換して直接編集する
LLMを用いたSNSのテーマ推薦と投稿文の自動生成 | BLOG - DeNA Engineering
RWKV14Bを日本語AlpacaデータセットでLoRAして公開しました(ご家庭で動く!?)｜shi3z
距離の観点からノードの分散表現を俯瞰する - Sansan Tech Blog
マイナーな正則化手法「ラベル平滑化」は実は効果アリアリらしい - Qiita
スイカゲームを強化学習で攻略したい（環境構築編） - ABEJA Tech Blog
BERTopicで文章群をイイ感じで分類してみる - Qiita
Contrastive Learningの最新動向のレビュー - Morpho Tech Blog
日本経済新聞社での事前学習済み言語モデルの構築と活用 — HACK The Nikkei
KDD2022論文読み会：LinkedInの推薦システムから学ぶ
時系列データ向けの表現学習「T-Rep (ICLR2024論文)」の紹介 - Qiita
キーフレーズ抽出で振り返る2022年の業界別ニュース
自然言語処理でトラフィック変化検知 | IIJ Engineers Blog
MIRU2024参加レポート - ZOZO TECH BLOG
DirectMLで試す、非NVIDIA系GPUで機械学習 - Qiita
競技プログラミングAI「AlphaCode」のコードレビューをしてみた 😱 - Qiita
Stable Baselinesを使ってスーパーマリオブラザーズ1-1をクリアするまで - Qiita
意思決定を支援する最適化手法の革新 －社会価値創造への貢献－｜報告書等｜研究開発戦略センター（CRDS）
Grounding DINOのファインチューニング(追加学習）の仕方
【インターンレポート】シチュエーションを限定した対話における応答生成
anond.hatelabo.jp
hominis.media
woman.nikkei.com
vidon.me
sapporo-sokuho.com
www.itmedia.co.jp