3.1. Cross-validation: evaluating estimator performance
3.1. Cross-validation: evaluating estimator performance# Learning the parameters of a prediction function and testing it on the same data is a methodological mistake: a model that would just repeat the labels of the samples that it has just seen would have a perfect score but would fail to predict anything useful on yet-unseen data. This situation is called overfitting. To avoid it, it is common p
交差検証（Python実装）を徹底解説！図解・サンプル実装コードあり
何かを「正しい」と判断するとき、読者の皆様は何を根拠としますか。例えば、経験を元にする場合、一度だけの経験では偶然の可能性も考えられます。これが複数の経験からの判断であれば、少しは信憑性が増すと思います。一度の結果では信憑性が薄くとも、多くの結果を得られればある程度の精度で判断できる材料となります。 機械学習も同様です。様々な特徴量を扱う機械学習では、予測モデル（以下：モデル）の評価が本当に「正しい」のかを判断することは難しい問題です。特に、過学習などの問題は機械学習の技術が発展している近年でも残り続けています。 本稿では、機械学習を扱う上で重要な交差検証（クロスバリデーション ）について解説します。前半ではデータ分割の基本と、交差検証の定義を解説をします。後半では実際のデータセットを用いて交差検証の実装を行います。交差検証は様々な場面で紹介されていますが、実際に学ぶと詰まるポイントが多い
GitHub - hppRC/bert-classification-tutorial: 【2023年版】BERTによるテキスト分類
Googleが2018年に発表したBERTは、その性能の高さや利便性から、今やあらゆる自然言語処理タスクで汎用的に用いられるようになっています。 BERTは事前学習済み言語モデル (Pretrained Language Model) と呼ばれるモデルの一種で、大量のテキストで事前にモデルの学習をおこなっておくことで、様々なタスクに利用できる言語知識を獲得しています。 この言語知識を転用することで、多様なタスクについて、今までよりも少ない学習データで非常に高い性能を発揮できることがわかっています。 BERTをテキスト分類などのタスクに適用する際は、BERTを微調整(fine-tuning)することでタスクを解きます。 例えば、ある映画のレビューが好意的(positive)か否定的(negative)かを分類するタスクを考えると、微調整の流れは以下のようになります。 レビューテキストを事前学
Multi-Object Trackingの精度評価指標
Business Development Divisionでデータサイエンティストをしている秋元です。 今回はARISEの画像分析チームが取り組んでいる画像処理技術の一つであるMulti-Object Trackingについて、その評価指標を紹介します。 1.Multi-Object Trackingとは Multi-Object Tracking（MOT）は、動画の中で移動していく複数の人や物をそれぞれ区別して継続的に追跡する画像処理技術です。技術的には画像処理の基本的な技術の一つである物体認識の応用技術になりますが、静止画の物体認識とは異なり動画中の物体は常に外観が変化し続けることから、非常に難しいタスクとされています。 MOTは研究が盛んな分野であり多くのアルゴリズムが開発されています。広く使われているTracking by Detectionと呼ばれる手法では、まず動画の各フレーム
【物体検出2022】BoT-SORTを使ってYOLOv7のモデルで物体追跡(MOT)を実装する - Qiita
はじめに 物体検出でお馴染みのYOLOシリーズの最新版「YOLOv7」について、動かしながら試していきます。 YOLOv7は2022年7月に公開された最新バージョンであり、速度と精度の面で限界を押し広げています。 今回の記事では、YOLOv7とBoT-SORTによる物体追跡(MOT)の実装方法を紹介します。 Google colabで簡単に最新の物体検出モデルを実装することができますので、ぜひ最後までご覧ください。 （詳細） YOLOv7とは YOLOv7は2022年7月に公開された最新バージョンであり、5FPSから160FPSの範囲で速度と精度の両方ですべての既知のオブジェクト検出器を上回り、速度と精度の面で限界を押し広げています。 これまでのYOLOR、YOLOX、Scaled-YOLOv4、YOLOv5、 DETR、Deformable DETR、DINO-5scale-R50、Vi
RAGの性能を改善するための8つの戦略 | Fintan
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
依存リポジトリ管理でのsubmodule/subtree/subrepoの使い分け - Qiita
依存ライブラリを利用する場合RubyGemsやらCocoaPodsといったツールで万事解決するケースがほとんどだと思いますが、たまーにGitに上がっているライブラリを直接自分のリポジトリに追加しないといけない場合もあったりします。 こういった時に使うGitのサブコマンドそれぞれの特徴と使いどころをまとめてみました。 submodule 一番スタンダードな外部リポジトリ追加方法です。たぶん大抵の依存管理ではこれを使えば十分でしょう。git-submoduleを利用すると、外部リポジトリのコード自体は自プロジェクトの管理下に取り込まれず、リポジトリの特定コミットへの参照情報のみが登録されます。外部リポジトリのcommit hashへのポインタが追加されるようなイメージです。 $ git submodule add git@github.com:Alamofire/Alamofire.git $
【AIアニメ】ComfyUI AnimateDiffでアニメの中割りを作ろう！｜Baku
前回の記事では、AI動画生成ツールのAnimateDiffと「ControlNet」を組み合わせることで、特定のモーションをアニメで再現しました。 今回は、ControlNetの「Tile」という機能を組み合わせて、2枚の画像を補間するアニメーションの生成を試します。 必要な準備ComfyUI AnimateDiffの基本的な使い方については、こちらの記事などをご参照ください。 今回の作業でComfyUIに導入が必要なカスタムノードなどは以下のとおりです（説明は後述）。 カスタムノード (./custom_nodes/)： 以下の2つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） モーションモジュール (./custom_nodes/Com
AI動画を簡単に生成できるAnimateDiffをどこよりもわかりやすく解説- AIの島
「AIに動画生成はまだできない」「AIで動画生成できてもかなり手間がかかる」 と思っている方は、多いのではないでしょうか？ 今回は、たった1枚の画像からAI動画を生成できるAnimateDiffを誰でもわかるように徹底解説いたします。 AnimateDiffとは？ 簡単に説明すると、1枚の画像から一貫性のある動画を生成できる技術です。 この技術のすごいところは、今までと違い元の絵の状態を保ったまま生成できるという点です。 どこで使えるの？ AnimateDiffを利用する方法は以下の2つです。 Stable Diffusionを利用する Memeplexを利用する 今回はタイトルにもあるように、Stable Diffusionを利用します。 Stable Diffusionを使ったことがないという方は、まずこちらの記事をご覧ください。 Stable Diffusionの使い方 Animat
はじめての自然言語処理 Sentence Transformer による文章ベクトル化の検証 | オブジェクトの広場
今回は文章のベクトル化を扱います。文章のベクトル化は 第9回 で扱っていますが、当時に比べてデータセット、事前学習モデル、ライブラリ等でいろいろと状況が好転しているので、改めて扱ってみることにしました。最近は大規模データセットを用いた事前学習が公開されているので、作り比べてみます。 1. はじめに 今回は sentence-transformers1 で文章のベクトル化にチャレンジしてみます。文章をベクトル（埋め込み表現）化することで、文章間の意味合い的な比較が可能になり、類似文章検索やクラスタリングなどが可能になります。 このライブラリは 第9回 で紹介済みですが、当時のバージョンは 0.2.5.1 であり、その後に損失関数が追加されていたり、サンプルコードが充実したりとかなりの更新が入って執筆時点で 2.1.0 になっています。ついでに言うと 第9回 は結構アクセス数があるみたいなので
PHPのsessionファイルの生成場所、中身、有効期限など - バカンス駆動開発
PHPでセッションを開始すると$_SESSIONに値を出し入れできますが実態はsessionファイルに物理的に書き込まれています。*1 中身見たことなかったのでちょっと調べました。 sessionファイルの場所 生成場所の優先順位 php.iniのsession.save_path php.iniのsys_temp_dir /tmpとか sess_v4vqefhjjllja1bqsabekihpc4みたいな感じでsess_xxxxxxxxxxxxxxという名前のファイル名で保存されます。 sessionファイルの中身 試しにこれを実行すると <?php session_start(); $_SESSION['hoge'] = 'hoge'; $_SESSION['huga'] = 'huga'; 自分の環境だと/tmp/sess_v4vqefhjjllja1bqsabekihpc4が生成さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - NirAharon/BoT-SORT: BoT-SORT: Robust Associations Multi-Pedestrian Tracking
Papers with Code - MOT20 Benchmark (Multi-Object Tracking)
GitHub - GerardMaggiolino/Deep-OC-SORT: https://arxiv.org/abs/2302.11813
GitHub - megvii-research/MOTRv2: [CVPR2023] MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors
Clustering Categorical Data: K-modes (CAT II)
File naming ends with S, T or V
极飞科技
YOLO Data Augmentation Explained