YOLOv8モデルで物体検出する際の前処理・後処理を解説してみる - Qiita
はじめに 本記事では、YOLOv8モデルを使用して推論を行う際の前処理と後処理の手順について詳しく解説します。 特に、ポーズ推定タスクにおける顔認識を例に、一般的な処理方法を紹介します。後処理のkps（キーポイント）に関する部分以外は他のタスクにも応用できます。 コードはgithubで公開しているので、チェックしてみてください。 基本的な流れ 前処理 推論 後処理 モデルの準備 ultralyticsライブラリでは、pytorch形式のモデルを様々なフォーマットにエクスポートする機能があります。 以下のコードを実行することで、モデルをエクスポートします。 from ultralytics import YOLO model = YOLO('../models/yolov8n-face.pt') model.export(format='onnx', imgsz=640, opset=12,
ベクトルデータの容量を96%削減するBinary Embedding
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
ChatGPTに渡す文章の適切な区切り線について検証した記事｜Clirea
はじめに大規模言語モデルであるChatGPTに文章を渡す際、適切な区切り線の使用は、情報の正確な伝達や解釈に大いに役立ちます。 この記事では、区切り線に適切なものを検証します。 区切り線とは？使い方区切り線は文章を区切る時に使用する文字列のことです。 例えば下記のようなものです。 また、使い方をまとめた記事もあるので参考にしてください。 def test() a = "a" b = "b" c = a + b print(c) ================================ ←これが区切り線 上記のコードについて教えてください 結論先に結論を言うと、4個～16個連続した「-」か「=」 もしくは8の倍数の「-」か「=」が区切り線としてはベストでした。 ---- ---------------- -------------------------------- ==== ==
nvidia-smiコマンドの詳細ついて - Qiita
Volatile GPU-Utilが0%なのにプロセスは立っててメモリは使われてる。ってことが起きた。 資料を見たけど、ただメモリだけ使ってるって状態なのだと解釈してる。 Thu Mar 2 13:49:14 2017 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 367.57 Driver Version: 367.57 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:
The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only
Large language models are commonly trained on a mixture of filtered web data and curated high-quality corpora, such as social media conversations, books, or technical papers. This curation process is believed to be necessary to produce performant models with broad zero-shot generalization abilities. However, as larger models requiring pretraining on trillions of tokens are considered, it is unclea
Bardのようなimage2textAIを構築して動画検索システムを作る
Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取
LLMOps：基盤モデルに基づくアプリケーション開発のワークフロー｜Weights & Biases Japan
Weights & Biases のnoteをフォローしてください大規模言語モデル（LLM）の可能性を引き出し、その機能を拡張してアプリケーションを開発・提供するためのワークフローは、どのようなものなのでしょうか。私たちはここ数ヶ月、様々な場所でこの課題を耳にしてきました。 これまで機械学習モデルの開発と運用を統合するMLOps（Machine Learning Operations）のワークフローの構築において最も信頼されてきたWeights & Biasesは、OpenAIやStability AIなど、生成AIの開発で最先端をいく企業に活用されてきました。 この経験をもとに、本稿ではMLOpsのベストプラクティスをレビューし、この概念がどのようにLLMOpsに適用されていくのか、現時点のベストプラクティスを示していきます。 特にLLMOpsにおいては、多くの場合社外で開発された基盤モ
大規模モデルを支える分散並列学習のしくみ Part1
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama
イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用
Alpaca-loraを日本語タスクでファインチューニングする - Qiita
Alpaca-LoRAという家庭用GPUでも大規模言語モデルのFineTuningが可能なモデルが発表されました。 本記事では、livedoorニュースコーパスを使用してAlpaca-LoRAをFineTuningしてニュースのタイトルを考えさせるというタスクに挑戦してみます。 技術の概要 Alpacaとは Alpacaとは、先日Metaが発表したLLaMa 7Bをtext-davinci-003によるself-instructで生成されたデータを使用してFineTuningした言語モデル。 生成したデータは52K個で生成コストは500ドル以下と低コストです。 人間による予備評価では7Bという比較的小さなモデルにも関わらず、text-davinci-003に似た挙動を示すという報告があげられています。 Alpaca-LoRAとは Alpaca-LoRAとはAlpacaで作成したデータセット
GPTが出した回答の確からしさを見えるようにしてみる - Taste of Tech Topics
皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ
NLPとVision-and-Languageの基礎・最新動向 (2) / DEIM Tutorial Part 2 Vision-and-Language
DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム チュートリアル講演資料 Part2: Vision-and-Language
ControlNetでポーズや構図を指定してAIイラストを生成する方法｜ddPn08
こんにちは。だだっこぱんだです。 今回は、AIイラスト界隈で最近話題のControlNetについて使い方をざっくり紹介していきます。 モチベが続けば随時更新します。 StableDiffusionWebUIのインストール今回はStableDiffusionWebUIの拡張機能のControlNetを使います。 WebUIのインストールに関してはすでにいろんな解説記事や動画があると思うのでそちらをご参照ください。 一応僕が作った簡単にWebUIを起動できるソフトも紹介しておきます（せんでん）
オープンソースAI（Whisper、BERT、VOICEVOX）を用いた音声対話ロボットの作成 - Qiita
はじめに どうもこんにちは。ヤフー株式会社のkunishouです。気づけば2022年も残り3週間、皆様いかがお過ごしでしょうか？ 今年の機械学習のトレンドと言えば、海外のAI企業から次々とオープンソースのAIが発表されたことが非常に印象的でした。画像生成分野ではStability AI社の「Stable Diffusion」、音声認識分野ではOpenAI社の「Whisper」などが発表されました。発表されたこれらのAIは非常に高機能であるにも関わらず、オープンソースのAIとして、自由に利用することができます。 今回、 クリスマスも近いということなのでこれらの高機能なAIを活用して何か面白い物を作ることはできないか と考え、物理的に言葉を投げかけると返事が返ってくるような音声対話ロボットを作ってみることにしました（ クリスマスにしゃべる相手がいないからというわけでは決してありません ）。 目
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMの現在 - Speaker Deck
Behind The Scenes: Cloud Native Storage System for AI
IBIS2023チュートリアル「大規模言語モデル活用技術の最前線」
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
ChatGPT�人間のフィードバックから強化学習した対話AI
NLPとVision-and-Languageの基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP
