ブックマーク / zenn.dev/turing_motors (4)

  • Bardのようなimage2textAIを構築して動画検索システムを作る

    Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか? 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知+停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取

    Bardのようなimage2textAIを構築して動画検索システムを作る
    yarumato
    yarumato 2023/07/22
    “車載撮影動画80TBを検索したい。動画から静止画を取り出し、GPUメモリ8GBのLLMで、画像に説明文付与と物体検出。撮影時のログから平均速度。GPT-3.5に文章化してもらいベクトル化。検索ワードでベクトル近さを計算”
  • Pythonコードを35000倍に高速化したい

    はじめに Pythonは世界的にも人気のあるプログラミング言語ですが、実行速度については課題があります。Pythonの実行速度を高速化したい、という要求は根強く、これまでにも様々な処理系が開発されています。 この記事はPythonで書かれたコードを35000倍に高速化するにはどのような方法があるかについてまとめたものです。 この記事は: Pythonで書かれたアルゴリズムを35000倍に高速化する 事前コンパイル、並列化、SIMD演算を駆使する 最終的に44000倍まで高速化できた なぜ35000倍? 2023年5月2日にModular社よりPythonの使いやすさとC言語の性能を兼ね備える新しいプログラミング言語、Mojoの開発について発表がありました。低レベルのハードウェア向けにコンパイル可能なこと、文法的にはPythonを踏襲しており、既存のPythonライブラリを利用可能であること

    Pythonコードを35000倍に高速化したい
    yarumato
    yarumato 2023/05/07
    “PythonとCの実行速度は一般的には100倍程度。Mojoの35000倍はまさに桁違い。マンデルブロ集合の計算を、並列計算して高速化した結果らしいので追試。C++並列化SIMDで5200倍までは達成。Python側を遅くすると44000倍を達成”
  • OpenCVをNPPにした結果→10倍高速に!

    この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第2回の記事「OpenCVをNPPにした結果→10倍高速に!」です。 第1回の「C++OpenCV完全入門!」、第3回の「詳解V4L2 (video for linux 2)」もぜひご覧ください! はじめに TURINGで働いている木更津高専の越智です。TURINGでは「We Overtake Tesla」を目標に掲げて、完全自動運転EVの開発・製造を行っています。 TURINGでは、社内で使っている自動運転ソフトウェアにおいて、画像処理部分のライブラリをOpenCVからNVIDIA Performance Primitives(NPP)に変更するプロジェクトに取り組んでいました。これによって、CPUで動かしていた画像処理をGPUバックエンドで動かすことができるようにな

    OpenCVをNPPにした結果→10倍高速に!
    yarumato
    yarumato 2023/02/04
    “AI自動運転システムのCPUはスマホ以下でGPUも貧弱。 NPP(NVIDIA Performance Primitives)はGPUで画像や信号処理のライブラリ。NVIDIAのGPUが乗っていて、CUDA Toolkitが入っているデバイスなら動く。”
  • 脱・人力アノテーション!自己教師あり学習による事前学習手法と自動運転への応用

    こんにちは、TURING株式会社(チューリング)でインターンをしている、東大大学院修士一年の舘野です。 TURINGは完全自動運転EVを開発しているベンチャー企業です。 完全自動運転を実現するには、車の周りの環境をセンシングし認識するシステムが不可欠です。センシングのためのセンサーは様々考えられますが、TURINGでは主にカメラを用いています。 自動運転AIにはカメラデータから信号機・標識・周囲の車、などの情報を読み取る必要がありますが、そのためにはそれぞれの目的に対応した学習が必要です。 一番単純な方法は、学習させる各動画フレームに対して人間が信号機・標識・周囲の車などの正解情報を付与し、AIモデルが動画を見て正解情報を予測できるようにすることです。下図は、画像から車を検出するモデルの例です。モデルの中身は画像の特徴量を抽出する部分と、分類を行う部分を分けて表現していますが、学習時は元デ

    脱・人力アノテーション!自己教師あり学習による事前学習手法と自動運転への応用
    yarumato
    yarumato 2023/01/21
    “自動運転AIは、カメラデータから信号機・標識・周囲の車、等の情報を読み取れるように学習が必要。動画1コマ1コマに、人が正解情報を付与(アノテーション)するのを最小限に抑える、自己教師あり学習を紹介”
  • 1