はてなブックマーク

はじめに チューリングの横井です。チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため、Vision Language モデル（VLM）「Heron」の開発に取り組んでいます。このたび、経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと開発したVLM「Heron-NVILA」15B, 2B, 1B, 33Bを公開しました。 この記事では開発したHeron-NVILAのアーキテクチャ、学習内容、ベンチマーク評価を紹介します。 モデルアーキテクチャ Heron-NVILAのアーキテクチャは名前の通りNVIDIAが提案したVLMであるNVILAを用いています。 NVILAは 「Vision Encoder → Projector（2 層 MLP）→ LLM」 という 3 段構成を取りつつ Scale ─ 画像を

Turingの基盤AIチームの三輪です。 Turingで研究・開発した結果をまとめた「One-D-Piece: Image Tokenizer Meets Quality-Controllable Compression」という論文を公開したので、紹介します。 これは何？ 「One-D-Piece」という新たな「画像トークナイザ」を提案しました。これによって256段階の可変品質で画像を圧縮し、Transformerベースのモデルと相性のいいトークン列での表現に変換することができます。 背景 テキストトークナイザと画像トークナイザ Transformer型のモデルは、「トークン」の列を入力に取ります。そのため、Transformer型のモデルを用いるためには、データを何らかの方法でトークンにする「トークナイザ」が必要です。 トークナイザといって一般に想起されるのはテキストトークナイザ、つまり

こんにちは！チューリングでソフトウェアエンジニアをしている太田です。 自動運転システムの開発を手がけるチューリングでは、大規模な GPU クラスタでトレーニングされたモデルが日々リリースされ、実車環境でのテストが行われています。 自動運転と聞くと、ハードウェア寄りの技術を連想するかもしれませんが、チューリングの自動運転開発においてWeb系の技術もさまざまな場面で活用されています。 近年、UI開発においてWebブラウザが利用される場面が広がっています。チューリングの自動運転システムにおいても例外でなく、Webフロントエンドの技術を用いてUI開発が進められています。この記事では、チューリングの自動運転システムのUIに焦点を当てて、その背景や構成をコードとともに解説します。 1. E2Eモデル チューリングでは「E2E(End-to-End)」と呼ばれる自動運転モデルを開発しています。カメラ画像

はじめに こんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部（和）です。 今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。 前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。 この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部（和）が実践編を追記したものです。 解説編 Rerunとは Rerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。 記録、可視化、データ保存は下記のような流れで行います。 Rerun SDKを使ってデータをログとして保存または読み込み ビューアでリアルタイムや記録済みデータを確認 UIやSDKで視覚化のカスタマイズ クエリ機能でデータをPanda

はじめに こんにちは。チューリングのDriving Softwareチームのマネージャーを務めている渡邉（@sangotaro）です。Driving Softwareチームは、チューリングの自動運転システムの開発を担当するチームで、自動運転AI以外の領域、例えばシステム制御やソフトウェアインフラの構築などを手掛けています。 先日、チームで栃木県の那須に開発合宿に行き、「約3時間でテックブログを書き上げる」というユニークな企画に挑戦しました。いくつかのチームに分かれ、それぞれが記事のテーマを決めて執筆した結果、公開までこぎつけることができた記事がなんと5本も完成しました！今回お届けするこの記事は、その中の1本であり、同じチームだった徳弘（@res_circuit）と共同で執筆しました。 この記事に先立ち、すでに2本のテックブログが公開されていますので、ぜひそちらもご覧ください。そして残りの2

Python Advent Calendar 2024の7日目です。 この記事ではuvについて、v0.5.3までのアップデートで個人的に便利だった機能を依存関係に焦点を当ててまとめました。 uvは高速なPythonパッケージとプロジェクト管理ツールです。2024年8月20日にuvのバージョンがv0.3.0にアップデートされて以来、広く使われるようになりました。 以前に以下の記事をまとめています。これからuvを使いたい方などに参考になれば嬉しいです！また、公式のドキュメントがしっかりと整備されているのでhttps://docs.astral.sh/uv/getting-started/から使ってみることをオススメします。 現在のuvのバージョンがv0.5.3より前のバージョンであれば、以下のコマンドでuvをアップデートしましょう。 1. PyTorchを例にindex-urlを指定するパッケ

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。 そこで、本記事では、公式ドキュメントには書かれていない内容も含めて、独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説します。特に、動画生成モデルを例に、Hugging Face Transform

チューリングのE2E自動運転チームの岩政(@colum2131)です。 2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。 以前の2024年7月にまとめた記事では、 将来的には、uvがRyeに代替されるよう と書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。 チューリングのメンバーでも熱心なuvファンがいるため、本記事では、uvの基本操作や、便利な機能をまとめます。 1. uvの基本操作 uvの公式ドキュメントはuvで整備されています。 1.1 uvのinstall 公式のuv - Getting s

1.　はじめに Turing生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し予測する動画生成AI、「世界モデル」の開発に取り組んできました。前回の私の記事では、その取り組みの中で調査したGAIA-1の紹介を行いました。今回は、Turingが開発した世界モデル"Terra"で利用している技術や課題・展望などについて紹介をしたいと思います。 この記事で解説している内容 世界モデルTerraは何ができるのか 世界モデルTerraはどのような仕組みで動いているのか どのような課題が残されているか Terraで生成した動画。Terraは運転環境に特化しており、車載カメラの一人称視点動画の生成を行うことができる 2.　世界モデルTerraは何ができるのか？ Turingの世界モデルは大きく分けて二つのことができます。一つ目は短い動画を与えるとその続

はじめに Turing の End-to-End(E2E) 自動運転チームでチームマネージャをやっている棚橋です。今回はE2E自動運転チームでブログの連載企画を行います。本連載企画ではEnd-to-End(E2E)自動運転の最新技術やTuringの取り組みを紹介します。第一回はTuringで取り組んでいるE2E自動運転の概要と課題について取り上げます。 End-to-end自動運転とは？ Turing が取り組んでいる自動運転の方式はE2E方式と呼ばれるもので、従来の自動運転の仕組みとは大きく異なっています。従来のシステムでは、緻密に設計された無数のソフトウェアモジュールが複雑に連動して動く仕組みですが、E2E方式では全ての判断をMLモデルに委ねるため、MLモデルの開発とそのデータ作りが主戦場です。 技術が違うということは必要な技術も人材も大きく異なります。MLエンジニアだけでなく、大規模

チューリングのE2E自動運転チームの岩政(@colum2131)です。 最近、チーム内でPythonを使った開発はRyeとuvを使うことが多くなり、特に機械学習環境もRyeとuvで問題なく開発できるようになりました。社内でのオンボーディング資料としてRyeとuvの操作を整備しようと思い、このテックブログで紹介します。 [2024-08-25追記] 2024年8月20日にuvのマイナーバージョンがアップデートされました。変更点もいくつかあり、以下のページにまとめました。 1. Rye × uvとは？ RyeはPythonの包括的なプロジェクトおよびパッケージ管理のツールです。これまでもPoetryなど管理ツールはありましたが、pyenvなどPythonのバージョン管理ツールが必要でした。Ryeは、Pythonのバージョン管理からパッケージ管理を行えて、Poetry同様にpyproject.t

はじめに Turing 生成AIチームの佐々木 (kento_sasaki1)です。生成AIチームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。 先日、6月17日から6月21日にシアトルで開催されたコンピュータビジョン・機械学習系のトップカンファレンスCVPR 2024に参加し、Vision Language Model (VLM)のワークショップThe 3rd Workshop on Computer Vision in the Wildにて日本語VLM評価ベンチマークHeron-Benchの発表を行いました。 Heron-Benchについては、以前テックブログを公開していますのでぜひご覧ください。 CVPR 2024では、End-to-Endの自動運転やLLM (Large Language Model), VLM (Vision Language

1. はじめに Turing 生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し未来を予測するAI、「世界モデル」の開発に取り組んでいます。世界モデルは、生成AIによって様々な交通状況や歩行者の行動をシミュレーションすることを可能にし、安全かつ効率的な自動運転を実現するための重要な鍵となると私たちは考えています。 この記事で解説している内容: 世界モデルとは何か 世界モデルの開発はなぜ自動運転に重要なのか 世界モデルGAIA-1について 2. 世界モデルとは 世界モデルとは、現実世界の物理法則や因果関係、物体間の相互作用などの「世界の仕組み」を表現するモデルのことです。人間は、生まれながらにして備わっている身体感覚や運動能力を通じて身の回りの世界に関するメンタルモデルを構築し、それを基に予測や計画、行動をおこなっています。例えば、ボールを

言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視覚情報やセンサーデータなどの多様な入力を受け入れることで、車の周囲の状況を正確に認識します。さらに、世界モデルを適用することで、高度な空間認知と身体性を獲得し、実世界に対応した生成AIを実現します。 https://tur.ing/ より引用 しかしながら、従来の大規模モデルはデータセンターという大量のGPU・潤沢な電源・安定した地盤を備えた豊かな環境で処理されるものであり、対して自動車というものは余りにも狭く、電源が乏しく、振動が大きいという劣悪極まりない環境

1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。2019年に登場して以降、特に海外の開発者に支持されてきました。近年注目されている大規模言語モデル（LLM）の分野においても、JAXによるモデルが公開されていることは珍しくなくなりつつあります。 PyTorch（

はじめに Turingでは完全自動運転実現に向けて、LLMやそれを用いたVision Langauge（V&L）モデルの開発に取り組んでいます。最近は経済産業省／NEDOの「競争力のある生成AI基盤モデルの開発を支援する「GENIACプロジェクト」」にも採択されるなど、大規模な生成AIの開発に精力的に取り組んでいます。 特に、Vision Languageモデルについては、Heronというライブラリとモデル群を公開しており、今回は新しいモデルとその学習レシピを公開します。また、日本語のV&LモデルをGPT-4を用いて評価するためのプログラムも公開します。 Heronとは V&Lモデルは、画像を認識する「ビジョンエンコーダ」、文章を生成する「LLM」、それら2つをつなぐ「アダプタ」から構成されます。heronのコードを用いることで、これらの様々な組み合わせのオリジナルV&Lモデルを作成するこ

Turing株式会社の自動運転チームでインターンしている東大B3の大野です。 自動運転チームでは、完全自動運転の実現を目指して自動運転AIを開発しています。モデル開発の際に、「雨の日に高速を走っていて先行車がいない」や「交差点で歩行者がいる中、右折している」など、特定の状況の走行データが必要になることがあります。 今回私は、動画に対して天気や歩行者の数などのラベルをデータベース化し、検索できるシステムを、Vision-Languageモデルを使って開発しました。この記事では、このシステムの作成にあたって取り組んだことについて説明します。 作成したGUI 課題 Turingでは、走行パートナーの方々とともに、大量の走行データを収集してきました。走行データには、車両に載せたカメラによる動画や、その際の車両のログ(速度やステアリング角、位置情報など)が含まれます。また、すべてのデータをAWSのS

TuringでResearcherをしているいのいちです。 先日、会社にサポートしていただいてニューオーリンズで開催されたNeurIPS 2023に参加させていただくことができたので、今年のNeurIPSで発表された自動運転系の論文をいくつかピックアップして紹介しようと思います。 NeurIPSとは NeurIPSは1987年から開かれている機械学習系でトップの国際会議です。この会議が発足した当初はBiologicalとArtificialの両方の側面からニューラルネットワークを研究しようという趣旨があり、長らく神経科学からも理解しようという趣旨があったようです。現在はこの国際会議で発表される多くの研究が機械学習や人工知能といったコンピューターサイエンス系のものが主体にはなっていまが、参加してみて他の機械学習やコンピュータビジョン系の学会よりも生物学と関連した研究も多く、生物学出身の私とし

アドベントカレンダー22日目を担当します！モデル開発チームの塩塚です。 本日は金曜日で、このままクリスマス突入ですね。そしてそのまま年末年始を迎えるこの時期は少しだけ楽をしたいですよね。 そんな我々にピッタリの機械学習リポジトリがあります。それがこちら Language Segment-Anything です。 公式リポジトリより引用 こちらのオープンソースプロジェクトは、画像とテキスト入力だけで物体検出・セグメンテーションをしてくれます。とても便利ですね。従来は、物体検出・セグメンテーションしたいときに、検出したいオブジェクトに対応したモデルを探して、探しても画像のサイズや画角によってはあまり上手に検出してくれなかったりして、ぱっと試すにも時間が必要でした。それがこのオープンソースではテキストを与えるだけです。しかも物体検出もセグメンテーションを同時に。 本記事では、Language S

はじめに Turingアドベントカレンダー17日目です！今日は Research チームの柏谷が担当します。 Research チームでは、LLMによる完全自動運転を実現するための技術開発を行っています。その中で重要な技術の１つが量子化です。量子化によって少ビットでパラメータを表現できれば、LLM の膨大なパラメータのデータ圧縮が可能となります。量子化実装はいろいろと考えられますが、今回は実装にアクセス可能な llama.cpp とその量子化技術について見ていきましょう！ llama.cpp とは Georgi Gerganov さんが作った PC の CPU だけで LLM が動くプラットフォームです。その名の通り Llama, Llama2 が動くというだけでなく Bloom, StableLM などいくつかの LLM がサポートされています。LLM は従来、データセンターで大量のGP

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 横田研究室B4の藤井(@okoge_kaz)です。 2022年11月末にChatGPTがリリースされてから早1年、2023年は大規模言語モデル開発の領域において飛躍の１年となりました。国内でもCyberAgent, PFN, ELYZAを筆頭に3B〜13B程度のモデルが多数公開され、多くの方にとってLLMが身近になった1年であったかと思われます。 Turingでは完全自動運転の実現に向けた研究開発の一環としてLLMに早くから着目し、社内で研究開発を行ってきました。 また、私はLLM-jp 13Bの開発など国内の言語モデル開発に複数関わっている関係上、それらを通じて様々な生きた開発知見を多数得てきました。 そのような中で、実際に手を動かす実働部隊が「公開されている知見」をきちんと理解しておくことの重要性を日々

Turing株式会社のアドベントカレンダー2日目です！1日目はCTOの青木さんのカレー屋さんとスタートアップ：CTO of the year 2023でオーディエンス賞受賞です。 自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは完全自動運転車の開発を目標としており、自動運転AIや車両、LLMの開発など様々なことに取り組んでいます。今回の話は、自動運転AIの物体認識などのPerceptionタスクにおいて個人的に面白いなと思ったVision-CentircなEnd-to-Endモデルの紹介です[1]。 Transformerベースの画像認識 Transformerは、大規模言語モデル(Large Language Model; LLM)などに用いられる重要なアーキテクチャです。2017年に"Attention Is All You Need"というタイトルで

本記事では、Turing のサマーインターンでの成果を紹介します。2 週間のサマーインターンで、自動運転のための Visual Question Answering データセット・AutoScenesQA の作成を行いました。 AutoScenesQA は、手作業によるアノテーションではなく、LLM(GPT 3.5)とルールベースのロジックを活用し、完全に自動で作成されています. 今回作成した AutoScenesQA は、nuScenesという自動運転用のデータセットをベースとしており、「車載カメラから撮影した 6 方向の画像(1 フレーム)」と「その画像に対応した QA のペア」で構成されています。自動生成した QA の総数は全部で約 280 万件です。 本記事では、AutoScenesQA とその作成方法に関して詳しく紹介します。 自動運転と Visual Question Answ

はじめに Turing Vehicleチームのチーフエンジニアの徳弘 (@res_circuit) です。 Turingは、完全自動運転システムを搭載した車を商品として販売することを目指しており、これに向けて量産を見据えた完全独自の車両の設計に取り組んでいます。お客様の元に届く商品としての車両を自社で開発する上では、膨大な数の課題を解決する必要が出てきます。 今回は、そのうちの一つであるサイバーセキュリティについての概要を説明した上で、Turingでの取り組みを少し紹介します。 車両サイバーセキュリティとは？ 車両のサイバーセキュリティとは、車両に対するサイバー攻撃の防衛策が実施されており、車両を構成する部品や資産が保護されていることを意味します。現代の車両システムは多数のECU（電子制御ユニット）で構成され、車両内でネットワークを構築しています。車両の走行に関する制御指令や、ユーザーの個

Turing株式会社のUXチームでインターンをしている東大4年の三輪です。 自動運転のUXを向上させるため、UXチームでは自動運転の「可視化」ソフトウェアの開発に取り組んでいます。 このソフトウェアはTuringが販売する車のディスプレイに搭載される予定です。AIが認識している世界をユーザにも見える形で示すことで、ユーザは自動運転AIの振る舞いをよりよく把握することができるようになります。 画面は開発中のものです 可視化ソフトウェアは、自動運転AIの出力を受け取り、解釈し、Unity上で描画します。この際、自動運転AIと可視化ソフトウェアの間の通信はgRPCで行うことになっています。しかし、Unity上でのgRPCはさまざまな事情でやや複雑な構成を取る必要があります。 この記事では、UnityでgRPCサーバを実装するステップを解説します。 gRPC gRPCはRPC（Remote Pro

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っているのでしょうか。 Turingでは1年以上前から自動運転における複雑な文脈理解には自然言語が必要であると主張してきました。今年の7月にはLLMで実際の車を動かしてみるプロジェクトをデモとして公開しました。このデモ

Turing株式会社の自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは2030年までに完全自動運転の達成を目指しており、自動運転AI開発から車両開発など、取り組むことは多岐に渡っています。 今回の話は、自動運転AI開発中に出た問題と、ひとまずの解決方法になります。より良い解決策があれば、教えてもらいたいです🙏 Transfomer-EncoderをONNXに変換したい ONNX（Open Neural Network eXchange）は、機械学習・深層学習モデルを表現するために構築されたオープンフォーマットです。 PyTorchやTensorFlow、scikit-learnなどのフレームワークで学習されたモデルをONNXに変換することでサーバーやエッジデバイスなど多様なハードウェアで運用が可能です。各ハードウェアごとに最適化されたフォーマットにも変換