はじめに Turing の Vehicle チームの徳弘 (@res_circuit) です。 Turing は、完全自動運転システムを搭載した車を商品として販売することを目指しており、量産を見据えた独自の車両システムの設計に取り組んでいます。Turing ではその一環として、ECU (Electronic Control Unit, 電子制御ユニット) の開発にも取り組んでいます。 車の制御装置であるECUの多くは、マイコンをベースに構成されています。しかし近年は、車に求められる機能が膨大になり、またそれを処理するために高い計算力も必要となってきています。そのため、いわゆるMCU（Micro Controller Unit, マイコン）よりも高い処理性能を持つ MPU (Multi Processing Unit) を搭載する車載向けの SoC (System on Chip) が登場し

本記事では、Turing のサマーインターンでの成果を紹介します。2 週間のサマーインターンで、自動運転のための Visual Question Answering データセット・AutoScenesQA の作成を行いました。 AutoScenesQA は、手作業によるアノテーションではなく、LLM(GPT 3.5)とルールベースのロジックを活用し、完全に自動で作成されています. 今回作成した AutoScenesQA は、nuScenesという自動運転用のデータセットをベースとしており、「車載カメラから撮影した 6 方向の画像(1 フレーム)」と「その画像に対応した QA のペア」で構成されています。自動生成した QA の総数は全部で約 280 万件です。 本記事では、AutoScenesQA とその作成方法に関して詳しく紹介します。 自動運転と Visual Question Answ

はじめに Turing Vehicleチームのチーフエンジニアの徳弘 (@res_circuit) です。 Turingは、完全自動運転システムを搭載した車を商品として販売することを目指しており、これに向けて量産を見据えた完全独自の車両の設計に取り組んでいます。お客様の元に届く商品としての車両を自社で開発する上では、膨大な数の課題を解決する必要が出てきます。 今回は、そのうちの一つであるサイバーセキュリティについての概要を説明した上で、Turingでの取り組みを少し紹介します。 車両サイバーセキュリティとは？ 車両のサイバーセキュリティとは、車両に対するサイバー攻撃の防衛策が実施されており、車両を構成する部品や資産が保護されていることを意味します。現代の車両システムは多数のECU（電子制御ユニット）で構成され、車両内でネットワークを構築しています。車両の走行に関する制御指令や、ユーザーの個

Turingの自動運転・AIモデル開発チームの塩塚です。Turingは2030年までに完全自動運転の達成を目指しています。その未来のためにTuringでは2つの機械学習チームで研究開発を進めています。一つはBrain Researchチームで、マルチモーダル学習ライブラリ「Heron」を公開したりと2030年の完全自動運転に向けて研究を行っています。もう一つは自動運転・AIモデル開発チームで、こちらは2024、2025年にTuringから発売される電気自動車の自動運転システムを開発しています。このチームの目標は国内の市販車に搭載されている自動運転の中で最もよいものを作ることです。 開発したモデルをテストしている様子 この記事では、そんな自動運転・AIモデル開発チームがどのようにして自動運転を作っているのか、主に評価プロセスについてお話したいと思います。 自動運転・AIモデル開発チームについ

はじめに Turing株式会社ソフトウェアエンジニアの堀ノ内です！ 私が所属する自動運転チームでは2024 ~ 2025年に発売予定の自動車に搭載する自動運転システムの開発を行っています。Turingでは車両前方に取り付けられたカメラの画像を入力とし、機械学習モデルが進むべき経路を推論、その経路に沿って実際に車両を動かすための制御信号(ステアリング、アクセル、ブレーキ)をCANで車両に送信することで以下の画像のような自動運転を実現しています。 今回のブログでは以下について記載し、私達のチームの仕事内容について知って頂くきっかけになればと思います。 Turingの自動運転システムの紹介 GMSLカメラの評価と発生した問題 Linuxカーネル及びドライバのデバッグ Turingの自動運転システム Turingでは「カメラ画像入力 → 機械学習モデルで経路を推論 → 車両制御」の流れを実現するた

はじめに Turing株式会社 UXチームでインターンをしている東京大学3年の勝見とエンジニアの佐々木(@kento_sasaki1) です。 UXチームでは、Androidを採用して独自のIVI (車載インフォテイメント) の開発を行なっています。本記事では、AOSP (Android Open Source Project) の枠組みで車両と接続するのに肝となるVHAL (Vehicle Hardware Abstraction Layer) とCar APIについて概説し、Androidと自動車を接続する方法について紹介します。なお、本記事はAOSPのソースコード (Android12.1.0 rivision11) を適宜参照しながらご覧ください。 概要図：Android Automotive OSは車載ECUとCANプロトコルで情報を送受信する Android Automotiv

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう

はじめに はじめまして。Turing株式会社で事業開発を担当している山崎です。 Turingは完全自動運転EVの実現を目指すスタートアップです。自動運転に必要な頭脳・ソフトウェアだけではなく、それと相互に連携する車体・ハードウェアの開発にも自ら取り組んでいます。 そんな当社ではこの度初の自社工場を整備し、今年6月12日に晴れて操業開始しました。2021年の創設から社歴2年にも満たないスタートアップ企業が、なんのために大規模な投資を伴う自社工場の整備に踏み切り、完全な手探り状態からどのように拠点整備を進めたのか。世間的にも結構珍しいケースではないかと思いますので、その過程の一部をご紹介します。 いつものTuringテックブログとは少し趣が異なりますが、社内の雰囲気が少しでも伝われば幸いです。 なぜ今のタイミングで工場を立ち上げたのか 今回整備した工場は、Turingの事業戦略の中で研究開発拠

はじめに Turing株式会社のUX Engineeringチームでエンジニアをしています佐々木です。Turingは「We Overtake Tesla」をミッションに完全自動運転EVの開発をしています。UX Engineeringチームは、車載インフォテインメント (IVI : In-Vehicle Infotainment) システムの開発を担当しており、Android Open Source Project (AOSP) をベースに車載OSを開発しています。 本記事では、AOSPの枠組みに含まれるAndroid Automotive OS (AAOS)を概説し、また、実機でAAOSを体験するためにRaspberryPi 4BでAAOS13.0を実行する方法を紹介します。 Android Automotive OSの概要 Android Automotive OS (AAOS) は自動

基盤モデルが自動運転車を操ってる筆者のイメージ created by DALL-E Turingで機械学習チームでエンジニアをしている井ノ上です。(Twitter: いのいち) Turingは2030年までにあらゆる場所で自動走行が可能で、ハンドルが必要ない完全自動運転システム（Level 5自動運転）の開発を目指して様々な技術の調査や検証を行っています。このテックブログではTuringがどのようにしてLevel 5完全自動運転にアプローチしていくのか、近年の基盤モデルやGoogleのロボティクス研究から考えていきたいと思います。 TuringのLevel 5への仮説 Level 5の自動運転をどのようにして作るのか。これは多くの人が気になるところだと思います。TuringではLevel 5自動運転の実現の鍵は「知能」にあると考えています。従来の自動運転の開発によって、LiDARやレーダー

こんにちは。Turingの機械学習チームでエンジニアをしている塩塚です。 Turingは「We Overtake Tesla」を合言葉に、完全自動運転EVの開発・販売を目指しているスタートアップです。TuringではAIの強力さとそのさらなる成長を信じ、AIベースの自動運転システムを開発しています。 AIベースで自動運転を開発している会社はいくつかありますが、例えば米国の電気自動車メーカーTeslaはその代表的な会社の一つです。Teslaはカメラを主たるセンサーとして採用し、AIによって走行経路などを決定しています。詳しい内容は、Tesla AI Day 2021というイベントの内容を弊社のエンジニアがまとめているのでぜひ見てみてください。 一方、私たちはTeslaだけでなく、Apolloという中国企業にも大きく注目しています。 Apolloは、中国の巨大IT企業Baidu傘下の会社で、自

Turingで車両開発のエンジニアをしているhidetatzです。ソフトウェア業界のプログラマからTuringでの自動車開発に飛び込みました。 Turingは「We Overtake Tesla」をミッションとし、完全自動運転EVを販売する完成車メーカーになることを目指している会社です。 Turingでは2023年1月20日に、1台目の車「THE FIRST TURING CAR」を販売開始しました！ (こちらは既に成約いただいてます。) 「THE FIRST TURING CAR」は、トヨタのレクサスRX450hをベース車両としています。ベース車両というのはどういうことかというと、市販車として売られているレクサスをまずディーラーから買ってきて、それにTuringの自動運転ソフトウェアを組み込んで作られています。つまり、自動運転部分以外は普通のレクサスなわけです。 前述したように、Turi

この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第2回の記事「OpenCVをNPPにした結果→10倍高速に！」です。 第1回の「C++でOpenCV完全入門！」、第3回の「詳解V4L2 (video for linux 2)」もぜひご覧ください！ はじめに TURINGで働いている木更津高専の越智です。TURINGでは「We Overtake Tesla」を目標に掲げて、完全自動運転EVの開発・製造を行っています。 TURINGでは、社内で使っている自動運転ソフトウェアにおいて、画像処理部分のライブラリをOpenCVからNVIDIA Performance Primitives(NPP)に変更するプロジェクトに取り組んでいました。これによって、CPUで動かしていた画像処理をGPUバックエンドで動かすことができるようにな

こんにちは。TURING株式会社でインターンをしている、東京大学学部3年の三輪と九州大学修士1年の岩政です。 TURINGは完全自動運転EVの開発・販売を目指すスタートアップです。私たちの所属する自動運転MLチームでは完全自動運転の実現のため、AIモデルの開発や走行データパイプラインの整備を行っています。 完全自動運転を目指すうえで避けて通れない課題の一つに信号機の認識があります。AIが信号機の表示を正しく理解することは、自動運転が手動運転よりも安全な運転を達成するために欠かせません。信号機を確実に認識したうえで、周囲の状況を総合的に判断して車体を制御し、安全かつ快適な走行を実現する必要があります。 TURINGでは信号機の認識に取り組むため、15,000枚規模のデータセットを準備し、高精度なモデルのための調査・研究を開始しました。この記事ではデータセットの内製とその背景にフォーカスしつつ

こんにちは、TURING株式会社でインターンをしている東大工学部4年の井上です。 TURING(チューリング)は完全自動運転EVを開発するベンチャー企業です。 完全自動運転AIの開発のため、独自にデータの収集を行っており、 2022年内に500時間 2023年内に50,000時間 という目標を掲げています。このうち、2022年の500時間のデータ収集については既にデータベース化が完了し、次の50,000時間の達成に向けた開発が進められています。 チューリング社ではデータ取得のため、自社開発の収集キットを搭載した車両に乗車するデータ取得チームを結成し、公道上での走行データの取得を開始致しました。2022年4月〜10月のフェーズ1において500時間分の走行データの試験取得を完了していますが、2022年12月から開始するフェーズ2として2023年末までを目標期間として、国内最大規模である50,0

1. はじめに こんにちは、TURING でエンジニアをしているsangotaroです。 TURINGは完全自動運転システムを搭載した"EV"の販売を目標とする会社です。 この記事では既存のC++で書かれたソフトウェアの資産をDartから利用する方法についてある程度の知見が得られたのでそれをまとめたいと思います。 2. なぜC++の資産をDartから使用する必要があったか hokkaidoプロジェクトの記事でもお伝えした通り、TURINGでは現時点でも以下のソフトウェア資産を持っています カメラからの映像を入力として経路の推定を行い自動運転を行う 自動運転の推論の結果得られた経路やカメラ画像の表示、CAN (自動車の様々なデータが流れるネットワーク)から得られた情報などを車載モニタに表示する 現状のモニタに表示されている情報でも運転手に必要な情報は表示されているのですが、今後さらに車載モニ

はじめに TURINGの井ノ上です。TURINGは「We Overtake Tesla」をミッションに、完全自動運転EVの開発・製造を行っています。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指しています。現在、TURINGではカメラセンサから得た画像を用いて車体の操作や経路選択、安全性の判断を行えるAIモデルの開発を行っています。(実際の車を動かす事例はこちらの記事やこちらの記事をご覧ください。) この記事では私達が目標としているTeslaの自動運転のAIモデルについて紹介します。 Teslaの自動運転 こちらは2022年に公開されたTeslaの自動運転をユーザーが使っている動画です。 車の中央にあるディスプレイにはAIが道路や車を認識してどういった経路を進むかを示しており、その情報をもとに自動運転している様子があります。Teslaの自動運転の能力の

1. はじめに こんにちは。TURING株式会社（以下、TURING）で、インターンをしている東大B3の中村です。 TURINGは、完全自動運転EVを作るべく設立されたベンチャー企業です。自動運転システムとそれを搭載したEV車の開発を行っています。 TURINGでは、2022/09/27から同10/5（実走行は9/29から10/3）にかけて、hokkaidoプロジェクトと題して、自動運転システムを用いて北海道を沿岸部にかけてほぼ一周するプロジェクトを実施しました。結果として、総走行距離1480kmに対して約1400km(95%)を自動運転で走行しました。 今回、自動運転車両の走行をするために事前に北海道道庁・国土交通省に相談・許可をいただき、弁護士さんにお墨付きをもらった上で通過する各自治体に周知を行って実行しています。関係各所、弊社チームのみなさんにはこの場を借りて感謝お伝えします。 図