はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル（LLM）に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 今回の記事は2023年7月に開催されたABCI LLMハッカソンで取り組んだときに開発していたGIT-LLMというモデルの開発について解説する記事となっています。途中のコードの解説部分などは少し退屈に感じるかもしれませんので、その場合はぜひ結果のパートだけでも見てみてください。いろい

はじめに Turing株式会社UXチームエンジニアの井上(@yoinoue5212)です。 Turingは完全自動運転EVの開発を目標に、自動運転AIとEV本体の両面での開発に挑戦しています。UXチームでは、自社EVのIVI(In-Vehicle Infotainment)つまりセンターディスプレイ等に表示されるシステムのOSとして、Androidを基盤とする独自車載OSの開発を行っています。 本記事では、ソースコードの公開されているAndroid Open Source Project(AOSP)を題材に、Android OSを開発するとはどういうことか、開発のための環境構築についてお話しします。 AOSPとは 何の略？ AOSPはAndroid Open Source Projectの略で、Android OSを構成するすべての要素がオープンソースで公開されています。 Googleの開

Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 の藤井(@okoge_kaz)です。 大規模モデルへの注目の高さを肌で感じる今日このごろですが、事前学習の知見については依然として十分に共有されているとは言い難いと個人的に感じています。 Turing株式会社では、次世代の自動運転技術を支える技術の1つとして大規模言語モデルに注目しており、独自に研究開発を行っています。今回は大規模言語モデルを学習する際、用いるライブラリ候補の１つに上がるであろうGPT-NeoXについて解説します。 以下で環境構築方法、学習を行う方法などについて詳しく解説します。 GPT-NeoXとは EleutherAIが管理しているNIDIA/Megatron-LM ベースの大規模言語モデル(Large Language Model: LLM)を学習するためのライブラリです。 Mi

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう

はじめに はじめまして。Turing株式会社で事業開発を担当している山崎です。 Turingは完全自動運転EVの実現を目指すスタートアップです。自動運転に必要な頭脳・ソフトウェアだけではなく、それと相互に連携する車体・ハードウェアの開発にも自ら取り組んでいます。 そんな当社ではこの度初の自社工場を整備し、今年6月12日に晴れて操業開始しました。2021年の創設から社歴2年にも満たないスタートアップ企業が、なんのために大規模な投資を伴う自社工場の整備に踏み切り、完全な手探り状態からどのように拠点整備を進めたのか。世間的にも結構珍しいケースではないかと思いますので、その過程の一部をご紹介します。 いつものTuringテックブログとは少し趣が異なりますが、社内の雰囲気が少しでも伝われば幸いです。 なぜ今のタイミングで工場を立ち上げたのか 今回整備した工場は、Turingの事業戦略の中で研究開発拠

はじめに Pythonは世界的にも人気のあるプログラミング言語ですが、実行速度については課題があります。Pythonの実行速度を高速化したい、という要求は根強く、これまでにも様々な処理系が開発されています。 この記事はPythonで書かれたコードを35000倍に高速化するにはどのような方法があるかについてまとめたものです。 この記事は： Pythonで書かれたアルゴリズムを35000倍に高速化する 事前コンパイル、並列化、SIMD演算を駆使する 最終的に44000倍まで高速化できた なぜ35000倍？ 2023年5月2日にModular社よりPythonの使いやすさとC言語の性能を兼ね備える新しいプログラミング言語、Mojoの開発について発表がありました。低レベルのハードウェア向けにコンパイル可能なこと、文法的にはPythonを踏襲しており、既存のPythonライブラリを利用可能であること

基盤モデルが自動運転車を操ってる筆者のイメージ created by DALL-E Turingで機械学習チームでエンジニアをしている井ノ上です。(Twitter: いのいち) Turingは2030年までにあらゆる場所で自動走行が可能で、ハンドルが必要ない完全自動運転システム（Level 5自動運転）の開発を目指して様々な技術の調査や検証を行っています。このテックブログではTuringがどのようにしてLevel 5完全自動運転にアプローチしていくのか、近年の基盤モデルやGoogleのロボティクス研究から考えていきたいと思います。 TuringのLevel 5への仮説 Level 5の自動運転をどのようにして作るのか。これは多くの人が気になるところだと思います。TuringではLevel 5自動運転の実現の鍵は「知能」にあると考えています。従来の自動運転の開発によって、LiDARやレーダー

こんにちは。Turingの機械学習チームでエンジニアをしている塩塚です。 Turingは「We Overtake Tesla」を合言葉に、完全自動運転EVの開発・販売を目指しているスタートアップです。TuringではAIの強力さとそのさらなる成長を信じ、AIベースの自動運転システムを開発しています。 AIベースで自動運転を開発している会社はいくつかありますが、例えば米国の電気自動車メーカーTeslaはその代表的な会社の一つです。Teslaはカメラを主たるセンサーとして採用し、AIによって走行経路などを決定しています。詳しい内容は、Tesla AI Day 2021というイベントの内容を弊社のエンジニアがまとめているのでぜひ見てみてください。 一方、私たちはTeslaだけでなく、Apolloという中国企業にも大きく注目しています。 Apolloは、中国の巨大IT企業Baidu傘下の会社で、自

Turingで車両開発のエンジニアをしているhidetatzです。ソフトウェア業界のプログラマからTuringでの自動車開発に飛び込みました。 Turingは「We Overtake Tesla」をミッションとし、完全自動運転EVを販売する完成車メーカーになることを目指している会社です。 Turingでは2023年1月20日に、1台目の車「THE FIRST TURING CAR」を販売開始しました！ (こちらは既に成約いただいてます。) 「THE FIRST TURING CAR」は、トヨタのレクサスRX450hをベース車両としています。ベース車両というのはどういうことかというと、市販車として売られているレクサスをまずディーラーから買ってきて、それにTuringの自動運転ソフトウェアを組み込んで作られています。つまり、自動運転部分以外は普通のレクサスなわけです。 前述したように、Turi

この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第3回の記事「詳解V4L2 (video for linux2)」です。 第1回の「C++でOpenCV完全入門！」、第2回の「OpenCVをNPPにした結果→10倍高速に！」もぜひご覧ください！ はじめに こんにちは。TURING株式会社（以下、TURING）で、インターンをしている東大B3の中村です。 TURINGは、完全自動運転EVを作ることを目的に設立されたベンチャー企業です。自動運転システムとそれを搭載したEV車の開発を行っています。 TURINGの自動運転システムは、カメラからの映像入力を肝としています。これまではOpenCVを入力のインターフェイスとして利用していました。OpenCVを使用していたのは、 buildや使用法についての情報が多い コードが簡単に

この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第2回の記事「OpenCVをNPPにした結果→10倍高速に！」です。 第1回の「C++でOpenCV完全入門！」、第3回の「詳解V4L2 (video for linux 2)」もぜひご覧ください！ はじめに TURINGで働いている木更津高専の越智です。TURINGでは「We Overtake Tesla」を目標に掲げて、完全自動運転EVの開発・製造を行っています。 TURINGでは、社内で使っている自動運転ソフトウェアにおいて、画像処理部分のライブラリをOpenCVからNVIDIA Performance Primitives(NPP)に変更するプロジェクトに取り組んでいました。これによって、CPUで動かしていた画像処理をGPUバックエンドで動かすことができるようにな

この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第1回の記事「C++でOpenCV完全入門！」です。 第2回の「OpenCVをNPPにした結果→10倍高速に！」、第3回の「詳解V4L2 (video for linux 2)」もぜひご覧ください！ はじめに こんにちは。完全自動運転EVを開発するベンチャー企業、TURING株式会社でインターンをしている東大工学部3年の井上信多郎です。 我々人類は、車を運転するにあたって多くの情報を目から取り入れています。目から取り入れた情報を元に、アクセル・ブレーキ・ハンドルを操作しています。 自動運転の場合、その目に相当するセンサがカメラであり、カメラから得た情報を元に車を運転することになります。カメラから得る情報とは、ずばり画像です。画像の中から信号、標識、前方車両などの必要なもの

こんにちは。TURING株式会社でインターンをしている、東京大学学部3年の三輪と九州大学修士1年の岩政です。 TURINGは完全自動運転EVの開発・販売を目指すスタートアップです。私たちの所属する自動運転MLチームでは完全自動運転の実現のため、AIモデルの開発や走行データパイプラインの整備を行っています。 完全自動運転を目指すうえで避けて通れない課題の一つに信号機の認識があります。AIが信号機の表示を正しく理解することは、自動運転が手動運転よりも安全な運転を達成するために欠かせません。信号機を確実に認識したうえで、周囲の状況を総合的に判断して車体を制御し、安全かつ快適な走行を実現する必要があります。 TURINGでは信号機の認識に取り組むため、15,000枚規模のデータセットを準備し、高精度なモデルのための調査・研究を開始しました。この記事ではデータセットの内製とその背景にフォーカスしつつ

1. はじめに こんにちは。TURING株式会社（以下、TURING）で長期インターンをしている、東京大学工学部4年の中谷と早稲田大学先進理工学部3年の天野です。 TURINGは、自動車メーカーとしてTESLA超えを掲げる、完全自動運転EV自動車を開発するベンチャー企業で、自動運転レベル2相当の改造車の販売を今年の目標に定めています。 6月から8月にかけて、正社員の方々の力を借りながらインターン生を中心にLEXUS RXのCAN（Controller Area Network）をハッキングして、私達は見事「カーハッカー」になりました。 この記事では、TURINGが車メーカーとして、AI・自動運転開発だけでなく、自動車そのものの車両開発をどのように行っているかを、CAN解析という点から紹介します。 図1 トルクセンサにつながる運転席足元の配線を、満面の笑みで外しにかかる弊社インターン 2.

はじめに TURINGの井ノ上です。TURINGは「We Overtake Tesla」をミッションに、完全自動運転EVの開発・製造を行っています。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指しています。現在、TURINGではカメラセンサから得た画像を用いて車体の操作や経路選択、安全性の判断を行えるAIモデルの開発を行っています。(実際の車を動かす事例はこちらの記事やこちらの記事をご覧ください。) この記事では私達が目標としているTeslaの自動運転のAIモデルについて紹介します。 Teslaの自動運転 こちらは2022年に公開されたTeslaの自動運転をユーザーが使っている動画です。 車の中央にあるディスプレイにはAIが道路や車を認識してどういった経路を進むかを示しており、その情報をもとに自動運転している様子があります。Teslaの自動運転の能力の

1. はじめに こんにちは。TURING株式会社（以下、TURING）で、インターンをしている東大B3の中村です。 TURINGは、完全自動運転EVを作るべく設立されたベンチャー企業です。自動運転システムとそれを搭載したEV車の開発を行っています。 TURINGでは、2022/09/27から同10/5（実走行は9/29から10/3）にかけて、hokkaidoプロジェクトと題して、自動運転システムを用いて北海道を沿岸部にかけてほぼ一周するプロジェクトを実施しました。結果として、総走行距離1480kmに対して約1400km(95%)を自動運転で走行しました。 今回、自動運転車両の走行をするために事前に北海道道庁・国土交通省に相談・許可をいただき、弁護士さんにお墨付きをもらった上で通過する各自治体に周知を行って実行しています。関係各所、弊社チームのみなさんにはこの場を借りて感謝お伝えします。 図