Turing株式会社の自動運転MLチームでインターンをしている東京大学学部4年の中村です。 Turingでは完全自動運転EV実現のために、End-to-End(E2E)な自動運転モデルの開発を行っています。E2Eモデルを実現するためには、特定のタスクに特化したモデルを利用したオートラベリングを活用するなど、従来のタスク特化型モデルが必要になることがあります。 今回は、タスク特化なモデルのうち、 昼も夜も高い精度（IoU 0.5 確率閾値 40% で AP 96.0% AR 95.0%） 黄色信号や矢印信号といった比較的頻度の少ない信号機まで認識可能 自レーンの信号機を選択的に認識 といった特徴を持つ信号機認識モデルを作成しました。また、これに伴って自社内で総計4.4万枚に及ぶデータセットの作成も行いました。データセットの作成から、モデルの学習、評価をこの記事で紹介していこうと思います。 信

この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っているのでしょうか。 Turingでは1年以上前から自動運転における複雑な文脈理解には自然言語が必要であると主張してきました。今年の7月にはLLMで実際の車を動かしてみるプロジェクトをデモとして公開しました。このデモ

はじめに Turing株式会社 UXチームでインターンをしている東京大学3年の勝見とエンジニアの佐々木(@kento_sasaki1) です。 UXチームでは、Androidを採用して独自のIVI (車載インフォテイメント) の開発を行なっています。本記事では、AOSP (Android Open Source Project) の枠組みで車両と接続するのに肝となるVHAL (Vehicle Hardware Abstraction Layer) とCar APIについて概説し、Androidと自動車を接続する方法について紹介します。なお、本記事はAOSPのソースコード (Android12.1.0 rivision11) を適宜参照しながらご覧ください。 概要図：Android Automotive OSは車載ECUとCANプロトコルで情報を送受信する Android Automotiv

はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル（LLM）に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 今回の記事は2023年7月に開催されたABCI LLMハッカソンで取り組んだときに開発していたGIT-LLMというモデルの開発について解説する記事となっています。途中のコードの解説部分などは少し退屈に感じるかもしれませんので、その場合はぜひ結果のパートだけでも見てみてください。いろい

はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shiboutyoshoku) です。 Turingが目指す自動運転は、大量のデータで学習された非常に賢い機械学習モデルを活用することです。そのために、走行パートナーの方たちと協力して創業時からこれまで大量の走行データを取得してきました。走行データは車両に取り付けられた複数カメラによる360度をカバーした動画と、そのときの速度やGPSなどの走行ログを含んでいます。データサイズは80TBを超え、時間換算で3500時間程度です。 これだけのデータサイズでモデルを学習するためには、1枚のGPUだけで頑張るには限界があり複数のGPU (multi-GPU) による分散並列学習が必要となってきます。しかし、ただ分散並列学習を行うだけではmulti-GPUに対し、データの入出力 (I

Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 の藤井(@okoge_kaz)です。 大規模モデルへの注目の高さを肌で感じる今日このごろですが、事前学習の知見については依然として十分に共有されているとは言い難いと個人的に感じています。 Turing株式会社では、次世代の自動運転技術を支える技術の1つとして大規模言語モデルに注目しており、独自に研究開発を行っています。今回は大規模言語モデルを学習する際、用いるライブラリ候補の１つに上がるであろうGPT-NeoXについて解説します。 以下で環境構築方法、学習を行う方法などについて詳しく解説します。 GPT-NeoXとは EleutherAIが管理しているNIDIA/Megatron-LM ベースの大規模言語モデル(Large Language Model: LLM)を学習するためのライブラリです。 Mi

こんにちは、自動運転EVをつくるTuring（チューリング）株式会社で共同創業者CTOをやっている青木俊介です。 先日Turingは噂のLLM（Large Language Model：大規模言語モデル）で自動運転車を動かすプロジェクトを完遂させました。 上の動画にもあるように、今回開発したデモではユーザ（乗客）が音声で指示を出すと、LLMが裏で動き、自動運転車がユーザの指示に従って動いてくれます。LLMで実際の自動車が動いたのは世界初な気がします。 もちろんこのシステムで公道を走るわけではないのですが、我々Turingの開発思想的には非常に重要なデモでした。 この記事では「なぜTuringがLLMで自動運転車を動かしたのか」「実際どんな風にLLMで自動運転車が動いているのか」「Turingの開発体制の今後」について書いていこうと思います。 1. LLMと自動運転とTuring「LLMで自

はじめに Pythonは世界的にも人気のあるプログラミング言語ですが、実行速度については課題があります。Pythonの実行速度を高速化したい、という要求は根強く、これまでにも様々なツールや処理系が開発されています。 この記事ではMITの研究者らが開発したPythonを高速化するツール「Codon」について紹介します。 この記事を3行でまとめると： 高性能で簡単に扱えるPythonコンパイラ「Codon」 Pythonとの互換性がありながら、CやC++に匹敵する高速化を実現 実際にPythonコードが100倍速くなることを検証 Codonとは Codonは高性能なPythonコンパイラです。実行時のオーバーヘッドなしにPythonコードをネイティブなマシンコードにコンパイルし、シングルスレッドで10-100倍以上の高速化が実現できます。Codonの開発はGithub上で行われており、2021

こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ

こんにちは。Turingの機械学習チームでエンジニアをしている塩塚です。 Turingは「We Overtake Tesla」を合言葉に、完全自動運転EVの開発・販売を目指しているスタートアップです。TuringではAIの強力さとそのさらなる成長を信じ、AIベースの自動運転システムを開発しています。 AIベースで自動運転を開発している会社はいくつかありますが、例えば米国の電気自動車メーカーTeslaはその代表的な会社の一つです。Teslaはカメラを主たるセンサーとして採用し、AIによって走行経路などを決定しています。詳しい内容は、Tesla AI Day 2021というイベントの内容を弊社のエンジニアがまとめているのでぜひ見てみてください。 一方、私たちはTeslaだけでなく、Apolloという中国企業にも大きく注目しています。 Apolloは、中国の巨大IT企業Baidu傘下の会社で、自

この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第3回の記事「詳解V4L2 (video for linux2)」です。 第1回の「C++でOpenCV完全入門！」、第2回の「OpenCVをNPPにした結果→10倍高速に！」もぜひご覧ください！ はじめに こんにちは。TURING株式会社（以下、TURING）で、インターンをしている東大B3の中村です。 TURINGは、完全自動運転EVを作ることを目的に設立されたベンチャー企業です。自動運転システムとそれを搭載したEV車の開発を行っています。 TURINGの自動運転システムは、カメラからの映像入力を肝としています。これまではOpenCVを入力のインターフェイスとして利用していました。OpenCVを使用していたのは、 buildや使用法についての情報が多い コードが簡単に

この記事は「自動運転システムをエッジデバイスに組み込むための技術」を3回に分けて紹介するTURINGのテックブログ連載の第1回の記事「C++でOpenCV完全入門！」です。 第2回の「OpenCVをNPPにした結果→10倍高速に！」、第3回の「詳解V4L2 (video for linux 2)」もぜひご覧ください！ はじめに こんにちは。完全自動運転EVを開発するベンチャー企業、TURING株式会社でインターンをしている東大工学部3年の井上信多郎です。 我々人類は、車を運転するにあたって多くの情報を目から取り入れています。目から取り入れた情報を元に、アクセル・ブレーキ・ハンドルを操作しています。 自動運転の場合、その目に相当するセンサがカメラであり、カメラから得た情報を元に車を運転することになります。カメラから得る情報とは、ずばり画像です。画像の中から信号、標識、前方車両などの必要なもの

こんにちは。TURING株式会社でインターンをしている、東京大学学部3年の三輪と九州大学修士1年の岩政です。 TURINGは完全自動運転EVの開発・販売を目指すスタートアップです。私たちの所属する自動運転MLチームでは完全自動運転の実現のため、AIモデルの開発や走行データパイプラインの整備を行っています。 完全自動運転を目指すうえで避けて通れない課題の一つに信号機の認識があります。AIが信号機の表示を正しく理解することは、自動運転が手動運転よりも安全な運転を達成するために欠かせません。信号機を確実に認識したうえで、周囲の状況を総合的に判断して車体を制御し、安全かつ快適な走行を実現する必要があります。 TURINGでは信号機の認識に取り組むため、15,000枚規模のデータセットを準備し、高精度なモデルのための調査・研究を開始しました。この記事ではデータセットの内製とその背景にフォーカスしつつ

尿酸値が高いと言われたことはありますか？尿酸値は薬で下げられますが、痛風予防のために薬を使うべき範囲は長年議論されています。米国内科学会から、痛風発作が起こった人にも尿酸値を下げる薬は勧めないとする推奨が出されました。 この記事で紹介したのはある意味急進的な意見なので、読んでびっくりした人もいたようですが、中にはTwitterやFacebookで詳しい解説を添えて拡散してくれた有名な医師もいました。世の中で十分に知られていないことを広める、それも怪しい情報ではなく信頼できる情報と思ってもらうという目標に少し近付けたかなと思える反響でした。手探りで1年半ほどやってきて、徐々に感触がつかめてきたように思います。 なぜメドレーに？メドレーに入る前は職を転々としていました。大学を出てすぐの2年弱は完全にフリーターとして年収100万円あまりで生活していました。お金がなかったので100円ショップの3玉

◆年収36,000円あれ？桁おかしくない？？目を疑ったあなたに、そんなあなたに、わかりやすく表現致しましょう。 年収三万六千円です。 年収三万六千円。これが私、吉田晃之が齢25の時の人生での最低年収でした。（25歳のときは、既に物心付いていたことを記憶しております。） この年収36,000円から今現在、医療系ITベンチャーで先頭を走る『メドレー』に入社し、トップセールス（※元お笑い芸人出身の中で）に至るまでの7つのステップを、まず最初にご紹介したいと思います。 ①キヤノン株式会社 ②学習塾の採点 ③高級老人ホーム ④スナックのボーイ ⑤漫画喫茶 ⑥ゴルフショップ店員 ⑦お笑い芸人 少し変なのが混じっていますがご安心ください。これは今まで私が経験した職種です。これらの職種をすべて経験することによりトップセールス（※元お笑い芸人出身の中で）になれる訳です。とても簡単なステップだと思いませんか？

みなさん、こんにちは。株式会社メドレーでエンジニアをやっている平木です。ネットなどでは大体Layzieという名前で活動しています。 現在は、オンライン診療サービスである「CLINICS」の担当をしています。11月でちょうど入社して1年経ちました。ついでに入社してから40歳を迎えました。入社した瞬間から社内の平均年齢を引き上げています。 前回の入社ブログのインパクトが強すぎるので、とてもつらみがありますが自分がメドレーに入社した理由について書いていこうと思います。 メドレーに入社する前自分はもともとはWeb業界とは全然別の業界で働いていて、20代の頃はパソコンは使えるけどプログラミングはしたことありませんでした。Web業界に転職したのは31歳の時なので、エンジニア歴はここ10年くらいです。 この業界に入ってからは、まず受託の制作会社を数社経験しました。ディレクターやったり、マークアップエンジ

メドレー広報担当の阿部です。 メドレーは社員の2割弱が医療関係者という企業のため、たわいのない日常会話のなかで今まで知らなかった医療の最新事情を知ることがしばしば。 この1週間で阿部が遭遇した驚きを、勝手に「週刊メドレー」にまとめてお知らせします。 今週のトピックスはこちら！ 11/14は世界糖尿病デー Yahoo!ニュースのトップにメドレーが登場！ 代表・豊田がNewsPickのプロピッカーに就任 医師もGitを操る、メドレーの開発体制とは？ MEDLEYニュース編集長のイチオシ 11/14は世界糖尿病デー 厚生労働省の発表によると、日本の糖尿病患者数は316万6,000人もいるんですね。 これは高血圧（1010万人）、歯肉炎及び歯周疾患（332万人）についで3番目に多い人数なのですが、実際には病院に行っていない潜在的な糖尿病患者はその数倍いるとも言われています。 多くの人に関係のある糖

飲食店向け予約台帳アプリを手がける「トレタ」CTOの増井雄一郎さんが「今、気になる人」に直撃する連載。今回は、医療介護の求人サイトをはじめ、オンライン病気事典や通院システムなどを手がける「メドレー」取締役CTOの平山宗介さんが登場です。 メドレーは2016年2月、オンライン上で医療機関の予約から診療、会計までを行えるシステム「CLINICS」をリリース。昨年夏に遠隔診療が事実上解禁されたことを受け、すでに130以上の医療機関が導入しています。 社内にはエンジニアと医師が混在し、CLINICSをはじめとするプロダクトを共同開発。エンジニアは医療書を読んで現場を理解し、医師はコードを学び、GitHubを使ってプロジェクトを進めています。 言わば「IT×医療」という異業種の掛け合わせを、どのように実現しているのでしょうか。 今まで「オンライン診療」が成立しなかった理由 増井：平山さん、本日はよろ

Googleのエバンジェリストをやめてメドレーに入社した僕が6つに割れたバキバキの腹筋を手に入れるまでに実行した7つのステップ どうも、みなさんこんにちは。 メドレーの田中と申します。遠隔診療ソリューション「CLINICS」のマーケティング統括責任者をしています。写真を見ていただくとなんとなくお察しのとおり、周囲の方々から、 「筋肉、もしくはドヤ顔が気になって、あいつが何を言っているのか内容が全然頭に入ってこない。」というフィードバックを受けることがたまにありますが、心配には及びません。想定の範囲内です。僕は、今年の5月までGoogleの法人向け部門でクラウドサービスのエバンジェリストとして年100回を超えるセミナーに登壇していたのですが、今は離れた場所にいる医師と患者をパソコンやスマートフォンなどでつなぎ、ビデオチャットで診療を行う「遠隔診療」を世の中に普及させるべく日々奮闘しています。