AWSも、プログラミングを機械学習で支援する「Amazon CodeWhisperer」プレビュー公開。コメントを書くとコードを提案
Amazon Web Services（AWS）は開催中のイベント「Amazon re:MARS 2022」で、機械学習を用いてプログラミングを支援する「Amazon CodeWhisperer」のプレビュー公開を発表しました。 Transform plain ol’ text into lines of code. Amazon CodeWhisperer uses #MachineLearning to generate code recommendations based on developers’ natural language comments & prior code—reducing app build time. AbraCODEabra, it’s #ML magic. https://t.co/kVaKk5HnxB #AWS pic.twitter.com/oRTD
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models
パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要と…
![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
フォレストワークショップ2023で行った招待講演の内容 ・honest treesとは？ ・Causal treesによる因果推論 ・Random forestの漸近正規性と、causal forestによる因果推論 ・Generalized random forestによる因果推論
「Facebook」「Instagram」「WhatsApp」を運営するMeta Platformsで人工知能（AI）担当のチーフサイエンティストを務めるYann LeCun氏は、この分野に携わる多くの人を困惑させることになりそうだ。 LeCun氏は6月、「Open Review」に投稿した論文で、機械に人間レベルの知能を持たせることが期待できると考えるアプローチについて概観を示した。 この論文で暗に主張しているのは、現在のAIに関する大規模なプロジェクトのほとんどは人間レベルという目標に決して到達できないという点だ。 LeCun氏は、9月に入って米ZDNetが実施した「Zoom」でのインタビューの際、現時点で最も成功しているディープラーニング（DL）の研究手法の多くを非常に懐疑的に見ていることを明らかにした。 コンピューター科学分野のノーベル賞に相当する「ACM A. M. チューリング
時系列モデル(ARIMA/Prophet/NNなど)を統一的なAPIで扱えるPythonライブラリ「Darts」がかなり便利 - フリーランチ食べたい
時系列モデルを扱う上でデファクトスタンダードになりそうなPythonライブラリが出てきました。 時系列モデルを扱うPythonライブラリは、 scikit-learn のようなデファクトスタンダードなものがありません。そのため時系列モデルを用いて実装を行うためには、様々なライブラリのAPIなどの仕様を理解しつつ、それに合わせてデータ整形を行い、評価する必要があり、これはなかなか辛い作業でした。 スイスの企業 Unit8 が今年(2020年)6月末に公開した Darts はまさにこういった課題を解決するライブラリです。時系列に関する様々なモデルを scikit-learn ベースのAPIで統一的に扱うことができます。 github.com Darts は現在、下記のモデルに対応しています。内側では statsmodels 、 Prophet(stan) 、 Pytorch などを使っていて、
GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
WebAssemblyでの機械学習モデルデプロイの動向
本記事はMLOps Advent Calendar 2020の 2 日目の記事です。 WebAssembly（Wasm）は機械学習モデルをデプロイする新たな手段になりうるでしょうか。 この記事では、機械学習モデル（特に Deep Learning）を Wasm でデプロイする周辺技術の動向や内部の仕組みをざっくりと説明します。 Table of Contents tkat0 です。WebAssembly(Wasm)面白いですね。 私も最近はyewでフロントエンドを書いて遊んでいます。Rust で React っぽいことできるのは新鮮で面白いです。 Wasm は、なんとなく速い JavaScript？とか機械学習で何に役立つの？とか思ってる方も多いと思います。 しかし、Wasm はブラウザでの推論時に使えるだけでなく、機械学習モデルのサービングやエッジデバイスでの推論にも使えると知ったら驚き
[1] 本サイトでは、「PyTorch 公式チュートリアル（英語版 version 1.8.0）」を日本語に翻訳してお届けします。 [2] 公式チュートリアルは、①解説ページ、②解説ページと同じ内容のGoogle Colaboratoryファイル、の2つから構成されています。 両者は基本的には同じ内容です。本サイトでは 「Google Colaboratoryファイル」で、チュートリアルの日本語訳を用意しております(未完成分は順次公開いたします)。 [3] 本サイトのチュートリアルの閲覧および実行は、Google Colaboratory環境を前提とします。 （本サイトのライセンスはこちらとなります） [4] 本サイトに掲載している、日本語チュートリアルをまとめて配置したGitHubはこちらとなります。 [0] 目次（table of contents） 日本語解説へ [1] テンソル（T
AIマップ
AI Map English Download AI Map Beta 2.0 English (Sep. 1, 2021) Read more » AIマップβ2.0 AI研究初学者と異分野研究者・実務者のための課題と技術の俯瞰図 AI（Artificial Intelligence）研究は拡大し、全体を俯瞰的に捉えることが難しくなっている。また、AI研究の成果を用いた多数のシステム（AIシステム）が実社会で活用され始めており、AIシステムとAI技術との対応も把握が難しくなっている。そこで、これから活躍するAI研究の初学者、およびAI活用を狙う異分野の研究者・実務者をターゲットとしたガイドとして、AIマップβ2.0を作成した。本AIマップβ2.0は、2019年に発刊したAIマップβの発展版であり、AI課題マップと、AI技術マップの2種から構成される。概要を以下に示す。 【AI課題マップ】
はじめに 最近、翻訳サービスをリリースしたりしてから、機械学習の勉強をどこでしたらいいのか聞かれることが増えました。 機械学習関連の知識は遷移が激しいので、書籍には限界があります。 ですので、その度に「twitterが一番勉強になる」と答えていました。 が、この回答は聞き手依存な無責任な回答な気もしたので、この際フォローすべき人をまとめておこうと思います。 時折機械学習系でない人も紛れているかもしれません。 とりあえず40アカウントおすすめするだけの記事なので、抜け漏れはあると思いますが、後日補完していこうと思います。 登場するアカウントには何の許可も取っていませんが、独断と偏見でアカウントの特徴をメモしていきます。 (メモとはいえ失礼のないよう書いたつもりです) 0. goto_yuta_ 私です。機械翻訳や、論文のまとめなどの話が多いです。自作の機械翻訳サービスの中身に触れたりします。
［速報］AWS、JupyterLab IDEベースの新サービス「SageMaker Studio Lab」無料提供を発表、ブラウザで機械学習を学び試せる。AWS re:Invent 2021
Amazon Web Services（AWS）は、機械学習の実行環境を提供する新サービス「SageMaker Studio Lab」を無料で提供すると、開催中のイベント「AWS re:Invent 2021」で発表しました。 SageMaker Studio Labは、機械学習の実行環境として広く使われているオープンソースのJupyterLab IDEをベースにした新サービスです。PythonやR言語などに対応しており、ターミナル機能やGitとの連携機能などを備えています。 AWSには、すでに「SageMaker Studio」がサービスとして存在していますが、今回発表された「SageMaker Studio Lab」は機械学習の教育を目的とし、機能の一部をサブセットとして取り出したものといえます。 インストールやセットアップなどは不要で、Webブラウザからすぐに利用可能な環境が立ち上が
Abstract Recent breakthroughs in text-to-image synthesis have been driven by diffusion models trained on billions of image-text pairs. Adapting this approach to 3D synthesis would require large-scale datasets of labeled 3D assets and efficient architectures for denoising 3D data, neither of which currently exist. In this work, we circumvent these limitations by using a pretrained 2D text-to-image
【自動運転】信号機認識に挑む / 走行画像15,000枚のアノテーションとYOLOXモデルによる深層学習実践
こんにちは。TURING株式会社でインターンをしている、東京大学学部3年の三輪と九州大学修士1年の岩政です。 TURINGは完全自動運転EVの開発・販売を目指すスタートアップです。私たちの所属する自動運転MLチームでは完全自動運転の実現のため、AIモデルの開発や走行データパイプラインの整備を行っています。 完全自動運転を目指すうえで避けて通れない課題の一つに信号機の認識があります。AIが信号機の表示を正しく理解することは、自動運転が手動運転よりも安全な運転を達成するために欠かせません。信号機を確実に認識したうえで、周囲の状況を総合的に判断して車体を制御し、安全かつ快適な走行を実現する必要があります。 TURINGでは信号機の認識に取り組むため、15,000枚規模のデータセットを準備し、高精度なモデルのための調査・研究を開始しました。この記事ではデータセットの内製とその背景にフォーカスしつつ
データマイニングや機械学習をやるときによく問題となる「リーケージ」を防ぐ方法について論じた論文「Leakage in Data Mining: Formulation, Detecting, and Avoidance」(Kaufman, Shachar, et al., ACM Transactions on Knowledge Discovery from Data (TKDD) 6.4 (2012): 1-21.)を解説します。 主な内容は以下のとおりです。 ・過去に起きたリーケージの事例の紹介 ・リーケージを防ぐための2つの考え方 ・リーケージの発見 ・リーケージの修正
概要 背景・目的 関連研究 提案手法 実験 アルゴリズムの説明 順位相関の確認 定量評価 定量評価の内訳 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションアイテムを特徴づけるための情報として、画像とテキストがある。これらは異なる情報を含んでいると考えられる。 類似のファッションアイテムを検索する場面で、画像とテキストの情報を両方活用することで、検索の精度を向上させることができると推測される。 類似のファッションアイテムを検索するタスクで、両方の情報を活用した提案手法の性能を評価し、片方の情報だけを活用するよりも、大幅に性能が改善することを確認した。 背景・目的 この記事は以下の記事の続編です。 tech.drobe.co.jp 以前の記事で、私たちはプロのスタイリストが作成した評価データセットを用いて、複数のアルゴリズムを類似商品検
Googleのエンジニアチームが、基本的な数理演算のみを使って最適な機械学習アルゴリズムを自動的に発見する人工知能(AI)「AutoML-Zero」を発表しました。 [2003.03384] AutoML-Zero: Evolving Machine Learning Algorithms From Scratch https://arxiv.org/abs/2003.03384 Artificial intelligence is evolving all by itself | Science | AAAS https://www.sciencemag.org/news/2020/04/artificial-intelligence-evolving-all-itself Google Engineers 'Mutate' AI to Make It Evolve Systems Fa
Looking for a way to add some fun to your texts? Just type in a word and get a suggested emoji that goes with it.
StableLMのファインチューニングってできるのかな？と調べたところ、GitHubのIssueで「モデル自体の性能がまだ良くないから、ファインチューニングの段階ではないよ」というコメントがありまして。 シートの中身を見てみるlm-evalシートstablelm-base-alpha-7bは54行目にありまして、確かに他の言語モデルと比較するとまだまだな性能のようです。応援したいですね。 シートの列の意味それぞれの列の意味については推定ですが以下の通りです。 RAM 言語モデルのGPUメモリ消費量。 lambada(ppl) LAMBADAデータセットによる測定値。ロングレンジの言語理解能力をテストする（文章全体を読まないと答えられないタスクでの評価）。PPLはPerplexityという指標で、モデルの予測の不確かさを示す。PPLが低いほど、モデルの予測精度が高い。 lambada(acc
ホクソエムサポーターの白井です。 今回は Matthew McAteer氏によるブログ記事Nitpicking Machine Learning Technical Debtの和訳を紹介します。 原著者の許可取得済みです。 Thank you! アメリカの国内ネタも含んでいて、日本語だと理解しにくい箇所もありますが、機械学習の技術的負債をどう対処していくかについて、とても役に立つ記事だと思います。 Nitpicking Machine Learning Technical Debt (機械学習の技術的負債の重箱の隅をつつく) イントロダクション Part1 技術的負債はあなたの予想以上に悪い Part2 機械学習の漠然とした性質 Part3 (通常の依存関係の頂上にある) データ依存関係 Part4 イライラさせるほど未定義なフィードバックループ 後編に続きます Nitpicking Ma
会議中にスマホを触る政治家を機械学習と画像認識で検出
会議の最中であるにもかかわらず、政治家が集中せずに手遊びしていたり居眠りしていたりする様子が中継に映り込むことがあります。これを、中継映像から機械学習と画像認識を用いて自動的に検出し、TwitterとInstagramのアカウントで映像付きで報告する仕組みが運用されています。 The Flemish Scrollers, 2021-2022 – Dries Depoorter https://driesdepoorter.be/theflemishscrollers/ Machine Learning Detects Distracted Politicians | Hackaday https://hackaday.com/2022/01/17/machine-learning-detects-distracted-politicians/ ベルギー人アーティストのドリス・ディポーター氏
はじめに TURINGの井ノ上です。TURINGは「We Overtake Tesla」をミッションに、完全自動運転EVの開発・製造を行っています。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指しています。現在、TURINGではカメラセンサから得た画像を用いて車体の操作や経路選択、安全性の判断を行えるAIモデルの開発を行っています。(実際の車を動かす事例はこちらの記事やこちらの記事をご覧ください。) この記事では私達が目標としているTeslaの自動運転のAIモデルについて紹介します。 Teslaの自動運転 こちらは2022年に公開されたTeslaの自動運転をユーザーが使っている動画です。 車の中央にあるディスプレイにはAIが道路や車を認識してどういった経路を進むかを示しており、その情報をもとに自動運転している様子があります。Teslaの自動運転の能力の
いま大会上位に位置するDeep Learning系の将棋AIは、評価関数として画像認識などでよく使われているResNetを用いている。ResNetについては機械学習を齧っている人ならば誰でも知ってるぐらい有名だと思うので、詳しい説明は割愛する。(ググれば詳しい説明がいくらでも出てくる) 囲碁AIの世界では、このResNetのブロック数を大きくしていくのが一つの潮流としてある。ブロック数が多いと言うことは、より層の数が増え(よりdeepになり)、1局面の評価に、より時間を要するようになるということである。それと引き換えに評価精度がアップするから、トータルでは得をしていて、棋力が向上するというわけである。 ところが大きいブロック数になればなるほど学習に要する教師局面の数が増える。学習もブロック数に応じた時間を要するようになるから、そう簡単に大きくはできない。しかし囲碁AIの方は、中国テンセント
AWS Docs GPT
AI-powered Search and Chat for AWS Documentation
はじめに こんにちは。ZOZO研究所のshikajiroです。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker, Flask, Terraform, Airflowなど様々な技術を活用しています。今回は私が担当した「近似最近傍探索Indexを作るワークフロー」のお話です。 corp.zozo.com 目次 はじめに 目次 画像検索の全体像説明 Workflow Develop Application 推論APIの流れ 近似最近傍探索とAnnoy 近似
機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行本（ソフトカバー） テスト駆動P
Top > 学術＆研究 > rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習
ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 ペパボ研究所では、新卒のエンジニア研修の一環として、2020年7月13日から5日間に渡って機械学習入門の研修を担当しました。 本エントリでは、研修内容をスライドと共に紹介します。 GMOペパボの新卒エンジニア研修における機械学習研修の位置付け GMOペパボの新卒エンジニア研修は、5月のGMOインターネットグループでの合同研修プログラム（GMO Tech Bootcamp）と、6〜7月のGMOペパボでの研修プログラムから構成されています。 6月以降の研修では、Webアプリケーション、フロントエンド、セキュリティ、コンテナとデプロイなど様々な技術要素についてプログラムが組まれており、今年から機械学習研修がこれに連なることになりました。 VP of Engineering 兼技術部長の @hsbt の言葉
こんにちは、株式会社ACESでインターンをしている篠田 (@shino__c) と申します。普段は博士課程の学生としてNLPの研究をしています。 ここ数ヶ月で ChatGPT に加えて GPT-4 等の大規模言語モデル (LLM) が次々とリリースされていますね。 ChatGPT (gpt-3.5-turbo) はAPIの使用料が安いことから、多くの人が気軽にLLMを使用できるようになり、AI、特にNLPを売りにしている多くの企業は技術的にどうやって競争優位性を築けばいいのか模索しているのではないでしょうか。 その問いに対する１つの答えになりそうなものに、Retriever というものがあります。 例えば、社内にある外部には出せない文書を元に顧客からの質問に答える質問応答のサービスを作りたい場合、ChatGPT のような LLM の訓練にはそのようなデータは使われていないため、prompt
原著：ペドロ・ドミンゴス 翻訳：神嶌 敏弘 イラスト：六七質 出版社：講談社 発行日：2021-04-21 ISBN：978-4062192231 本書は，ペドロ・ドミンゴス著『The Master Algorithm』の翻訳書で，近年の人工知能技術の進展を支える機械学習についての解説書です．機械学習とは，作業手順を明示的に指示しなくても，それをデータから学ぶ能力を計算機に与える技術です．この機械学習について，計算機科学や統計学の高度な知識を前提とせずに，その内側に踏み込んで仕組みを明らかにし，この技術の可能性と課題を論じています． 出版社ホームページ 版元ドットコム Googleブックス ネット書店：Amazon 楽天ブックス honto 紀伊國屋書店 電子書籍：Amazon 楽天ブックス honto 紀伊國屋書店 Apple 読書ログ： 読書メーター（電子版） ブクログ（電子版） 図書
t-SNE 解説 - Qiita
Visualizing Data using t-SNE をまとめます。 t-SNE とは SNE (Stochastic Neighbor Embedding) t-SNE (t-Distributed Stochastic Neighbor Embedding) 大規模データへの適用 t-SNE の弱点 t-SNE とは t-SNE は、次元圧縮の手法で、特に可視化に用いることを意図しています。 データの局所的な構造をうまく捉えることができるだけでなく、さまざまなスケールのクラスタなど、大域的な構造も保った可視化ができる点が特徴です。 SNE (Stochastic Neighbor Embedding) 最初に、t-SNE の基となる手法である SNE (Stochastic Neighbor Embedding) を紹介します。 SNE では、元の空間での点同士の近さが、圧縮後の点
AI開発の新たなパラダイム「基盤モデル」とは
さて、視覚・言語を扱う基盤モデルとしては、2021年の CLIP がブレイクスルーでした。CLIPはテキストと画像を同じ特徴空間に写像する2つのエンコーダからなります。CLIPを使うと、次のようにして任意の画像分類問題を追加の学習なしで解くことができます。まず、各候補クラスを文章の形式（例：「犬の写真」）にした後、テキストエンコーダに入力します。次に、分類したい画像を画像エンコーダに入力します。最後に、画像から得られたベクトルと候補クラスたちから得られた複数のベクトルとのコサイン類似度を計算し、最も類似度が高いクラスを出力結果とします。 CLIPによるゼロショット画像分類の方法。OpenAI Blogより引用 CLIPは画像とテキストというモードの異なる情報を意味的な近さによって結びつけることを可能にしました。CLIPを教師のようにして使うことで、テキストから画像を生成するモデルを訓練する
機械学習／ディープラーニングが無料で学べる、米国有名大学の「オンライン講座／講義動画」：AI・機械学習の独学リソース アメリカのスタンフォード大学／MIT／ハーバード大学／コロンビア大学／ニューヨーク大学といった有名大学の一部では機械学習や深層学習のオンライン講座／講義動画を無料で配信している。その概要と特長をまとめる。
複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした要約結果をClaude3 Sonnet
What Is ChatGPT Doing … and Why Does It Work?
What Is ChatGPT Doing … and Why Does It Work? February 14, 2023 It’s Just Adding One Word at a Time That ChatGPT can automatically generate something that reads even superficially like human-written text is remarkable, and unexpected. But how does it do it? And why does it work? My purpose here is to give a rough outline of what’s going on inside ChatGPT—and then to explore why it is that it can d
参考文献 今回、以下サイトを参考にさせていただき、また大変勉強させていただきました。感謝申し上げます。 SUUMO の中古物件情報を Tableau で分析してみる ～データ収集編～ SUUMO の中古物件情報を Tableau で分析してみる ～データ予測編～ 機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜スクレイピング編〜 オープンポータル （オープンデータ活用サイト、競売、人口、駅） 1.準備:パッケージインポートなど 1.1 Google Driveへのマウント、パッケージのインポート ここでは、Google CplaboratoryからGoogle Driveへファイル書き出し、読み込みをするための準備や、今回使うパッケージのインポートを行いました。また、後ほどデータ加工用の関数群も予め定義しておきます。 #ドライブ設定 PATH_GMOUNT='/content/
LLMで自動運転車を動かしてみた話｜aoshun7
こんにちは、自動運転EVをつくるTuring（チューリング）株式会社で共同創業者CTOをやっている青木俊介です。 先日Turingは噂のLLM（Large Language Model：大規模言語モデル）で自動運転車を動かすプロジェクトを完遂させました。 上の動画にもあるように、今回開発したデモではユーザ（乗客）が音声で指示を出すと、LLMが裏で動き、自動運転車がユーザの指示に従って動いてくれます。LLMで実際の自動車が動いたのは世界初な気がします。 もちろんこのシステムで公道を走るわけではないのですが、我々Turingの開発思想的には非常に重要なデモでした。 この記事では「なぜTuringがLLMで自動運転車を動かしたのか」「実際どんな風にLLMで自動運転車が動いているのか」「Turingの開発体制の今後」について書いていこうと思います。 1. LLMと自動運転とTuring「LLMで自
・ネットを巡回して、いろいろなハックしてる人のブログや論文を100個ぐらい読む。 ・親切なPFNの人にお時間もらって、謎だった部分や、自分なりにたてた仮説のコンセプトをきいてもらう。 ・Udemyがちょうどセールをしてたので、AI系のクラスを3万円分購入（総額20万円相当）。2倍速でざっくり見る。 …だいたいこんな感じの3週間。数学が難しすぎて、わからないこともいっぱい。ただ頭のなかでe4eエンコーダやpix2pix的に、概念モデルのエンコーダーを作れば、数式なしでもいける感はあった。 総論としてはAIは面白いですね、ロケットサイエンスと別の方向性で「言語化されてない職人芸のアート領域」があり、ここを抑えることができれば、最先端の発見や成果は色々とうまってそうという印象を受けました。 とりあえずStyleGan2で基礎勉強をしながら、BigGan、VQGanとProblematic Dif
速度の高みを目指す：高速な単語分割器 Vaporetto の技術解説 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Research でエンジニアをしている赤部 (@vbkaisetsu) です。 今回は、弊チームが開発した新しい高速な単語分割器 Vaporetto（ヴァポレット）の技術解説を行います。Vaporetto はプログラミング言語 Rust で開発されています。想定する読者は、 自然言語処理のアルゴリズムに興味がある人 Rust によるプログラミングに興味がある人 です。 単語分割器 Vaporetto はオープンソースソフトウェアであり、ソースコードは以下のリポジトリで公開しています。 https://github.com/legalforce-research/vaporetto Vaporetto という名前は、イタリアのヴェネツィアで運行されている水上バスから取りました。 ヴェネツィアの様子。写真右端の黄色いラインの入った建物がヴァポレットの乗り場。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Interpretable Machine Learning
ランダムフォレストによる因果推論と最近の展開
AIの第一人者ルカン氏、現在のアプローチの多くは真の知能につながらないと批判
PyTorchチュートリアル（日本語訳版）
【厳選】機械学習の学習におすすめのTwitterアカウント40選 - Qiita
DreamFusion: Text-to-3D using 2D Diffusion
（修正）機械学習デザインパターン（ML Design Patterns）の解説
（続）ファッションにおける類似商品検索アルゴリズムの性能評価 - DROBEプロダクト開発ブログ
Googleのエンジニアが人間がコーディングを行うよりも高速で自己進化するAI「AutoML-Zero」を発表
Words2Emoji - Translate Words To Emojis
大規模言語モデル間の性能比較まとめ｜mah_lab / 西見 公宏
【翻訳】機械学習の技術的負債の重箱の隅をつつく (前編) - 株式会社ホクソエムのブログ
Teslaはカメラを使ってどのように世界を認識しているか
誰もdlshogiには敵わなくなって将棋AIの世界が終わってしまった件 | やねうら王 公式サイト
近似最近傍探索Indexを作るワークフロー - ZOZO TECH BLOG
機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活
rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai
ペパボ研究所による新卒エンジニア向け機械学習研修 - ペパボ研究所ブログ
大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ
マスターアルゴリズム ー 世界を再構築する「究極の機械学習」
機械学習／ディープラーニングが無料で学べる、米国有名大学の「オンライン講座／講義動画」
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
GitHub の コード自動生成 AI「Copilot」の技術詳細を解説 【論文解説】
【Python】東京23区の中古マンション販売価格予測をやってみた - Qiita
いまさら勉強する人工知能｜深津 貴之 (fladdict)
note.com/harmonie_paix
x.com
www.newsweekjapan.jp
delishkitchen.tv
note.com/publishnote
news.yahoo.co.jp