ポルノや斬首画像をタグ付けし続け、月給2万円…「AI」機械学習の闇 | アマゾンやマイクロソフトから受注するインド企業に潜入取材
プラダンは大腸内部のポリープや、ガン化するかもしれない小さな新生物を探す。ぬらりとして赤く腫れたニキビにも似た突起物を発見すると、マウスを動かし、キーボードを叩いて、デジタルの輪を描画してマークした。 プラダンは医学を学んでいるわけではなく、「AI（人工知能）」の学習システムに関わっている。ゆくゆくは医師の仕事も、彼女が開発に“貢献”したAIに取って代わられるかもしれない。 AI「学習」の内幕 プラダンは、この小さなオフィスビルの4階で働く数十人の若いインド人男女のひとりだ。彼らはデスクの前にずらりと並び、ありとあらゆるデジタル画像のアノテーション（AIの学習向けにデータを紐付けること）をおこなう。 街頭写真に写りこんだ停止標識に歩行者、衛星写真の工場、石油タンカーに至るまでを正確に特定する。 大半のテック業界関係者が「世界の未来の姿」だと話すAIは「機械学習」と呼ばれる開発手法のおかげで
はじめに 2019年もあと少しで終わりです。 皆様、いかがお過ごしでしょうか。 年末といえば、紅白、ガキ使、そろそろ仕事にも慣れてきた頃にやらかしてしまった入社2年目社員のQiita記事 がつきものですね。 本記事では、今年の夏にアノテーション作業になめてかかり心が壊れた2年目社員(＝私)の記録を紹介したいと思います。 ※本記事はやめ太郎氏リスペクトでお送りします！ 第0章 チュートリアル ～アノテーションとは～ 皆さんは機械学習におけるアノテーションをご存じでしょうか。 教師あり学習において、モデルの作成には教師データが必要不可欠です。 例えば、画像から犬と猫を判別するようなモデルを作成するには犬と猫の画像を学習させる必要があります。 このとき、学習させる画像に「これはイッヌ」「これはネッコ」という風にタグをつけます。 この作業のことをアノテーションといいます。 一般的に、質の高いモデル
【自動運転】信号機認識に挑む / 走行画像15,000枚のアノテーションとYOLOXモデルによる深層学習実践
こんにちは。TURING株式会社でインターンをしている、東京大学学部3年の三輪と九州大学修士1年の岩政です。 TURINGは完全自動運転EVの開発・販売を目指すスタートアップです。私たちの所属する自動運転MLチームでは完全自動運転の実現のため、AIモデルの開発や走行データパイプラインの整備を行っています。 完全自動運転を目指すうえで避けて通れない課題の一つに信号機の認識があります。AIが信号機の表示を正しく理解することは、自動運転が手動運転よりも安全な運転を達成するために欠かせません。信号機を確実に認識したうえで、周囲の状況を総合的に判断して車体を制御し、安全かつ快適な走行を実現する必要があります。 TURINGでは信号機の認識に取り組むため、15,000枚規模のデータセットを準備し、高精度なモデルのための調査・研究を開始しました。この記事ではデータセットの内製とその背景にフォーカスしつつ
DeNAのマシンラーニングをささえるアノテーションシステム | BLOG - DeNA Engineering
この記事では、DeNAでのコンピュータービジョン関連の機械学習のためのデータ生成処理方法について説明します。 主に、内製のアノテーションシステム「Nota」の開発とそのシステムと全体のMLワークフローに統合する方法について取り上げます。現在のソリューションに到達するため、私たちが行ったいくつかの決断、および解決しなければならなかった課題について説明します。 はじめまして、アラマ・ジョナタンです。現在DeNAのシステム本部で、分析推進部ソリューションエンジニアリンググループとAIシステム部MLエンジニアリンググループを兼務しているメンバーです。小さいチームでデータ関連の課題を解決するためのアプリケーションやツールの開発と運用をしています。 正確なデータを取得する問題 近年、AIには多くの進歩があり、それらの多くはコンピュータビジョンに関連しています。コンピュータは画像や動画にある内容を理解で
どうも緒方@conta_です。 みなさんAI頑張ってますか？ きっと昼はGPUサーバーを回して、夜は結果待ちでビールサーバーを回してる人が多いことでしょう。 機械学習を実際のプロダクトに活用する場合、自分が解きたいタスクがそのままオープンなデータセットで解決できることは少ないので、まず最初に課題となるのはデータセット作成です。 実際にカメラやセンサーを取り付けて収集したり、Webからクローリングしてきたり、事業会社であれば自社のデータセットに教師ラベルをつけることで新しいタスクに取り組むことが可能になるでしょう。 よく疑問になるポイントとして、データセットの量と質は、多ければ多いほど良く、高品質であれば高品質であるほど良いのですが教師データを作成するのは一苦労です。 ＊下記アノテーションの量や質について実験した結果がまとまってます tech-blog.abeja.asia もちろん少数デー
専門家とクラウドワーカーによって行われたラベリング作業と、GPT-4を用いたラベリング作業を比較したところ、GPT-4の作業内容はクラウドワーカーの平均的な作業内容よりも専門家の作業内容に近いものだったことがわかりました。GPT-4に任せることで節約可能な時間は2万時間、節約可能なコストは50万ドル(約6620万円)に上ります。しかし、この事実はクラウドワーキングの先行きが厳しいことも示唆しています。 [2304.03279] Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark https://doi.org/10.48550/arXiv.2304.03279 GPT-4 Outperforms Eli
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 スイスのチューリッヒ大学に所属する研究者らが発表した論文「ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks」は、機械学習向け大規模データセットを作成するためのラベル付け作業（アノテーション）において、ChatGPTと人ではどちらがパフォーマンスが良いかを検証した研究報告である。 多くの機械学習モデルでは、学習やテストを行うために高品質なラベル付きデータを必要とする。科学の進歩のため、研究者が特定分野の大規模なラベル付きデータセットを作成して公開する。あとの研究者らは、このデータセット
こんにちは、TURING株式会社（チューリング）でインターンをしている、東大大学院修士一年の舘野です。 TURINGは完全自動運転EVを開発しているベンチャー企業です。 完全自動運転を実現するには、車の周りの環境をセンシングし認識するシステムが不可欠です。センシングのためのセンサーは様々考えられますが、TURINGでは主にカメラを用いています。 自動運転AIにはカメラデータから信号機・標識・周囲の車、などの情報を読み取る必要がありますが、そのためにはそれぞれの目的に対応した学習が必要です。 一番単純な方法は、学習させる各動画フレームに対して人間が信号機・標識・周囲の車などの正解情報を付与し、AIモデルが動画を見て正解情報を予測できるようにすることです。下図は、画像から車を検出するモデルの例です。モデルの中身は画像の特徴量を抽出する部分と、分類を行う部分を分けて表現していますが、学習時は元デ
共立出版さまより『Human-in-the-Loop 機械学習』をご恵贈いただきました。一通り読み終えたので感想を共有します。 映り込みが激しくて写真を撮るのが難しいことで有名な表紙 本書は機械学習モデルを訓練するためのデータを人間がどのように用意するかという問題を扱っています。本書の前半では能動学習というラベル付けデータの選び方の技法が、本書の後半では人間が付けたラベルの管理方法やラベル付けのための適切なインターフェースが紹介されています。 機械学習におけるデータをいかに作るかということは私自身とても注目している領域です。『Active Learning from the Web（能動学習を使ってウェブから機械学習データを収集する）』という論文を書いたこともありますし、PDF 翻訳サービスの Readable では能動学習に基づいたアノテーションを実際に行っています。そのため本書は非常に
画像素材サイト「PIXTA」などを運営するピクスタは、画像にアノテーション（画像を説明する情報）を付与する専門部署を立ち上げたと発表した。背景には、機械学習案件での売り上げは1年で3倍に拡大した経緯があるという。 画像素材サイト「PIXTA」などを運営するピクスタは1月19日、画像にアノテーション（画像を説明する情報）を付与する専門部署を立ち上げたと発表した。海外開発拠点のPIXTA VIETNAMと連携し発足する。背景には、機械学習案件での売り上げが1年で3倍に拡大したいきさつがあるという。 同社ではこれまでも機械学習用素材として画像データの提供を行っていた。アノテーション付き画像も以前から提供していたが、提携企業に付与を依頼していたという。ピクスタ内で専門部門を発足したことにより、条件によっては従来の半分の期間での納品や約6～7割のコスト抑制が可能になるとしている。 付与できるアノテー
これは GO Inc. Advent Calendar 2023 の 12 日目の記事です。 私 kzykmyzw は GO 株式会社でコンピュータビジョンに関する研究開発から実装までを担当しており、本記事もコンピュータビジョンに関連しますが、会社での業務とは無関係です。あまり専門的に深い話はしませんが、ある程度知識のある方を対象としていますのでコンピュータビジョンに関する一般的な用語は解説せずに使います。 はじめに 2023 年の 9 月頃に画像認識が可能な GPT-4V(ision) が ChatGPT 経由で使えるようになり、2023 年 11 月 6 日に行われた Open AI DevDay で API 経由でも使えるようになったことが発表されました。主な使い方はやはり画像を自然言語で説明させることかと思いますが、普段は物体検出やセマンティックセグメンテーション（以下セマセグ）と
FastLabel - 最高品質の教師データを。
アノテーションツール、教師データ作成サービス、MLOps構築を包括したオールインワンソリューション。独自のAIシステムによりデータ品質99.7%を実現するアノテーションサービスで、画像・動画・音声データ収集も対応可能。国内に拠点を置き、データのセキュリティリスクを低減。
Top > 学術＆研究 > Stability AIが「Stable Video 3D」を発表 単一画像から「回しても形が崩れない」3Dビデオ生成を実現
近年、AI・人工知能の技術は急速に進歩しており、さまざまな業界でAIを導入するケースが見受けられます。実際、AIを活用したサービスを利用する方や、実際に業務でAIを活用する方も増えてきていることでしょう。 そんなAI領域ですが、専門用語も数多く存在しているため、正しく理解した上でAIを使いこなしていくには専門用語の理解が欠かせません。そこで今回は、AIを理解する上で重要な「アノテーション」について詳しく解説するとともに、アノテーションを行うツールをご紹介していきますので、ぜひ参考にしてみてください。 アノテーションについて詳しく知りたい方は以下の記事もご覧ください。 アノテーションとは？AI機械学習に欠かせない作業の種類を解説 アノテーションのサービス比較と企業一覧を見る アノテーションとはどんな意味？ アノテーションとは、音声や画像、テキストといったさまざまな形態のデータに対し、関連する
AIは教師データの収集とアノテーションが大変 こんにちは、AIやってますか！？（唐突な問いかけ） AIの中でも、ディープラーニングの画像認識といえば、大変なのは教師データを集めることとアノテーションですね。 数千枚の画像に対して、例えばルールを変えてアノテーションのやり直しとか、セマンティックセグメンテーションのアノテーションとか地獄ですよね（想像です）。 なんとかこの教師データの収集とアノテーションを自動化するのが人類の夢なのではないかと思います。ただ、これは卵が先か鶏が先かの話なのでとても難しいです。今回は、Unityを使って、この教師データ生成をなんとか自動化できないかというトライアルになります。 既に先行事例に加えて、Unityさんが丁寧なチュートリアルを出していますので、今回はそれに沿って実践していく形になります。 ブログにも記事を書いていますので、よろしければこちらも合わせて参
はじめまして，インターンの中村です。今回は，アノテーションコストを抑えつつも，高性能な機械学習モデルを学習するための手法である能動学習 (Active Learning) について，その自然言語処理における研究例を紹介したいと思います。特に，自然言語処理において，大量のラベルありデータを集めることが難しく，必要最低限のアノテーションで高性能なモデルを効率的に学習したいといった方にぜひ一読をお勧めしたい内容となっています。 はじめに 深層学習の課題 Active Learningとは Active Learningの概要 1. ラベルなしデータの選択方法 2. ラベルなしデータの抽出基準 自然言語処理における Active Learning テキスト分類における Active Learning 事前学習済みモデル以前の Active learning 事前学習済みモデルを使った Active
AI活用のボトルネックはデータの整備 AIの利用が拡大している。B2C（Business to Consumer）領域でメガプラットフォーマーが提供するサービスだけでなく、B2B（Business to Business）領域のビジネスITにおいてもAIの採用が増えている。 その一因に、企業が保存しているデータの増加がある。特に、IoTセンサーやWeb接続できるカメラなど、日々蓄積される非構造化されたデータは、人間が確認できる容量をはるかに超えている。そこでAIを使ってそのデータを活用したいと考える企業が増えているからだ。 しかし、データをAIで分析するためには準備が必要である。AIが判別できるように、データに「ラベル付け」を行わなければいけない。この作業を「アノテーション」というが、ここに膨大な時間が費やされているという。 その課題解決に目を付け、2020年に創業した企業がFastLab
データアナリティクス事業本部の鈴木です。 教師あり学習で画像の物体認識を行う際には、一般的には以下の情報が必要になります。 画像 アノテーションデータ（どこになんの物体が写っているかなど） 公開されているデータセットでは、アノテーションデータがすでに準備されていることも多いですが、新しい問題に取り組む際には、基本的には自分でアノテーションを付ける必要があります。 今回は画像にアノテーションデータとしてバウンディングボックスを付けるために、Computer Vision Annotation Tool (以降、CVAT)を調べたのでご紹介します。 CVATとは インテルで開発されている、コンピュータビジョンアルゴリズム用のラベリングツールです。 MITライセンスで配布されており、ソースコードはGitHubで公開されています。 ウェブベースのツールで、Dockerでサーバーを起動し、Googl
近年は、さまざまな業界でAI・人工知能が導入され始めており、私たちにとって身近な存在となりつつあります。しかし、多くの人がAIに関する知識を多く備えているかといえば、決してそうではないでしょう。むしろ、「AIについては何となく理解しているけど、その詳細や専門用語などはよく知らない」という方のほうが多いのではないでしょうか。 より正しくAIを活用していくためには、最低限の知識が必要不可欠です。そこで今回は、AIの領域において特に耳にする機会が多い「アノテーション」について詳しくご紹介していきます。 教師データについて詳しく知りたい方は以下の記事もご覧ください。 AIの精度向上に欠かせない教師データの作成方法とは？ アノテーションのサービス比較と企業一覧 ■アノテーションとは？ アノテーション（英語；annotation）とは、「注釈」という意味です。また、「注意を与える」という意味を持つ言葉
【物体検出】アノテーションツールVoTTの使い方
こんばんはエンジニアの眠れない夜です。 アノテーションとは、あるデータに対して関連する情報（メタデータ）を注釈として付与することをいいます。 物体検出ではこのアノテーションを教師データとして利用します。アノテーションを作成できるアプリケーションはたくさんあります。 その中でも今回はVoTTというアノテーションツールの紹介です。 この記事の設定例は「【物体検出】keras-yolo3の学習方法」で利用できるものにしています。 【物体検出】keras−yolo3で独自データセットの学習方法 アノテーションツールVoTT（Visual Object Tagging Tool）とは VoTT（Visual Object Tagging Tool）というアプリケーションがおすすめです。 このアプリケーションはマイクロソフトによって開発されています。 個人的にはマクロソフトってWindowsとオフィス
APTO社とAMBL社は両社で作成した、AI学習させるためのマスクを着用した顔の画像データ3,000枚データセットを期間限定で無償提供しました。 このAIニュースのポイント APTO社とAMBL社がマスク着用顔の画像アノテーションデータ3000枚を無償配布 AMBL社の技術でAPTO社の顔画像データにマスクを疑似着用させた画像を生成 データ作成アプリ「harbest」でマスク画像の印象アノテーションの結果も公開 株式会社APTOとAMBL株式会社は両社で作成した、AI学習させるためのマスクを着用した顔の画像データ3,000枚データセットを期間限定で無償提供しました。 過去にAPTOが無償提供していた顔画像データに、AMBLの技術で「マスクを疑似着用」させた画像のデータセットを作成しました。また、マスクの有無でどのような印象差分が生じるのかについてAPTOが運営するデータ作成アプリ「harB
DX雑誌「AI教師データ作成のキーポイント」 ～AI開発の必要不可欠なアノテーション作業のコツを注目企業5社からご紹介～ | DXを推進するAIポータルメディア「AIsmiley」
AIポータルメディア「AIsmiley」は、AIを開発する際に必要不可欠なアノテーションの事例やユースケースを紹介したDX雑誌「AI教師データ作成のキーポイント」を公開致しました。 AI の開発会社では、自社のエンジニアがアノテーション作業を行っていることも多くあります。 しかし、高い技術力を持つエンジニアが単純作業に時間を割くのは得策ではありません。手作業でのアノテーションは膨大な時間と手間が必要なため、アノテーションサービスを利用し自動化することが重要です。 今回、本誌では、実績のある AI 企業 5社が画像データのアノテーションをメインにアノテーション作業のコツを踏まえながら事例やユースケースを紹介していきます。 アノテーションとは？ アノテーション（annotation）とは、「注釈」という意味の英語です。要するに「注意を与える」という意味を持つ言葉なのですが、ビジネスシーンにおい
マイクロソフトがLobeというツールを公開しました。 このツールを使うことでとても簡単に画像分類の機械学習モデルを作ることができます。 Lobeの画像分類には「ResNet-50 V2」と「MobileNetV2」の２つのmodelを使用することができます。 それぞれのmodelには特徴があり目的や実行環境に合わせて使い分ける必要があります。 ResNet-50 V2を使用すると高い予測精度を達成できますが、予測時間が長くなりより多くのメモリが使用されます。 MobileNetV2は予測速度が速く、メモリ使用量は少ないですが、予測精度は高くありません。 ある程度のマシンパワーがある環境で高い精度が必要なときはResNet-50 V2を使用し、 スマホやRaspberry PiなどではMobileNetV2を使用することになると思います。 どちらのmodelを使用しても転移学習を用いることで
Using Amazon SageMaker with Point Clouds: Part 1- Ground Truth for 3D labeling | Amazon Web Services
We will train our detector to specifically detect cars since that’s the most common class in our dataset (32616 of the 42816 total objects in the dataset are labeled as cars). Solution overview In this series, we cover how to visualize and label your data with Amazon SageMaker Ground Truth and demonstrate how to use this data in an Amazon SageMaker training job to create an object detection model,
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
完全感覚アノテーションで心が壊れた話 - Qiita
効率的な教師データ作成(アノテーション)のための研究サーベイ - ABEJA Tech Blog
GPT-4はラベリングのタスクにおいて人間のエリート並の力を発揮し2万時間と6000万円以上を節約してくれる
ChatGPTはクラウドワーカーより優秀か データのラベル付け作業で検証 結果は？
脱・人力アノテーション！自己教師あり学習による事前学習手法と自動運転への応用
『Human-in-the-Loop 機械学習』 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
機械学習案件の売り上げが3倍に 画像素材サイト「PIXTA」がアノテーション部門設立
GPT-4V と Segment Anything で楽々アノテーション
Stability AIが「Stable Video 3D」を発表 単一画像から「回しても形が崩れない」3Dビデオ生成を実現 | Ledge.ai
AIアノテーションツール20選を比較！タグ付け自動化ツールの選び方
Unityでディープラーニング学習用の教師データを大量に生成する方法
自然言語処理における Active Learning - ELYZA Tech Blog
水とお酒をどう見分ける？ AIプロジェクトの成否を分ける、アノテーションの重要性を有識者に聞いた
CVATでバウンディングボックスをアノテーションしてみる | DevelopersIO
アノテーションとは？AI機械学習に欠かせない作業の種類を解説
3,000枚のマスク着用顔画像をAI開発向けにAPTOが無償提供
マイクロソフトが公開した機械学習モデルの訓練を容易にできる「Lobe」を試してみた。 - Qiita