効率的な教師データ作成(アノテーション)のための研究サーベイ - ABEJA Tech Blog
どうも緒方@conta_です。 みなさんAI頑張ってますか？ きっと昼はGPUサーバーを回して、夜は結果待ちでビールサーバーを回してる人が多いことでしょう。 機械学習を実際のプロダクトに活用する場合、自分が解きたいタスクがそのままオープンなデータセットで解決できることは少ないので、まず最初に課題となるのはデータセット作成です。 実際にカメラやセンサーを取り付けて収集したり、Webからクローリングしてきたり、事業会社であれば自社のデータセットに教師ラベルをつけることで新しいタスクに取り組むことが可能になるでしょう。 よく疑問になるポイントとして、データセットの量と質は、多ければ多いほど良く、高品質であれば高品質であるほど良いのですが教師データを作成するのは一苦労です。 ＊下記アノテーションの量や質について実験した結果がまとまってます tech-blog.abeja.asia もちろん少数デー
ハーバード大学など、画像内の物体を背景から分離する対話型画像セグメンテーションアルゴリズムを発表
ハーバード大学など、画像内の物体を背景から分離する対話型画像セグメンテーションアルゴリズムを発表 2019-04-24 ハーバード大学と高麗大学校による研究チームは、画像において物体を背景から分離する対話型画像セグメンテーションアルゴリズムを発表しました。 論文：Interactive Image Segmentation via Backpropagating Refinement Scheme 著者：Won-Dong Jang, Chang-Su Kim 所属：Harvard University Cambridge, MA, Korea UniversityRepublic of Korea 対話型画像セグメンテーションとは、ターゲットオブジェクト（または前景）を背景から分離するタスクです。タスク処理した画像データセットは、学習において活用されます。そのため、膨大な画像が必要な訓練用
IBMが100万人の顔データを収めた膨大なデータセットを「顔認識技術の公平性」を目指してリリース
IBM基礎研究所は2019年1月29日、「Diversity in Faces(DiF、顔の多様性)」と呼ばれるデータセットをリリースしました。このデータセットは顔認識技術の公平性と正確性の向上を目指して作られたもので、さまざまな性別や人種の人間の顔画像とその注釈がおよそ100万人分含まれているとのことです。 Diversity in Faces (PDFファイル)https://www.research.ibm.com/artificial-intelligence/trusted-ai/diversity-in-faces/documents/Diversity-in-Faces-Publication.pdf IBM Research Releases 'Diversity in Faces' Dataset to Advance Study of Fairness in Facia
STAIR Actions
A Large-Scale Video Dataset of Everyday Human Actions January 30, 2019: STAIR Actions v1.1 is released! STAIR Actions is a video dataset consisting of 100 everyday human action categories. Each category contains around 900 to 1800 trimmed video clips. Each clip lasts 5 to 6 seconds. Clips are taken from YouTube video or made by crowdsource workers.
より良い機械学習のためのアノテーションの機械学習 - ABEJA Tech Blog
ABEJAでリサーチャーをしている白川です。 皆さん、アノテーションしていますか？ 私はしています。アノテーション、自分でやるのは大変ですよね。 AIというとモデルの学習に注目されがちですが、もしかしたら、アノテーションはAI開発においてモデル開発以上に重要で注意の必要なプロセスかもしれません。今回はなぜアノテーションがそれほど重要なのか、良いアノテーションとはどのようなアノテーションなのかについて、機械学習的にアプローチしてみたいと思います。 アノテーションを機械学習で解析するの、楽しいですよ。 なお、本記事に関連して、2018年7月1日に開催されるccse2018というカンファレンスでもお話させていただく予定です。記事内では触れられなかった内容についてもお話させていただくかもしれないので、ご興味ある方はチェックしてみてください。 この記事を読むとわかること アノテーションはAIの開発・
株式会社ビズリーチAI室、HRテクノロジー領域における研究を加速 276万件の求人情報を基にしたHR領域の「単語ベクトル」を公開
株式会社ビズリーチAI室、HRテクノロジー領域における研究を加速 276万件の求人情報を基にしたHR領域の「単語ベクトル」を公開 株式会社ビズリーチ（所在地：東京都渋谷区/代表取締役社長：南 壮一郎 以下、ビズリーチ）は、ビズリーチAI室で利用しているHR領域に適した「単語ベクトル」を公開し、データセットの提供を開始します。 このたび公開するのは、2018年1月に、求人検索エンジン「スタンバイ」*1に掲載されていた、約276万件の求人情報（延べ約10億単語）から獲得した、「単語ベクトル」と呼ばれる言語研究用のデータです。公開する単語ベクトルは、求人情報に含まれる単語について、周辺の単語群との傾向を機械学習の技術を使って学習し、その特徴をword2vec*2と呼ばれる手法で数値化（ベクトル化）したものです。単語の特徴が数値化されることで自然言語処理の精度が向上し、さまざまな目的に利用できるよ
Google、音声認識システム訓練用データセットをオープンソースで提供
Googleが、クラウドソーシングで集めた6万5000件の短い英単語の音声録音のデータセット「Speech Commands Dataset」をオープンソースで公開した。Mozillaも年内の1万時間分のデータ公開を目指している。 米Googleは8月24日（現地時間）、音声認識機能搭載アプリ開発向けの基本的な音声命令のデータセット「Speech Commands Dataset」をオープンソースで公開したと発表した。公式ブログ内のリンクをクリックすると圧縮ファイルをダウンロードできる。 Speech Commands Datasetは、同社の機械学習ライブラリ「TensorFlow」を手掛けるチームと、人工知能（AI）向けハードウェアキット提供プロジェクト「AIY（Artificial Intelligence Yourself） Projects」チームが共同で開発したもの。 データは
DFAUST
Abstract While the ready availability of 3D scan data has influenced research throughout computer vision, less attention has focused on 4D data; that is 3D scans of moving non-rigid objects, captured over time. To be useful for vision research, such 4D scans need to be registered, or aligned, to a common topology. Consequently, extending mesh registration methods to 4D is important. Unfortunately,
ドイツの研究機関、60fpsで撮影した動きのある人の全身4Dスキャンデータセット「Dynamic FAUST」を論文にて公開。40,000個以上のメッシュを収集
ドイツの研究機関、60fpsで撮影した動きのある人の全身4Dスキャンデータセット「Dynamic FAUST」を論文にて公開。40,000個以上のメッシュを収集 2017-07-17 ドイツにある研究機関マックス・プランク研究所「Max Planck Institute for Intelligent Systems」は、60fpsで撮影した動きのある人物の高解像度4Dスキャンのデータセット「Dynamic FAUST」を論文にて公開しました。 Dynamic FAUST: Registering Human Bodies in Motion（PDF） Dynamic FAUSTは、10人の被験者（男性5人女性5人）から129の動的なパフォーマンスを全身キャプチャし、40,000個以上のメッシュを収集しました。 撮影には、被験者を囲むように22台のステレオカメラと22台のRGBカメラ、34
機械学習に使えるGoogle提供のデータセット
The Open Images Dataset9月にリリースされたこちら。 900万の画像URLが6000カテゴリに分かれて格納されています。 全て著作権フリーのCreative Commonsなので、 再利用も可能です。 カテゴリラベルは全て人力でつけられているので、 精度も高いです。 YouTube-8M Dataset読んで字のごとく800万のYouTubeビデオからコンパイルされています。 全てのビデオが1000回以上視聴されており、2分以上の長さがあります。 また、YouTube内のカテゴリにラベル付けされています。 利用形態も、オンライン、ダウンロード、オフラインで可能ですが、 このデータセットはTensorFlow Record File Formatのみで利用可能です。 他のフォームで試したい場合は各自で加工する必要があります。 Google Books Ngrams言葉が
MANGA109
このデータセット（以下，Manga109と称する）は，日本漫画のメディア処理の学術研究使用のために，東京大学 大学院情報理工学系研究科 電子情報学専攻 相澤・山崎・松井研究室によりとりまとめられました．Manga109は，日本のプロの漫画家によって描かれた109冊の漫画で構成されています． それらは，1970年代から2010年代に公開された漫画であり, 対象読者層やジャンルも幅広く網羅しています．（詳細はExploreの表をご参照ください）． 収録されている漫画のほとんどは，マンガ図書館Z（旧絶版漫画図書館）にて公開されています． Manga109は，非営利機関での学術利用に限るという条件で，実験や論文発表の研究利用の許諾を作者から得ています．さらに，109冊のうちの87冊について，あらたに営利機関での利用の許諾を得ました．これをManga109-sという名称で提供いたします．Manga1
COCO - Common Objects in Context
What is COCO? COCO is a new image recognition, segmentation, and captioning dataset. COCO has several features: Object segmentation Recognition in Context Multiple objects per image More than 300,000 images More than 2 Million instances 80 object categories 5 captions per image Keypoints on 100,000 people Tsung-Yi Lin Cornell Tech Genevieve Patterson MSR Matteo Ruggero Ronchi Caltech Yin Cui Corne
プロ声優を起用した音声合成用データ、無償公開 研究用途に期待
声優やアニメを研究するサークルの日本声優統計学会は6月26日、プロの声優を起用した音声データとテキストを含むデータベース「声優統計コーパス」をWebサイト上で公開した。音声合成ソフトの作成や言語研究などに使われるデータで、研究目的に限り無償で利用できるという。 公開したのは、プロの女性声優がさまざまな音の要素を含む文章（音素バランス文）を「通常」「喜び」「怒り」の感情別に読み上げたwavファイル。「また東寺のように五大明王と呼ばれる主要な明王の中央に配されることも多い」「カーミラ星と呼ばれている惑星から宇宙船に乗って地球に侵入した宇宙人」──などの文を読み上げている。 参加した声優は土谷麻貴さん（「喰霊-零-」「アルカナハート」など）、上村彩子さん（「エルドライブ」「惡の華」など）、藤東知夏さん（「けいおん！」「グッド・ドクター～禁断のカルテ～」など）。長さは計2時間、総ファイルサイズは7
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Food-101 -- Mining Discriminative Components with Random Forests
Food-101 – Mining Discriminative Components with Random Forests Lukas Bossard, Matthieu Guillaumin, Luc Van Gool In this paper we address the problem of automatically recognizing pictured dishes. To this end, we introduce a novel method to mine discriminative parts using Random Forests (RF), which allows us to mine for parts simultaneously for all classes and to share knowledge among them. To impr
画像判別タスク向けの自前データセットを作ってみた - Qiita
さまざまな機械学習フレームワークのサンプルには、殆どの場合画像認識のコードを含んでいます。それらで扱うデータセットは公開されているものを使うケースがほとんどです。 手書き文字認識のMNIST、10種類のカテゴリからなる画像CIFAR-10、大規模なデータセットのImageNetあたりがよく使われているようです。 自分でもデータさえ集められればそれなりの精度で画像分類はできるはずなので、実際にデータセットを作ってみました。 データソース Instagramに投稿された画像のうち、以下のキーワードで検索したものを対象としました。 ハンバーガー サンドイッチ ホットドッグ 餃子 シュウマイ 検索した結果の画像をクローリングして、目視で不適切と思われる画像を取り除きました。大体以下のような指針で実施しました。 ある程度の大きさで対象物が写っている 見切れすぎていない(8割ぐらい) 対象としている物
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://vcg.seas.harvard.edu/publications/interactive-image-segmentation-via-backpropagating-refinement-scheme/paper
機械学習向けCGデータの量産手法の検討
Small-NMT Task
長文日記