Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
統計局ホームページ/日本の長期統計系列
「日本の長期統計系列」は，我が国の国土，人口，経済，社会，文化等広範な分野にわたる統計の中から，主要なものを収集・整理し，明治初期からの長期にわたる時系列データを総合的，体系的に収録したものです。 各章に収録した統計データは，我が国の官公庁を始め，民間調査機関などが実施又は作成している統計調査，業務統計及び加工統計等から基本的な統計を選択し，編集しています。 また，各章の冒頭には，統計体系・沿革を始め，各統計調査などの解説を掲載しています。さらに，ご利用の便に供するため，「ジェンダー」及び「IT」関連の統計について，各章から当該統計表を選定し，「特定分野」として再編成し，収録しています。 なお，平成24年3月までは不定期で更新しておりましたが，3月以降は更新作業を行っておりません。 ページの先頭へ戻る
JAXA | 世界最高水準の全世界標高データ（30m版）の無償公開について
宇宙航空研究開発機構（JAXA）は、陸域観測技術衛星「だいち」（ALOS）による観測画像を用いて整備した、全世界の陸地の起伏を水平方向30mの細かさで表現できる標高データセット（30mメッシュ版）の無償公開を開始します。今回、日本を含む東アジア、東南アジア域から公開を開始し、順次、全世界の陸地（緯度82度以内）に拡大する予定です。（別紙1.参照） 今回、公開するデータセットは、全世界規模で整備される標高データセットとして現時点で世界最高精度を持つ「全世界デジタル3D地形データ」（別紙3.参照）の標高データセット（5mメッシュ版）をベースとして作成しており、30mメッシュ版としての高さ精度も世界最高水準です。本データセットは、科学研究分野や教育、地理空間情報を活用した民間サービス等での利用が期待されています。（別紙2.参照）
MNIST handwritten digit database, Yann LeCun and Corinna Cortes
The MNIST database of handwritten digits, available from this page, has a training set of 60,000 examples, and a test set of 10,000 examples. It is a subset of a larger set available from NIST. The digits have been size-normalized and centered in a fixed-size image. It is a good database for people who want to try learning techniques and pattern recognition methods on real-world data while spendin
Google Public Data Explorer
The Google Public Data Explorer makes large datasets easy to explore, visualize and communicate. As the charts and maps animate over time, the changes in the world become easier to understand. You don't have to be a data expert to navigate between different views, make your own comparisons, and share your findings.
Common Crawl - Open Repository of Web Crawl Data
Common Crawl maintains a free, open repository of web crawl data that can be used by anyone.Common Crawl is a 501(c)(3) non–profit founded in 2007. We make wholesale extraction, transformation and analysis of open web data accessible to researchers.Overview Over 250 billion pages spanning 15 years.Free and open corpus since 2007.Cited in over 10,000 research papers.3–5 billion new pages added ea
ニコニコ動画のデータセットが公開されたらしい - 唯物是真 @Scaled_Wurm
研究用にニコニコ動画のコメント約300GBを公開‐ニコニコインフォ 情報学研究データリポジトリ ニコニコ動画コメント等データ 国立情報学研究所のダウンロードサービスでニコ動のデータセットが公開されていたので、とりあえずダウンロードしてみました ダウンロードの手順 以下のページで、名前、メールアドレス、所属を入力すればよいみたいです。 情報学研究データリポジトリ ニコニコ動画コメント等データ 申請 データの形式 行ごとにそれぞれの動画のjsonが書かれたファイルがたくさんあります。 コメントのデータもありますが、ユーザーに関する情報はないみたいです 動画の説明などには<b></b>や<font></font>、<br />などのHTMLタグが含まれていましたので、それらの除去が必要になりそうです タグの頻度 なんか面白いことできないかなーと考えたんですが、何も思い浮かばなかったので、とりあえ
Find open data - data.gov.uk
Find data published by central government, local authorities and public bodies to help you build products and services Business and economy Small businesses, industry, imports, exports and trade Crime and justice Courts, police, prison, offenders, borders and immigration Defence Armed forces, health and safety, search and rescue Education Students, training, qualifications and the National Curricu
Data.gov Home - Data.gov
An official website of the United States government Here's how you know The .gov means it's official. Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you're on a federal government site. The site is secure. The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted sec
Opinion Mining, Sentiment Analysis, Opinion Extraction
Opinion Mining, Sentiment Analysis, and Opinion Spam Detection Feature-Based Opinion Mining and Summarization (or Aspect-Based Sentiment Analysis and Summarization) Detecting Fake Reviews New Book: Sentiment Analysis: mining opinions, sentiments, and emotions. Cambridge University Press, 2015. Book: Sentiment Analysis and Opinion Mining (Introduction and Survey), Morgan & Claypool, May 2012. See "
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
Page view statistics for Wikimedia projects
(For up-to-date information (outages, ...) about this dataset, please consult the dataset's wiki page.) Pagecount files per year 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 What are the page view statistics files and what do they contain? Each request of a page, whether for editing or reading, whether a "special page" such as a log of actions generated on the fly, or an article from Wikipedi
Open Data Sponsorship Program | AWS
The Amazon Web Services (AWS) Open Data Sponsorship Program covers the cost of storage for publicly available high-value cloud-optimized datasets. We work with data providers who seek to: Democratize access to data by making it available for analysis on AWS Develop new cloud-native techniques, formats, and tools that lower the cost of working with data Encourage the development of communities that
DataSet - 機械学習の「朱鷺の杜Wiki」
テスト用データ集合† アルゴリズムの比較検証に利用できるテスト用データについてまとめましょう． ID は ibis でパスワードは VC 次元の V のフルスペルです(頭だけ大文字)
大規模画像データセット - n_hidekeyの日記
最近は画像認識・検索で用いられるデータセットも大規模化が進んでいます。 いくつか代表的なものや最近見つけたものをまとめてみます。 （ここでの目安は、教師つきデータは10万枚以上、教師なしデータは100万枚以上のもの） ImageNet http://www.image-net.org/ 自然言語処理の分野で有名なWordNetのオントロジーに従って、各単語（今のところ名詞のみ）に対応する画像を収集したものです。Amazon Mechanical Turk を利用し、質の高いデータセットを構築するように工夫されています。日々データは蓄積・更新されており、2012年1月現在、約1400万枚の画像データ（2万2千カテゴリ）が集まっているようです。 アノテーションは基本的に1画像1カテゴリで、一部の画像には物体の位置を示すbounding boxもついています。カテゴリによっては十分な数の画像がな
livedoor Techブログ : livedoor グルメの DataSet を公開
櫛井です。 以前 livedoor clip のデータを学術研究用に公開しましたが，おかげさまで，たまに発表等で livedoor clip という名前が引用されているのを見かけるようにもなり感慨深い限りです。 さて，今回は第二弾としまして，livedoor グルメのデータをまとめてダウンロード & 利用可能にしようと思います。 今回はいろいろと余裕がなかったため 豪華なイラスト付きページが用意できませんでした livedoor clip のデータとは違い，定期アップデートはされません。2011年4月22日の時点のデータのみとなります ...が，なにかしら皆様の研究のお役に立てればと思います。 よくありそうな質問と答え ライブドアグルメのユーザですが，自分の個人情報が公開されちゃうってこと？困ります！ 公開されるのは，もともとライブドアグルメのサイトで誰でも見れるようになっている情報だけで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Dataset Search
価格.com - テレビ紹介情報 ［テレビ番組で紹介されたお店や商品の情報］
http://liu.cs.uic.edu/download/data/
クローリングしてる暇があるなら…論文かいたら? | EDGE Datasets(研究用データセット)
