Hugging FaceのDatasets： 自然言語処理のデータセット提供サイト
英語ではあるが、詳細な説明は要らないだろう。簡単に概説しておくと、右側にはダウンロード数順で人気のデータセットが一覧表示されている。 キーワード検索できるだけでなく、左側の［Task Categories］（タスクのカテゴリー：問題種別の大まかな大分類）／［Tasks］（タスク：より具体的な問題種別）／［Languages］（言語）／［Multilinguality］（多言語性）／［Sizes］（データサイズ）／［Licenses］（ライセンス）でフィルタリングできる。 機械学習の際に「どのデータセットを使えばよいか」を悩むことはよくあると思うが、このランキング表示は非常に参考になるのではないだろうか。 各データセットのページ内容 図1のデータセット名（例えばwikitext）をクリックしてページを開くと、図2のように表示される。 これも直観的に把握できると思うので、細かな説明は不要だと思
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノートJavaScriptd3.jsデータ分析データサイエンスcolaboratory CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZn
人間参加型（human-in-the-loop）機械学習とは？
The requested URL was rejected. Please consult with your administrator. Your support ID is: 11431019930562623858
総務省 ICTスキル総合習得プログラム
このウェブサイトでは、ICT（情報通信技術）に関する教材の「総務省 ICTスキル総合習得プログラム」をオープンデータとして提供します。「総務省 ICTスキル総合習得プログラム」は、各5講座から成る4つのコース（[1]データ収集、[2]データ蓄積、[3]データ分析、[4]オープンデータ・ビッグデータ利活用事例）によって構成され、ICTに関する基礎知識・基礎技術を学ぶことができます。 個々人の自学自習および学校・企業・コミュニティでの授業・勉強会にて、ご活用ください。 総務省 ICTスキル総合習得プログラム このウェブサイトでは、2017年度における総務省の事業として開発された「総務省 ICTスキル総合習得プログラム」に関して説明し、成果に関するファイルを提供します。このウェブページでは事業の成果であるIアイCシーTティー（Information and Communication Techn
arXivTimes/datasets/README.md at master · arXivTimes/arXivTimes
MNIST 言わずと知れた手書き文字のデータ CIFAR-10 言わずと知れた10クラス(airplane, automobileなど)にラベル付された画像集。CIFAR-100というより詳細なラベル付けがされたものもある The Oxford-IIIT Pet Dataset CIFAR-10と同様、ラベル付きのデータ。その名の通り動物系 Fashion-MNIST ファッション画像のMNIST、を表したデータセット。クラス数はMNISTと同様10クラスで、画像は28x28(グレースケール)、学習：評価データ数は60,000：10,000。 MNISTは簡単すぎる、濫用されているといった問題を克服するという側面も意識されている。 iMaterialist Challenge on fashion 100万点をこえるファッション画像のデータセット。8グループ228のラベルがアノテーションさ
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
国の統計を自由にグラフ化！総務省の「統計ダッシュボード」を使いこなそう
マーケターのみなさんにとって人口や地域ごとの住宅着工数のような社会のデータを調査する機会は多いでしょう。 しかし、自分でデータを探し、Excelに落とし込んでグラフを作成する作業は手間がかかります。「明日の会議のために急にデータが必要になった」という切羽詰まった状況を経験したことがある人もいるかもしれません。 そんな方にとって必見なのが、2017年5月に総務省が公開した*『統計ダッシュボード』*です。 今回は、統計ダッシュボードの使い方を解説します。 統計ダッシュボードは国勢調査や経済センサスで得ている5,000ものデータをもとに構成されており、知りたい項目を選択するだけで自由にグラフを作成できます。 商用利用も可能なので、社内資料だけでなく、顧客向けの資料でも活用できるでしょう。 参考： [「統計ダッシュボード」の提供開始｜総務省] (http://www.soumu.go.jp/men
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
2. Copyright Shiroyagi Corporation. All rights reserved. 自己紹介 堅田 洋資 (データサイエンティスト＠白ヤギコーポレーション ) 日本では数少ない米国大学のデータサイエンス修士号を保有。 白ヤギコーポレーションにて、社内のデータはもちろんクライアントのデータ分析を 支援するコンサルタントとして活躍。 これまで機械学習を用いたレコメンデーション、アプリユーザーの行動分析や機械 学習を用いたプッシュ通知の最適化、交通系IoTのデータ分析などを担当。 白ヤギコーポレーション参画前は、監査法人トーマツにてデータ分析コンサルタン ト、生体センサスタートアップでサービス・アルゴリズム開発の取締役、KPMG FAS にて事業再生コンサルタント、外資系メーカーでの経理・マーケティングなど幅広い 経験を持つ。 学歴 ● University of
データビジュアライゼーション・ツール20選 – lab.sugimototatsuo.com
この記事はThe top 20 data visualisation toolsの原著者許諾済みの日本語訳です。 By Brian Suda on September 17, 2012 Translated by Tatsuo Sugimoto 2014年4月28日更新：オリジナル記事が以前のサイトから移転したため発生していた画像の非表示に対応しました。 わたしがもっともよくきかれる質問のひとつが、データビジュアライゼーションを始める方法についてです。このブログの先へ進むには、練習し、さらに実践し、利用できるツールを理解する必要があります。この記事では、シンプルなチャートから複雑なグラフ、地図、インフォグラフィックスまで、ビジュアライゼーションを作成するための20種類のツールを紹介しようとおもいます。ほとんどのツールは無料で利用でき、そのうちいくつかはすでにインストール済みかもしれません。
Webアプリの開発で面倒な作業を一発解消してくれる無料Webサービス9選！ - paiza times
どうも、まさとらん（@0310lan）です。 みなさんは、Webアプリの開発にトライしたことはありますか？ いざ、コードを書き始めるとちょっとしたことで悩んだり、簡単に思っていた処理が意外と面倒であったり、データベース操作が難しかったり…など、予想以上に困難な場面に直面することが多いと思います。 そこで今回は、初級者から上級者まで幅広い開発シーンを想定し、面倒な作業を解消して便利に活用できる無料Webサービスを厳選してみましたので、ご紹介しようと思います！ 目次 ・悩みがちな「関数」や「変数」の名前を日本語で一発変換！ ・Eメール認証の判定を自動化する！ ・多彩な「情報リソース」を無料でゲット！ ・わずか数行で画像要素をInstagram風のオシャレ写真に変換！ ・任意のWebサイトURLから自動で「スクショ」をゲット！ ・超お手軽にソースコードをシェア＆レビューする！ ・Googleスプ
提案書や企画書づくりが驚くほど捗る！無料で入手出来る統計データ総まとめ。
プロジェクトを開始する前に、市場調査などで統計データを分析し仮説をたてる事は重要ですが、それらの調査対象が世界規模、全国規模になるとコストが掛かりすぎて（特に個人や中小企業の場合）現実的ではありません。 そこで活用したいのが国や団体、民間企業が公開している無料の統計データです。今日はそんなマーケティング担当者ならきっと必見の情報公開を行なっているサイトをご紹介します。 1. 総務省統計局 総務省統計局では様々な統計データが入手可能です。 国税調査 人口推計 労働力調査 小売物価統計調査 土地統計調査 このようなデータはPDF版が一般的ですがExcel形式でダウンロードできるのも魅力ですね。その他にも以下URLより数多くの統計データが入手できます。 また、統計局ではメール配信サービスも行なっています。興味のある方は登録をおすすめします。 www.stat.go.jp 2. 法務省 法務省でも
フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する
はじめに Hadoopを使って大規模データを蓄積し分析するのは、もはや当たり前になってきた昨今ですが、大規模データ分析の環境を試すのは、なかなか難しいというのが現状です。確かに、Hadoop単体やSQLエンジン単体なら、Amazon EMRやGoogle BigQueryなどを使うことで体験することは可能でしょう。しかし、大規模データの分析基盤では以下のようなことを行っていく必要があります。 RDBMSからデータをHadoopにインポートする SQLを使って、大規模データを高速に分析する アクセスログなどの大量の非構造化データを分析する 大量のデータに対し、リコメンドに利用するための高度な分析処理を行う 大量のデータを全文検索できるようにする これらすべてを試す環境を構築するのは、たとえクラウド環境を使ったとしても困難です。また、（検証環境としては）意外と高額な費用がかかってしまい、永続化
ダミーのJSONデータを自動生成してくれるサイト「JSON GENERATOR」 | ライフハッカー・ジャパン
「JSON GENERATOR」はダミーのJSONデータを自動生成してくれるサイトです。JSONでテストデータを作りたいときに便利です。たとえばダミーの名前や電話番号、住所などの情報を自分で考えるのは面倒です。このサイトを使えば、作成したいJSONの形式を指定するだけで、ランダムな情報を自動生成してくれます。 以下に使ってみた様子を載せておきます。まずJSON GENERATORへアクセスしましょう。左側が自分が作成したいJSONデータの形式です。キーは指定しておき、値にどんな情報が欲しいか入力しておきます。 右側が自動生成されたダミーのJSONです。値にランダムな情報が入力されていますね。キーさえ指定しておけばあとは自動的に対応する値をいれてくれるのは非常に助かります。ぜひJSONでダミーデータを作成したいときにご活用ください。 JSON GENERATOR （カメきち）
【保存版】企画書に使いたい統計データが見つかる、調査レポートサイト厳選9個+α | Find Job ! Startup
企画書には、市場規模・ユーザーニーズの裏付け等を説明するために調査データは入れたいところ。 ただ、資料作成で焦っている時ほど、検索しても良い情報が見つかりませんよね。そんな時は、今回ご紹介するサイトの中を覗いてみて下さい。スタートアップが投資家の方など社外向けに資料を作る時に、必ずや役に立つデータが見つかるはずです。 目次 【1】政府機関でデータを公開しているサイト（×2サイト） 【2】リサーチ会社の公開調査を横断的に探せるサイト（×3サイト） 【3】公開調査を見れる調査機関のサイト（×4サイト） 【4】自主調査の結果を公開しているリサーチ会社のサイト（+α） 【1】政府機関でデータを公開しているサイト １．総務省統計局 総務省統計局のサイトでは、「国勢調査」「人口推計」から、「家計消費状況調査」「サービス産業動向調査」など様々な国内統計データが無料で閲覧できます。統計データ一覧はこち
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人間参加型（human-in-the-loop）機械学習とは？
Google、データセット検索をロンチ
https://jp.techcrunch.com/2014/07/09/20140707general-harmonics-is-basically-pied-piper-from-silicon-valley/
あなたの知らないグーグルのツール集
統計くん - 国勢調査を簡単にCSV化できる無料Webサービス
https://jp.techcrunch.com/2013/06/14/20130613twitter-opens-up-tweet-performance-analytics-to-all-for-free/