データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
オープンデータ取得先まとめ - Qiita
2018/1/1時点で利用可能な、オープンデータの主要取得先を記載します。 1. 世界中の国や都市の情報 EUとイギリス Public Data EU http://publicdata.eu Open Data Europe http://data.europa.eu/euodp/en/home UK Government Data https://data.gov.uk アフリカ Africa Open Data https://africaopendata.org Code for South Africa http://code4sa.org Code for Africa https://codeforafrica.org アジア Open Cities Project http://www.opencitiesproject.org Open Nepal http://data
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
日本の行政機関等が公開しているAPIについてのまとめ（2016年8月17日暫定版。随時更新） - Qiita
この記事は下記のURLにあるコミックマーケット90で頒布した同人誌と自分が管理するブログの記事を微修正し、転載したものです。 南関東開発機構 : 同人誌「日本の行政機関が公開中のAPIについて調べてみた本」を公開しました http://blog.livedoor.jp/south_kanto_dm/archives/52143201.html 南関東開発機構 : 日本の行政機関が公開中のAPIについてのまとめ（2016年8月17日暫定版） http://blog.livedoor.jp/south_kanto_dm/archives/52143463.html 前書き この記事の目的は、日本の行政機関等が公開しているAPIを紹介する事です。 日本の情報技術は他国と比較して、立ち遅れている部分があり、これを立て直すのが喫緊の課題であると言えます。 日本政府もこの問題に危機意識を持ち、先日、経
氷解！データ分析、機械学習手法ってたくさんあるけどいつどれを使えばよいのか - Qiita
たくさんいいねいただきありがとうございます。2016年の記事で古いのでいずれ全面改訂しようと思いますが、古さが目立つ箇所のみまずは訂正しました。 データ分析・機械学習の代表的な手法には何があるか 代表的な本、技術リスト、データサイエンティストの推奨ではデータ分析・機械学習手法はどんなものがリストアップされているか ここでは、統計学的検定、多変量解析、機械学習を分けていない 構造化データ（いわゆるテーブルデータ）のみ対象とし、画像、自然言語処理、マーケティングの専門的な分析等は対象外 補足を下記に 代表的な手法と紹介のされ具合 分析手法 『Rによるデータサイエンス-データ解析の基礎から最新手法まで』 『はじめてのパターン認識』 データサイエンティスト協会スキルチェックリスト 「デジタルガレージCDOから学ぶ！マーケターのための実践・データ分析入門～事例紹介を通じて5つの手法をマスター～」 デ
Deep Learning の次は、TDA 「トポロジカル・データ・アナリシス」 (Topological data analysis) が来る ? ～ その概要と、R言語 / Python言語 実装ライブラリ をちらっと調べてみた - Qiita
人工知能やデータ解析の領域で、膨大な量のデータから、物体概念（物体識別）や音声・体の運動スキーマ概念を自動的・自律的に獲得できる可能性をもった手法として、Deep Learning（ディープ・ラーニング、「深層学習」）と総称される手法が注目を集めています。 こうした中、一部の研究者やベンチャー企業の経営者・エンジニアの中には、このDeep Learningのさらに先をいくデータ解析手法として、TDA：トポロジカル・データ・アナリシス (Topological data analysis) と呼ばれる手法に着目している方たちがいるようです。 Deep Learningと同じく、人間が脳を使って、五感で得た周囲や自分の体についての感覚情報から、どのようにして周囲の環境空間に対する認識イメージや、物体概念、みずからの身体概念を得ているのか？という「問い」に対して、統計学や確率論のアプローチではな
米Yahoo！が年齢・性別・居住地域など13TB超の巨大データを機械学習用に無償提供開始 - GIGAZINE
By Bob Mical 人工知能を実現する技術の1つである機械学習は、数多くのデータを解析することで一定の規則やパターンを抽出してアルゴリズムの生成を行います。その学習段階で与えられるデータは数が多いほど学習の精度が高まるとも言えるわけですが、個人はもちろん、研究機関においても質と量をクリアするデータを確保することは難しいもの。そんな機械学習に活用できる巨大データセットの提供開始をアメリカのYahoo！が発表したのですが、そのデータは1000億件を超えるという超巨大なものになっているようです。 Yahoo Releases the Largest-ever Machine Learning... | Yahoo Labs http://yahoolabs.tumblr.com/post/137281912191/yahoo-releases-the-largest-ever-machin
暗号化したままビッグデータ解析できる技術が誕生 より安全で効率的な解析が可能に
暗号化したままデータを分類できる解析技術を開発した、と14日情報通信研究機構が発表した。個人情報などの機微な情報を安全に効率よく分類することが可能になる、と期待されている。 大量のデータを解析して価値ある情報を引き出し、新しいサービスなどをつくり出すビッグデータが、内外の関心を集めている。この際、データに含まれるプライバシー情報の漏れを防ぐ対策が不可欠となり、暗号化したまま簡単に解析できる技術開発が待たれている。 情報通信研究機構は、既に100年以上もの長期間、安全にデータを扱うことを可能とする準同型(じゅんどうけい)暗号技術を開発している。この技術を用いてデータをあらかじめ暗号化しておき、膨大なデータからコンピュータを用いた分析により有用な情報を引き出すデータマイニングが、理論的には可能だ。しかし、膨大な時間を要するため、現実的には大量のデータを処理することは困難だった。
Gimei·日本人の名前、住所をダミーで生成 MOONGIFT
ダミーデータを作るのは意外と面倒で、つい“ああああ”などとしてしまったり、同じ文字を繰り返してしまったりします。しかしそれでは実際にありそうな文字数が分かりづらかったり、雰囲気として本物っぽさが感じられません。 そこで使いたいのがGimeiです。偽名、偽の住所などを生成してくれるライブラリです。 Gimeiの使い方 GimeiはRubygemでインストールできます。 gem install gimei 例えば男性を作る場合は以下のようにします。 gimei = Gimei.male gimei.male? #=> true gimei.female? #=> false gimei.kanji #=> "小林 顕士" もちろん実行する度に結果は変わります。 > gimei = Gimei.male => #< gimei::name:0x007fd2cb35b4c0 @gender=:ma
Googleがジャーナリストの活動をサポートするサイト「Google News Lab」を開設、各種ツールの解説・提供を開始
Googleは「世界中の情報を体系化し、誰でも入手可能で使いやすいものにする」ことを自らのミッション(使命)としてさまざまなサービスを展開しているわけですが、新たに報道機関やジャーナリストが世界上の情報を入手するためのサポートを目的にGoogleのさまざまなサービスやソフトウェアを紹介・提供するサイト「Google News Lab」を公開しました。サイトでは、既存のGoogleのアプリやサービスの中でジャーナリズムに役立つものが 「Research」「Report」「Distribute」「Optimize」の4つに分けて解説されています。 Google News Lab https://newslab.withgoogle.com/ Official Google Blog: Introducing the News Lab http://googleblog.blogspot.ie/
ブラウザ内で50万件のテーブルもサクサクで表示できるようにする「Clusterize.js」:phpspot開発日誌
Clusterize.js ブラウザ内で50万件のテーブルもサクサクで表示できるようにする「Clusterize.js」 ブラウザ内のDOMに５０万件を読むといくら高速なブラウザでもハングしたりしそうですが、こちらを使えば問題なく50万件のデータも読み込んで表示が出来ます DOM構造を50万件作るのではなく、スクロールに応じてDOM内を書き換えているのがその仕組のようです。 大量のデータをブラウザ上で一気に表示したい場合に便利そうです 関連エントリ 高機能＆高速なテーブル実装jQueryプラグイン「WATable」 テーブルをGoogle Chartsを使って多様なグラフに変換することが出来る「Chartinator」 HTMLテーブルを JSON、XML、PNG、CSV、PDFなどあらゆる形式に変換できる「HTML table Export」 レスポンシブに要素を消さずに変形するテーブル
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
AWS News Blog
Join AWS Hybrid Cloud & Edge Day to Learn How to Deploy Your Applications in the Everywhere Cloud In his keynote of AWS re:Invent 2021, Dr. Werner Vogels shared the insight of how “the everywhere cloud” is bringing AWS to new locales through AWS hardware and services and spotlighted it as one of his tech predictions for 2022 and beyond in his blog post. “What we will see in 2022, and even more […]
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
オープンデータ流通基盤 LinkData.org による�行政と市民の協業促進
2014年11月21日に開催された人工知能学会合同研究会2014（http://www.ai-gakkai.or.jp/sigconf/）インタラクティブ情報アクセスと可視化マイニング研究会における招待講演の発表資料です。 要旨： 日本におけるオープンデータを加速させるには，行政からのトップダウンだけではなく，民間からのボトムアップも支援する必要がある．LinkData.orgは生命科学分野のデータベース統合において培われた技術を広く社会へ応用するために開発されたプラットフォームであり，地方自治体や民間の団体・個人がデータを公開し，利活用する場を提供してきた．今後は本プラットフォームを用いて，データ作成を支援できる専門家（市民データスチュワード）が自治体の一次オープンデータを機械可読性の高いデータに変換して公開する市民活動を推進できるように支援することで，自治体のリソース不足をオープンデー
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
Countries - Open Data Index
Number of countries 70 Number of datasets 700 Number of open datasets 85 Percentage open 12% The Open Data Index is an initiative of the Open Knowledge Foundation based on contributions from open data advocates and experts around the world. You can see a list of our global community of contributors here.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - Qiita
インターネット白書ARCHIVES
市場規模トレンド