機械学習に必須の「きれいなデータ」を用意するために 『現場で使える！pandasデータ前処理入門』発売
CodeZineを運営する翔泳社では、4月20日（月）に『現場で使える！pandasデータ前処理入門』を発売しました。本書では機械学習やデータサイエンスにおいて欠かせない「データ前処理」をPythonのライブラリ「pandas」で行う手法について解説。作業に必要な「きれいなデータ」をできるだけ効率よく用意してしまいましょう。 『現場で使える！pandasデータ前処理入門 機械学習・データサイエンスで役立つ前処理手法 』は、機械学習やデータサイエンスに欠かせない「きれいなデータ」を作る手法を解説した入門書です。 本書では機械学習で人気のPythonを用い、データ前処理においてもはや必須と言われるライブラリ「pandas」の使い方を説明します。データを活用するにしても、収集された生のデータは欠損値や外れ値などが混ざっておりそのままでは利用できません。このデータを前処理していかに利用しやすい形に
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
予約導線をささえるPython製バックエンドをLuigi+pandas+Scrapyで作ったハナシ - Qiita
この記事は Retty Advent Calendar 2017 24日目です. 昨日は@udoooom さんの 「カワイイはつくれる」 でした. Rettyのサーバサイドエンジニア兼魚料理担当のnakagawa(@shinyorke)ともうします. 好きな魚料理は「青魚の南蛮漬け」1,趣味は野球のデータ分析です.2 気がつけばRetty Advent Calendar 2017三回目の登場です,今日もPythonのハナシで吟じます,よろしくお願いします テーマ「Pythonでのバックエンド開発」 一言で言うと, Pythonでバックエンド（バッチ処理）をオールインワンで作った時のノウハウとなります. 他社様のサービスとデータ連携する基盤をPython + Docker + AWS ECSで作った＆運用している（今年から） Pythonライブラリ（Jupyter notebook, req
【python】iris(アヤメ)のデータセットをpandasとseabornを使って可視化する
こんにちは．けんゆー（@kenyu0501_)です． サポートベクターマシンなどの機械学習を試してみたいと思ったときには，Scikit-learnのデータセットを使ってみるのは楽で良い方法だと思います． その中でも，提供されているアヤメのデータ(iris)は，よく使われるデータセットです． 今回は，そのアヤメのデータセットがどのような構造になっているのかや，実際にseabornやpandasを用いてグラフ化してみようと思います． アヤメのデータセットとは！？アヤメ(iris)は，もしかしたら機械学習を扱う世界中のデータサイエンティストに最も知られた花の品種かもしれないですね． なぜなら，1936年に「The use of multiple measurements in taxonomic problems (分類問題における複数箇所の測定の使用) 」(実際の論文PDFはこちら)で3種類の
Master Python's pandas library with these 100 tricks
100 pandas tricks to save you time and energy Below you'll find 100 tricks that will save you time and energy every time you use pandas! These the best tricks I've learned from 5 years of teaching the pandas library. "Soooo many nifty little tips that will make my life so much easier!" - C.K. "Kevin, these tips are so practical. I can say without hesitation that you provide the best resources for
python入門 pandasを使ったデータフレームの扱い - バナナでもわかる話
pythonには、Seriesというデータ構造とDataFrameというデータ構造があります。 データ分析において、これらのデータ構造に関する扱いを理解しておくことは必須ですので、簡単に入門記事を書いておこうと思います。 目次 pandas Seriesの利用 Seriesを扱うメソッド DataFrameの利用 スポンサーリンク pandas pandasはデータ分析に便利なデータ構造と、簡単に分析が行えるツールを備えています。 Rユーザーであればデータフレームは馴染み深いとは思いますが、pythonではpandasを入れないとデータフレームは使えません。 ということでpandasを読み込みましょう。 import pandas as pd 慣例に従い、pdという名前で読み込みます。 Seriesの利用 pandasではシリーズというデータ構造を使うことができます。 In : seq0=
Pythonのpandas-datareaderで株価を取得してみる① - Qiita
はじめに モチベーション 近頃、ちまたでは人工知能のライブラリが簡単に使えるのだそうです。そしてそれを使ったら、もしかして株価予測とかで一儲けといけるのではないかと思ったりするわけです。 しかし、それには株価のデータを集めなくてはならないんですよね。 AIはデータが命ですから。 データ分析とかAIとかだと、とりあえずpythonでしょう。そこでpythonで何かないかなあと調べてみると、pandas-datareaderといういいものがあるそうな。 （これを使い始めた頃はGoogleとかyahooとかデータが取れたんですが、最近どんどん取れなくなってきています。世知辛い世の中ですね） まあそれはさておき、とりあえず始めていきましょう！ 作るもの pandas-datareaderを使って、過去の株価データを拾ってきてCSVに保存するプログラミング。 わざわざ書くまでもないですかね。 使うも
入門pandas - 明日からはじめるデータ分析のきほん - Lean Baseball
こういうことやぞ サムネイルで描いた事がこのエントリーの全てです. Pythonでは、「pandas」というライブラリを使ってデータ分析や解析をすることが非常に多いです. でも、「利用方法（またはユースケース）」に合わせた入門ってあんまりない気がします. ということで、「PyCon mini Sapporo 2019」でそんな話をしてきました. sapporo.pycon.jp 訳あって資料およびJupyter notebookは非公開*1ですが、こちらにその基本とかをまとめます. TL;DR - このエントリーは 実務や趣味のデータ分析でpandasを使う例を紹介します. 初歩的な使い方から中級者になるまでのヒントになると思います. なお,統計テクニック・機械学習には触れません・やりません. なお、対象読者は「そこそこPythonとJupyter notebookが使えてこれからデータ分
Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい
TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ
時系列データで使うPandas小技集 - け日記
時系列データを扱うにあたって役に立った、Pandasのテクニックを紹介します。 文字列型のSeriesから日時型・日付型のSeriesへ変換する 日付に欠測値を含むデータを日毎に集計する 累積和を計算する 今回の例に使う時系列データは以下です。 ある商品の4/1〜4/3の購入履歴をイメージしてください。ユーザ(user_id)の購入日時(timestamp)と購入数(item_count)が入ったDataFrameとなっています。 import pandas as pd df = pd.DataFrame(...) print(df.info()) # <class 'pandas.core.frame.DataFrame'> # RangeIndex: 5 entries, 0 to 4 # Data columns (total 3 columns): # timestamp 5 no
Pandasでの日付・時間周りのちょっとしたチートシート - Qiita
Apacheのログやアプリケーションサーバのログ分析をする機会がありまして、その際に出てきた定番の処理を自分用に再編成してまとめていきます。 まずは日付・時間列の分離と結合 apacheログのサンプルです（生成ツールがあるんですね。。。） 108.81.70.158 - - [16/Jun/2015:13:59:34 +0000] "GET /item/electronics/3717 HTTP/1.1" 200 86 "-" "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11" 176.33.96.225 - - [16/Jun/2015:13:59:35 +0000] "GET /category/cameras HTTP/1.1" 2
Python pandas アクセサ / Grouperで少し高度なグルーピング/集計 - StatsFragments
日本語の説明がなさそうなので。 概要 pandas では groupby メソッドを使って、指定したカラムの値でデータをグループ分けできる。ここでは少し凝った方法を説明。 ※ dtアクセサ の追加、またグルーピング関連のバグ修正がいろいろ入っているので、0.15以降が必要。 ※簡単な処理については下の記事でまとめ。 はじめに 例えばこんなデータがあったとして、 import pandas as pd import datetime df = pd.DataFrame({'dt1': [datetime.datetime(2014, 10, 1), datetime.datetime(2014, 10, 2), datetime.datetime(2014, 10, 3), datetime.datetime(2014, 10, 4), datetime.datetime(2014, 10,
これからはPandas-Bokehを使おうぜ
Bokeh Plotting Backend for Pandas and GeoPandas. Contribute to PatrikHlobil/Pandas-Bokeh development by creating an account on GitHub. インストール pip install pandas-bokeh 使い方 最初にpandas_bokehの読み込みコマンドを実行します。今回はjupyter notebook上で使いたいので、ouutput_notebook としました。 import pandas_bokeh pandas_bokeh.output_notebook() plotをplot_bokehに変えるだけ Pandasをよく使っている人は、DataFrame.plot.bar()でチャートを書くことができることは知っていると思います。Pandas-B
Python“らしさ”を支える技術。pandasコアコミッターが大事にするマージの方針 - エンジニアHub｜Webエンジニアのキャリアを考える！
Python“らしさ”を支える技術。pandasコアコミッターが大事にするマージの方針 数多いPythonライブラリの中でも、データ解析の用途で大きな存在感を示すのが「pandas」です。そしてこのpandasのコミッターを務めるのが、sinhrksこと堀越真映さん。コミッターが感じるOSSのありよう、そしてPythonらしさを教えてもらいました。 データサイエンスや機械学習の流行に伴い、業務でPythonが使用されるケースが増えてきました。Pythonが選ばれる理由はさまざまですが、「データサイエンスや機械学習に適したライブラリが数多くある」という特性は、この言語が重宝される理由のひとつでしょう。 たとえば、データ分析のための高速で使いやすいデータ構造を提供するpandas。NumPyやpandasのAPIを利用して並列計算・分散処理を行えるDask。こうした海外で開発が主導されたライブ
ナンバーズ予想で学ぶ統計学
本書は数字選択式宝くじ ナンバーズ の予想方法を研究する人と、統計学を独学したいけど同じ勉強するなら(宝くじという)エキサイティングな要素も欲しいという人に向けた統計解析の解説書です。 統計学を学ぶためにナンバーズのデータを利用し、ナンバーズの予想のためにどのような統計的手法が使えるかを学ぶことができる文書です。 本書の目指すところ 統計的手法の使い方を学ぶ。 統計学の理論は無視する(高度な数式を勉強しない)。 統計的手法を使ってナンバーズを予想してみる。 統計学の基礎的な知識を学ぶ。 データマイニングも含む。 ナンバーズの予想に使えないかもしれないけどおもしろそうな予想方法も勉強してみる。 統計解析のソフトウェアは Python と関連ライブラリ ( pandas や SciPy library ) を使用します。 エクセル や Google スプレッドシート 、 R もありますけど個人
Kaggleで使える！Pandasテクニック集 - Qiita
はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 更新：2019年1月29日15時 様々なコンペで使える便利な関数を追記しました。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()の進捗を見たい時に、 tqdmというライブラリを使うことでプログレスバーを表示することができます。 import pandas as pd import numpy as np from tqdm._tqdm_notebook import t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【python】csvファイルの読み込みを使いこなす。pandas.read_csvの主要オプション一覧。 - Qiita
Pandas-Bokeh/README.md at master · PatrikHlobil/Pandas-Bokeh
追伸。そろそろおまえもseabornヒートマップを使うように。 母より - Qiita
