pandasメモ
Document Python for Data Analysis DataFrame DataFrameGroupBy DataFrameGroupByを構成するSeriesはSeriesGroupBy DataFrameGroupByとSeriesGroupByはGroupByのサブクラス Series Series.str データフレームの表示する行数を設定する pandas.set_option('display.max_rows', 8) pandas.set_option() * axisキーワードで適用する軸を決める0は行、1は列 DataFrame data = { 'A': [1, 2, 3], 'B': ['a', 'b', 'c'], 'C': [1.1, 2.1, 3.1] } df = DataFrame(data) # インデックスのタイトル df.index.
FlaskとElasticsearchとPandasを使った簡易なWebアプリ | mwSoft
FlaskとElasticsearchとPandasを使った簡易なWebアプリ 概要 PythonとElasticsearchを連携させてPandasに入れて、Scipyに食わせて分析結果を返すような簡易アプリケーションが必要になったので、フレームワークにFlask、ストレージにElasticsearchを利用して作ってみる。 本資料は導入から簡易なアプリケーションを作成するまでの手順をメモしたもの。 Flaskの導入 Pythonは3系が入っている前提で話を進める。 FlaskはBottleあたりと比較される軽量なフレームワーク。Bottleは1枚っぺらのPythonファイルで実行できるポータビリティが売りだけど、対するFlaskはWerkzeugやJinja2などの既存ライブラリの組み合わせで成り立っている。 Jinja2はAnsibleとかでも使われているのでわりと馴染みがある。 F
Python pandas データのイテレーションと関数適用、pipe - StatsFragments
pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用 pipe (0.16.2 で追加) それぞれ、Series、DataFrame、GroupBy (DataFrame.groupbyしたデータ) で可能な操作が異なるため、順に記載する。 まずは必要なパッケージを import する。 import numpy as np import pandas as pd イテレーション Series Series は以下 2つのイテレーション用メソッドを持つ。各メソッドの挙動は以下のようになる。 __iter__: Series の値 ( values ) のみをイテレーシ
Pandasの辞書的使い方 - 西尾泰和の外部脳
PandasでNameとValueというカラムのあるCSVを読み込んで、「Nameが特定の値の時のValueを知りたい」という場合。なおNameは一意だとする。
[python]pandasでデータの読み込み方法まとめ - おじさんAのプログラムメモ
まずはインポート import pandas as pd CSV, TSV pd.reed_csv(filename, header=None, names=['A', 'B'], index_col='A', ...) # filename以外は省略可能 # pd.reed_table()というメソッドもある。これは、sep=""パラメーターで区切り文字を指定できる。デフォルトはタブ Excel xls = pd.ExcelFile(filename) df = xls.parse('sheet_name') JSON import json json_data = json.loads(json_text) name = json_data[0]['name'] XML from lxml import objectify parsed = objectify.parse(open(x
![[python]pandasでデータの読み込み方法まとめ - おじさんAのプログラムメモ](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a3b9688ad1a8c574d47d6201631e22aad068ba4/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8454420450090616909%2F8454420450093701210%2F1433208652)
MySQLのデータをJupyter Notebook上でグラフにする - oinume journal
最近少しずつJupyter Notebookやpandas, matplotlibに慣れてきて、PythonによるData Scienceが面白くなってきたと感じてます。今日はMySQLのデータをSQLで持ってきて、Jupyter Notebook上でグラフにしてみる話。 セットアップ Python3はインストールされていることを前提。jupyterなどの必要なソフトウェアを入れる環境を作って、pip でインストールする。 python3 -m venv jupyter source jupyter/bin/activate pip install jupyter pandas matplotlib pymysql インストールが成功したら、こんな感じでJupyter Notebookを立ち上げる。 ./jupyter/bin/jupyter notebook 立ち上がったらブラウザから適
pandas のデータフレームをエクセルに書き出す - Qiita
NY.GDP.PCAP.KD float64 dtype: object df_gdp.index MultiIndex(levels=[['Japan', 'United States'], ['1960', '1961', '1962', '1963', '1964', '1965', '1966', '1967', '1968', '1969', '1970', '1971', '1972', '1973', '1974', '1975', '1976', '1977', '1978', '1979', '1980', '1981', '1982', '1983', '1984', '1985', '1986', '1987', '1988', '1989', '1990', '1991', '1992', '1993', '1994', '1995', '1996', '1997'
金融データのPythonでの扱い方 - 今日も窓辺でプログラム
はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使
<Python, pandas> Nanのある行を選択する。Nanない行を選択する。 - ねこゆきのメモ
Nanのある行、ない行を選択する。 .isnull()と.dropna()。 お互いが逆だが、返す値がちと違う。 まずは、Nanのある行を選択。 In [31]: import pandas as pd In [32]: import numpy as np In [33]: df = pd.DataFrame({'a':[1,2,np.nan,3,4],'b':[np.nan,2,3,np.nan,5]}) In [34]: df Out[34]: a b 0 1 NaN 1 2 2 2 NaN 3 3 3 NaN 4 4 5 In [35]: df.isnull() Out[35]: a b 0 False True 1 False False 2 True False 3 False True 4 False False と、boolで返る。 また、下記でも同じ。 In [36]:
Python pandas strアクセサによる文字列処理 - StatsFragments
概要 今週の 週刊 pandas は文字列処理について。やたらと文字数が多くなったのだが、これはデータを都度表示しているせいであって自分の話がムダに長いわけではない、、、と思いたい。 今回はこちらの記事に書いた内容も使うので、適宜ご参照ください。 サンプルデータ なんか適当な実データないかな？と探していたら 週間少年ジャンプの過去作品の連載作品 / ジャンルなどがまとめられているサイトをみつけた。これを pandas で集計できる形まで整形することをゴールにしたい。 KTR's Comic Room: Weekly Jump Database データの読み込み 上記リンクの "ジャンプ連載データ表" を、ファイル名 "jump_db.html" としてローカルに保存した。 補足 pd.read_html では引数に URL を渡して 直接ネットワークからファイルを読むこともできる。が、今回
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
RをPandasに置き換える(ヒストグラム) - Y
ビジネス活用事例で学ぶ データサイエンス入門 ビジネス活用事例で学ぶ データサイエンス入門 タイトルのとおり、ビジネス事例(アプリ開発会社の事例）を元にしてデータ分析を学ぶスタイルになっています。馴染みのある事例なのでデータ活用のイメージがしやすい内容になっています。 本書はRを使っていますが、どちらかというとPython Pandasの方が好きなので、RからPandasに置き換えてみました。 (0)R・データの準備 Rインストール R for Mac OS X R-3.2.3.pkgをインストールしました。 データダウンロード ビジネス活用事例で学ぶ データサイエンス入門 上記からダウンロードしました。 (1)CSVファイル読み込み DAU(1日1回以上アクセスしたユーザのデータ DPU(1日1円以上課金したユーザのデータ Install(ユーザごとにいつゲームを利用開始したかのデータ)
5. 【pandas】関連 — kaiyori 1.1 documentation
In [86]: df Out[86]: <class 'pandas.core.frame.DataFrame'> Int64Index: 2634 entries, 0 to 2633 Data columns (total 8 columns): 0 2634 non-null values 1 2634 non-null values 2 2634 non-null values 3 2634 non-null values 4 2634 non-null values 5 2634 non-null values 6 2634 non-null values diff 2634 non-null values dtypes: float64(5), int64(1), object(2) In [87]: rows = random.sample(df.index.tolist(
Pythonや機械学習、そして言語の競争について – 極めて主観的な見地から | POSTD
(訳注：2016/1/5、いただいた翻訳フィードバックを元に記事を修正いたしました。) よくある主観的で痛烈な意見を題名に付けたクリックベイト（クリック誘導）記事だろうと思われた方、そのとおりです。以前指導してくれた教授から教わったある洞察/処世術は、些細でありながら私の人生を変えるマントラとなったのですが、私がこの記事を書いたのはそれによるものです。「同じタスクを3回以上繰り返す必要があるなら、スクリプトを書いて自動化せよ」 そろそろ、このブログはなんだろうと思い始めているのではないでしょうか。半年振りに記事を書いたのですから。ツイッターで書いた Musings on social network platforms（ソーシャル・ネットワークプラットフォームについてじっくり考える） はさておき、この半年の間書き物をしていないというのはうそです。正確には、400ページの 本 を書きました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
鴨川にあこがれる日々
MKB_Tsuji_20161125
pandas: テキスト処理 — 苦労する遊び人の玩具箱 1 ドキュメント
IPython Notebookで梅田のラーメン屋さんの統計情報を抽出するというハンズオンに行ってきました - ヤマムギ
http://web-analytics-or-die.org/2013/07/pandas/