Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

PandasでNameとValueというカラムのあるCSVを読み込んで、「Nameが特定の値の時のValueを知りたい」という場合。なおNameは一意だとする。
from pandas import DataFrame df=DataFrame([[1,2,3], [10,20,30], [100,200,300], [1000,2000,3000]], index=['row_0', 'row_1','row_2','row_3'], columns=['col_0','col_1','col_2']) #----------------------------- # col_0 col_1 col_2 # row_0 1 2 3 # row_1 10 20 30 # row_2 100 200 300 # row_3 1000 2000 3000 #----------------------------- # # 行ラベルを指定 # df.loc[['row_2','row_3']] #----------------------------
pandasはpdとしてimportするのが慣習なのでpdとしてimportしましょう。ついでに他の数値ライブラリと一緒にimportしておきましょう。 import math import numpy as np import pandas as pd import matplotlib.pyplot as plt # Jupyter notebookでグラフを出す場合 %matplotlib inline pandasの基礎: DataFrame と Series pandas の基本的なデータ構造に DataFrame と Serries があります。この2つが何を表すのかを始めに理解しましょう。 DataFrame DataFrame が pandasのメインとなるデータ構造で二次元のテーブルを表します。図のような二次元のテーブルがDataFrameです。 DataFrameは単な
概要Pythonモジュールのpandasにはplot関数があり、これを使えばpandasで読み込んだデータフレームを簡単に可視化することができます。ただし、大量の引数(34個)があるにもかかわらず、公式マニュアルを見ても引数の一部しか説明されておらず、一体何ができるのか整理したくなり、この記事を書きました。データはirisを使い、plotの各引数の効果を検証しました。 import pandas as pd if __name__ == "__main__": #元データ df = pd.read_csv('iris.csv', index_col=0) どんな引数があるのか?df.plot?とヘルプを叩くことで、変数の一覧と説明(英語)を取得できます。実に34個の引数があるようです。使いこなして、簡単にいろんなグラフを書きたいですね。
import pandas as pd mt4_df = pd.read_html(result_path, "#", parse_dates=["Time"], header=0)[0] entry_df = mt4_df[mt4_df["Type"] == "buy" | mt4_df["Type"] == "sell"][["#", "Time", "Type", "Order", "Size", "Price"]] close_df = mt4_df[mt4_df["Type"] != "buy" & mt4_df["Type"] != "sell"][["Time", "Price", "Profit"]] close_df.columns = ["CloseTime","ClosePrice", "Profit"] close_df.index = entry_df.index
こんにちは、小澤です。 今回は、Jupyter notebookとPandasの導入的な話をしようと思います。 とは?の話 Jupyter notebookもPandasもすでに「とは?」を書く必要がないくらい有名どころかもしれませんが一応書いておきます。 とはいえ、今回はこんなものがあるよというご紹介程度の内容となるので、この「とは?」がメインコンテンツとなります。 どちらもpipからインストール可能ですが、Anacondaを利用すると、グラフ描画用のmatplotlibも別途インストールする必要がなくなるため、 今回はAnaconda3-4.2.0を利用しているものとします。 Jupyter notebookとは ブラウザ上で、REPLのようなインタラクティブにプログラムを実行するためのものです。 Jupyter notebookを立ち上げるとブラウザから画像のような環境にアクセスでき
Taking care of business, one python script at a time Introduction In many practical Data Science activities, the data set will contain categorical variables. These variables are typically stored as text values which represent various traits. Some examples include color (“Red”, “Yellow”, “Blue”), size (“Small”, “Medium”, “Large”) or geographic designations (State or Country). Regardless of what the
話題は変わるが、「pandasによるStackingとUnstacking」の続き。 時系列データについては、これまで以下で扱ったので重複する部分もあると思うが反復練習ということで気にしない。 ・Pythonでの時系列データの扱い1 〜 文字列とdatetimeの変換 ・Pythonでの時系列データの扱い2 〜 時系列データの作成および選択 ・Pythonでの時系列データの扱い3 〜 時系列データの頻度設定 ・Pythonでの時系列データの扱い4 〜 「祝日の取得」および「祝日を考慮した営業日の取得」 ・pandas_datareader.dataのDataReaderを使用して株価を取得する 〜 pandas.Panel型で取得したデータ構造からpandas.Panel.minor_xsを使用して特定の銘柄のDataFrameを取得する 扱うテーマは次。 1.時系列データとDatetim
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? おはようございます。ようやく春らしい季節になってきましたね。今日は前回に引き続いてもう少し株価の話をします。前回の話ではどうやって分析するかという話で、理想株価の算出式と移動平均線について触れました。忘れてしまった方はもう一度前回の記事の後半を読んでください。 まず余談 さて話はそれていきなり余談ですが、先週は有名ソーシャルゲーム「パズドラ」をめぐる炎上騒ぎが大変なことになりましたね。 パズドラといえば 3,000 万ダウンロードを越える人気ゲームであり、あのコンプガチャ騒動の後にあらわれて、無料でも楽しめる仕様として課金額を低額に抑え
今日は 15 年ぶりに日経平均が 19,000 円台を一時回復し、 6 月末までには 2 万円に達するのではとの声も出ていますが、そんな中ビッグデータ (笑) 分析で株式の分析をする話です。 効率的市場仮説 金融の世界には効率的市場仮説というものがあり、どのような情報を利用しても他人よりも高いパフォーマンスを継続してあげることは不可能であるという説があります。これほど誤解されたりあるいは都合良く解釈されたものはないと筆者は考えます。 この辺は効率的市場仮説のパラドックスあたりを読んでいただくと良いでしょう。 普通に考えて、たとえばなぜ証券業界のディーラーやファンドマネージャーが現役で職を保っていられるのか、みんながみんなバフェットの真似をしてみんながお金持ちにならないのはなぜか、などなど考えていけばわかりそうなものです。 賛否両論はこのあたりを読んでいただくとして (ちなみに筆者はアンドリ
HTML の表をスクレイピングするのは結構だるい作業です。 私は以前は、単純な HTML であれば、うまく特徴を見つけて awk や sed を作ったり、 Perl の正規表現で取り出したり、 Google Chrome のコンソールから XPath を使って取り出すような苦労をやっていました。 ところで pandas というとデータ解析用のツールとして主流ではあるのですが、 意外にも HTML からのデータ入力も可能になっていて、これが表のスクレイピングにはかなり楽だということがわかりました。 なので紹介してみます。 サンプルに使うページ 以下で示すサンプルに国税庁の所得税の税率のページを使うことにしました。 https://www.nta.go.jp/taxes/shiraberu/taxanswer/shotoku/2260.htm (2019.9.28 移転したようなので、URLを
FlaskとElasticsearchとPandasを使った簡易なWebアプリ 概要 PythonとElasticsearchを連携させてPandasに入れて、Scipyに食わせて分析結果を返すような簡易アプリケーションが必要になったので、フレームワークにFlask、ストレージにElasticsearchを利用して作ってみる。 本資料は導入から簡易なアプリケーションを作成するまでの手順をメモしたもの。 Flaskの導入 Pythonは3系が入っている前提で話を進める。 FlaskはBottleあたりと比較される軽量なフレームワーク。Bottleは1枚っぺらのPythonファイルで実行できるポータビリティが売りだけど、対するFlaskはWerkzeugやJinja2などの既存ライブラリの組み合わせで成り立っている。 Jinja2はAnsibleとかでも使われているのでわりと馴染みがある。 F
はじめに TreasureDataは、アプケーションログやセンサーデータなど時系列のデータを簡単に収集・保管・分析が行えるクラウドサービスです。 現在は、分析エンジンの一つとして、Prestoが利用できるようになり、収集したデータをインタラクティブにSQLで分析が行えるようになりました。 しかし、SQLでデータを分析したデータを元に可視化をするという機能自体はTreasureDataでは備えていないため、ExcelやTableauなどの外部ツールを使って、可視化を行う必要があります。 そこで今回は、Pythonのライブラリとして人気があるPandasと、WebブラウザでインタラクティブにPythonを実行できるJupyterを利用して、TreasureDataとインタラクティブにSQLを実行して集計・可視化を行っていきます。 セットアップ 利用環境 Ubuntu 14.04 Python
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? $ pip install pandas Downloading/unpacking pandas Downloading pandas-0.15.2-cp27-none-macosx_10_6_intel.macosx_10_9_intel.macosx_10_9_x86_64.macosx_10_10_intel.macosx_10_10_x86_64.whl (6.7MB): 6.7MB downloaded Downloading/unpacking numpy>=1.7.0 (from pandas) Downloading
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く