PythonでLibreOffice Calcファイルを読み込む - Qiita
実行した環境 Ubuntu Stdio 18.04LTS Python 3.6.5 参考 How to convert OpenDocument spreadsheets to a pandas DataFrame? https://stackoverflow.com/questions/17834995/how-to-convert-opendocument-spreadsheets-to-a-pandas-dataframe pandas.read_excel()と言うExcelを読み込んだり、いろいろ出来る関数があるのを今日知ったのですが、私はUbuntuを使用しているので使えません。残念 それで色々検索していたら、LibreOffice Calcを読み込むパッケージがあると言うことで、インストールしました。 注意） 上記の参考にも書いてあるように、あくまでも実験の段階で、色々な機能
Qiitaの記事データをQiita API, Scrapyで収集 - Qiita
はじめに この記事ではQiita APIおよびScrapyによるクローリング、スクレイピングによってQiitaの記事データ（タイトル、「いいね」数、投稿日時など）を取得しCSVファイルとして保存する方法を紹介する。 基本的にはQiita APIを使うべきだが、「ストック」数ランキングに限ってはスクレイピングで取得するほうが簡単。 以降のQiita APIやQiitaのサイトについての記述はすべて2018年8月15日時点の仕様。 収集したデータの分析については以下。 Python, pandasによるデータ分析の実践 （Qiita記事データ編） ※普段は自分のサイトに書いているのですが、Qiitaのデータを使わせてもらった内容はQiitaに書くのが筋だろうと思いこちらに書くことにしました。 「いいね」と「ストック」 Qiitaには「いいね」と「ストック」がある。 もともとは「ストック」だけだ
Python, pandasによるデータ分析の実践 （Qiita記事データ編） - Qiita
はじめに この記事では、Qiitaの記事データを題材としたpandasによるデータ分析の実践例を紹介する。 Qiita APIを利用したデータの取得については以下の記事を参照。 Qiitaの記事データをQiita API, Scrapyで収集 対象とするのは2018年8月15日未明に取得した、それまでの全記事データ（32万件程度）。 以降のサンプルコードでは特定の列のみを読み込んで使う。 import collections import itertools import os import matplotlib.pyplot as plt import pandas as pd import seaborn as sns result_dir_path = 'results' df = pd.read_csv( os.path.join(result_dir_path, 'summary
Dataframeの不要な列を取り除く方法 - Qiita
Dataframeから、columnが特定の文字列で始まる列をまとめて取り除く方法 少しだけ列を簡単に取り除く dropを使えばわりと簡単ですが、書き下す必要があって面倒です。
1つのフォルダに置いた複数のcsvファイルをまとめて1つのdataframeにする - Qiita
-globを使ってファイルパスを生成します。 -プログレバーを表示したかったので、tqdmを利用しています。 -日本語が含まれるファイルパスで、それによるエラーを回避するため、engine='python'を追加しています。 -ちょうどindexにしたいものが、Unnamed: 0にあったので、set_index('Unnamed: 0')しています。 -あとあと、重複データがあると困るので、重複確認をしています。any().any()は速度上若干不利らしいですが、わかりやすいので、使っています。 import glob import sys import pandas as pd from tqdm import tqdm def csvs_to_one_df(path): df = pd.DataFrame() for file_path in tqdm(glob.glob(path)
[注意]１００％勝ってしまうシグナル #QuantX - Qiita
100% 勝ってしまった QuantXでアルゴリズムを書く方法を投稿していたのですが，ふと１００％勝てるシグナルが書けるんじゃない？と思って書いてみたら書けたというお話です． とりあえず結果を． 天国や Look-Ahead Bias コレは現実のシグナルでは絶対に起きない， Look-Ahead Biasという間違いです． 株価分析を行う上でのルックアヘッドとは，誤って将来の価格を分析対象に入れて予測を行ってしまうことを言います． QuantXのバックテストでは，（私の想像がただしければ）指定された全期間のヒストリカルデータを取得して売買シグナルを計算し，その後，該当日の買いシグナルおよび売りシグナルに基づいて損益を計算する仕様になっています． つまり，コードの書き方を間違うと，シグナル計算時に誤って将来のデータが入る可能性があるわけです． 実際のコードがこちらです． def initi
![[注意]１００％勝ってしまうシグナル #QuantX - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc99ef020a2eda13d79fcec97bec945c0ba73cf9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTQwMTklMkZwcm9maWxlLWltYWdlcyUyRjE1MDU5NzM3MTg_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9YTQwMGQxYzk0MzIwNjRhYjA0MWJmNDkyNWQ1NDJlYzk%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Db7e3c7e6576fa4b58b0ff4af34a211f9%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU2JUIzJUE4JUU2JTg0JThGJTVEJUVGJUJDJTkxJUVGJUJDJTkwJUVGJUJDJTkwJUVGJUJDJTg1JUU1JThCJTlEJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgxJTk3JUUzJTgxJUJFJUUzJTgxJTg2JUUzJTgyJUI3JUUzJTgyJUIwJUUzJTgzJThBJUUzJTgzJUFCJTIwJTIzUXVhbnRYJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MTRlZDEzMDQ0MTBlNzAwNzNjNmM3MzUzYzQyNTc2Nzk%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzaGluc2VpdGFybyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWE1NTVjYjY2NTg5YTY4NjRkMjVlZjQ3NTA0YzRmMGMx%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D8646d49ec159cbc87bd7e5218aa25c06)
タイムズカープラスで最安プランを選ぶ - Qiita
「ショート」のプランは，「延長料金が206円/15分の0時間(0円)パック」と言う風に捉えると，他の「○時間パック」と同じように計算できます． なお，複数のプランを組み合わせることはできません1．また，延長時間には上限があり，ショートの場合は72時間まで，パックの場合は6時間までです． （別途，初期費用や基本料金がかかる場合があります．また，36時間パック，48時間パック，60時間パックというプランが選択可能な車両もあります．詳細は公式サイトを参照してください） Pythonコード 各プランの定義 まず，pandasのDataFrameを使って金額を定義します．plansはプラン名の配列で，今後計算時のキーとして使います． import math import datetime as dt import pandas as pd # plan names plans = ['short',
上値抵抗性突破の取引ストラテジー #QuantX - Qiita
上値抵抗性突破とは 過去N日間の株価終値の最高値を、今日の終値が突破した時、さらに上昇することを期待して買いポジションを持つストラテジーです。 とても簡単なアルゴリズムなので、コードも簡単に書けます。 シグナル 過去９０日間の終値の最高値を今日の終値が突破した場合、ロングポジションを持つ。 手仕舞い 益出し：＋５％ 損切り：ー３％ コード （昨日の勉強会で知ったのですが、QuantXのコードは公開＋Cloneできるんですね。ログイン後、このリンクを辿って、上にあるクローンボタンをおしてクローンしてください。） clone : https://factory.quantx.io/developer/2729d13d204b4f2db1c08385ad5d13b0 #################################################################
pandas で日経平均株価指数を plot する - Qiita
import pandas.io.data as web import matplotlib.pyplot as plt import datetime # 取得する日の範囲を指定する start = datetime.datetime(2014, 1, 1) end = datetime.datetime(2014, 9, 1) # Yahoo ファイナンスから、 ^N225 (日経平均株価指数) を # とってくる。 f = web.DataReader('^N225', 'yahoo', start, end) plt.title('Nikkei 255 from 2014.1.1 to 2014.9.1') # fill_between でその日の最高値と最低値をプロットする plt.fill_between(f.index, f['Low'], f['High'], color=
pandasメモ - Qiita
s1 = pd.Series([1,2,3,4,5], index=[0,1,2,3,4]) s2 = pd.Series([10,20,30,40,50], index=[10,11,12,13,14]) s3 = pd.Series([100,200,300,400,500], index=[0,2,4,6,8]) print pd.concat([s1, s2, s3], axis=1) """ 0 1 2 0 1 NaN 100 1 2 NaN NaN 2 3 NaN 200 3 4 NaN NaN 4 5 NaN 300 6 NaN NaN 400 8 NaN NaN 500 10 NaN 10 NaN 11 NaN 20 NaN 12 NaN 30 NaN 13 NaN 40 NaN 14 NaN 50 NaN """
Python PandasのSeries、Dataframeの基本操作（１） - Qiita
二次元配列でこれを表現するとき、「ハチマン」「ユキノ」「ユイ」や「数学」「国語」「英語」といった文字の扱いに困る。Dataframeではこれをcolumnsやindexで表せる。 しかし、この型はいろいろと厄介な仕様があり、私はのっけから躓いてしまった。 これはpandas超初心者の私が自分用に作った、超初歩的なpandas操作マニュアルである。 pythonのバージョンは3.5.2（標準pythonではなく、Anacondan4.2.0を使っている） pandasのバージョンは0.18.1 コードはiPython5.1.0で実行している状況をイメージしている。 pandasを使う前の準備 pandasのインストール 私はAnacondaで一括で入れた。（Anacondaはpython+よく使われるライブラリみたいなものである。NumpyやiPythonも入れられる） そのほかにも、pip
pandas のデータフレームをエクセルに書き出す - Qiita
NY.GDP.PCAP.KD float64 dtype: object df_gdp.index MultiIndex(levels=[['Japan', 'United States'], ['1960', '1961', '1962', '1963', '1964', '1965', '1966', '1967', '1968', '1969', '1970', '1971', '1972', '1973', '1974', '1975', '1976', '1977', '1978', '1979', '1980', '1981', '1982', '1983', '1984', '1985', '1986', '1987', '1988', '1989', '1990', '1991', '1992', '1993', '1994', '1995', '1996', '1997'
Python で 株価データ取得する pandas.io モジュール が pandas_datareader に変わっていた件 〜 pip install 時のパッケージ名は、pandas-datareader だが、import時は、pandas_datareader で わかりにくいので注意 - Qiita
以下の記述を発見 pandas 0.18.0 documentation » Remote Data Access Warning In pandas 0.17.0, the sub-package pandas.io.data will be removed in favor of a separately installable pandas-datareader package. This will allow the data modules to be independently updated to your pandas installation. The API for pandas-datareader v0.1.1 is the same as in pandas v0.16.1. (GH8961) You should replace the imports of t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pandas.DataFrameの型を変えたいけど例外レコードがあってastypeできない時の対処法 - Qiita
PythonのPandasを用いた情報処理 -DataFrame編②- - Qiita
PythonでWikipediaの表を2行でスクレイピング - Qiita
機械学習でのカテゴリデータの扱い方 - Qiita
python pandas 超基礎メモ - Qiita
pandas DataFrameをs3から読む・s3に出力するメモ - Qiita
備忘録＠Python OR セミナー:Pandas - Qiita
