pandas-datareaderのis_list_likeがimportできない問題を解決(local,heroku) - Qiitapandas-datareaderのis_list_likeがimportできない問題を解決(local,heroku)PythonHerokupandas
ネストしたリストや辞書をPandasデータフレームに格納 - Qiita
自分でネストしたリストや辞書をPandasデータフレームに格納しようとしてもうまく行かないことが多かった。この度、以下のリンクでJason形式をデータフレームに変換するPandasの機能を読んだ。 以下のやり方でも成功するまでに時間がかかったが、コツは「自分のネストの仕方をリンクのやり方に合わせること」だった。 Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationWhat you can do with signing up
herokuでPythonﾗｲﾌﾞﾗﾘ(pandas,sklearnとか)を使えるようにするための方法 - Qiita
herokuでPythonﾗｲﾌﾞﾗﾘ(pandas,sklearnとか)を使えるようにするための方法PythonHerokupandassklearn ローカル(開発)環境で使うには これは、言わずもがなですが、コマンドからpipでインストールすればいいだけです。 herokuで使うには いくつか、ファイルを編集する必要があります。git pushはできたけど、ブラウザ開いたらModuleNotFoundErrorになった時は、これをする必要があるかもしれません。 まずは、 beautifulsoup4==4.6.1 certifi==2018.4.16 chainer==4.3.1 chardet==3.0.4 cycler==0.10.0 dj-database-url==0.5.0 Django==2.1 django-heroku==0.3.1 filelock==3.0.4 g
PythonでLibreOffice Calcファイルを読み込む - Qiita
実行した環境 Ubuntu Stdio 18.04LTS Python 3.6.5 参考 How to convert OpenDocument spreadsheets to a pandas DataFrame? https://stackoverflow.com/questions/17834995/how-to-convert-opendocument-spreadsheets-to-a-pandas-dataframe pandas.read_excel()と言うExcelを読み込んだり、いろいろ出来る関数があるのを今日知ったのですが、私はUbuntuを使用しているので使えません。残念 それで色々検索していたら、LibreOffice Calcを読み込むパッケージがあると言うことで、インストールしました。 注意） 上記の参考にも書いてあるように、あくまでも実験の段階で、色々な機能
Qiitaの記事データをQiita API, Scrapyで収集 - Qiita
はじめに この記事ではQiita APIおよびScrapyによるクローリング、スクレイピングによってQiitaの記事データ（タイトル、「いいね」数、投稿日時など）を取得しCSVファイルとして保存する方法を紹介する。 基本的にはQiita APIを使うべきだが、「ストック」数ランキングに限ってはスクレイピングで取得するほうが簡単。 以降のQiita APIやQiitaのサイトについての記述はすべて2018年8月15日時点の仕様。 収集したデータの分析については以下。 Python, pandasによるデータ分析の実践 （Qiita記事データ編） ※普段は自分のサイトに書いているのですが、Qiitaのデータを使わせてもらった内容はQiitaに書くのが筋だろうと思いこちらに書くことにしました。 「いいね」と「ストック」 Qiitaには「いいね」と「ストック」がある。 もともとは「ストック」だけだ
Python, pandasによるデータ分析の実践 （Qiita記事データ編） - Qiita
はじめに この記事では、Qiitaの記事データを題材としたpandasによるデータ分析の実践例を紹介する。 Qiita APIを利用したデータの取得については以下の記事を参照。 Qiitaの記事データをQiita API, Scrapyで収集 対象とするのは2018年8月15日未明に取得した、それまでの全記事データ（32万件程度）。 以降のサンプルコードでは特定の列のみを読み込んで使う。 import collections import itertools import os import matplotlib.pyplot as plt import pandas as pd import seaborn as sns result_dir_path = 'results' df = pd.read_csv( os.path.join(result_dir_path, 'summary
Dataframeの不要な列を取り除く方法 - Qiita
Dataframeから、columnが特定の文字列で始まる列をまとめて取り除く方法 少しだけ列を簡単に取り除く dropを使えばわりと簡単ですが、書き下す必要があって面倒です。
1つのフォルダに置いた複数のcsvファイルをまとめて1つのdataframeにする - Qiita
-globを使ってファイルパスを生成します。 -プログレバーを表示したかったので、tqdmを利用しています。 -日本語が含まれるファイルパスで、それによるエラーを回避するため、engine='python'を追加しています。 -ちょうどindexにしたいものが、Unnamed: 0にあったので、set_index('Unnamed: 0')しています。 -あとあと、重複データがあると困るので、重複確認をしています。any().any()は速度上若干不利らしいですが、わかりやすいので、使っています。 import glob import sys import pandas as pd from tqdm import tqdm def csvs_to_one_df(path): df = pd.DataFrame() for file_path in tqdm(glob.glob(path)
[注意]１００％勝ってしまうシグナル #QuantX - Qiita
100% 勝ってしまった QuantXでアルゴリズムを書く方法を投稿していたのですが，ふと１００％勝てるシグナルが書けるんじゃない？と思って書いてみたら書けたというお話です． とりあえず結果を． 天国や Look-Ahead Bias コレは現実のシグナルでは絶対に起きない， Look-Ahead Biasという間違いです． 株価分析を行う上でのルックアヘッドとは，誤って将来の価格を分析対象に入れて予測を行ってしまうことを言います． QuantXのバックテストでは，（私の想像がただしければ）指定された全期間のヒストリカルデータを取得して売買シグナルを計算し，その後，該当日の買いシグナルおよび売りシグナルに基づいて損益を計算する仕様になっています． つまり，コードの書き方を間違うと，シグナル計算時に誤って将来のデータが入る可能性があるわけです． 実際のコードがこちらです． def initi
![[注意]１００％勝ってしまうシグナル #QuantX - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc99ef020a2eda13d79fcec97bec945c0ba73cf9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTQwMTklMkZwcm9maWxlLWltYWdlcyUyRjE1MDU5NzM3MTg_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9YTQwMGQxYzk0MzIwNjRhYjA0MWJmNDkyNWQ1NDJlYzk%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Db7e3c7e6576fa4b58b0ff4af34a211f9%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU2JUIzJUE4JUU2JTg0JThGJTVEJUVGJUJDJTkxJUVGJUJDJTkwJUVGJUJDJTkwJUVGJUJDJTg1JUU1JThCJTlEJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgxJTk3JUUzJTgxJUJFJUUzJTgxJTg2JUUzJTgyJUI3JUUzJTgyJUIwJUUzJTgzJThBJUUzJTgzJUFCJTIwJTIzUXVhbnRYJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MTRlZDEzMDQ0MTBlNzAwNzNjNmM3MzUzYzQyNTc2Nzk%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzaGluc2VpdGFybyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWE1NTVjYjY2NTg5YTY4NjRkMjVlZjQ3NTA0YzRmMGMx%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D8646d49ec159cbc87bd7e5218aa25c06)
タイムズカープラスで最安プランを選ぶ - Qiita
「ショート」のプランは，「延長料金が206円/15分の0時間(0円)パック」と言う風に捉えると，他の「○時間パック」と同じように計算できます． なお，複数のプランを組み合わせることはできません1．また，延長時間には上限があり，ショートの場合は72時間まで，パックの場合は6時間までです． （別途，初期費用や基本料金がかかる場合があります．また，36時間パック，48時間パック，60時間パックというプランが選択可能な車両もあります．詳細は公式サイトを参照してください） Pythonコード 各プランの定義 まず，pandasのDataFrameを使って金額を定義します．plansはプラン名の配列で，今後計算時のキーとして使います． import math import datetime as dt import pandas as pd # plan names plans = ['short',
上値抵抗性突破の取引ストラテジー #QuantX - Qiita
上値抵抗性突破とは 過去N日間の株価終値の最高値を、今日の終値が突破した時、さらに上昇することを期待して買いポジションを持つストラテジーです。 とても簡単なアルゴリズムなので、コードも簡単に書けます。 シグナル 過去９０日間の終値の最高値を今日の終値が突破した場合、ロングポジションを持つ。 手仕舞い 益出し：＋５％ 損切り：ー３％ コード （昨日の勉強会で知ったのですが、QuantXのコードは公開＋Cloneできるんですね。ログイン後、このリンクを辿って、上にあるクローンボタンをおしてクローンしてください。） clone : https://factory.quantx.io/developer/2729d13d204b4f2db1c08385ad5d13b0 #################################################################
『Pythonデータサイエンスハンドブック』は良書（NumPy, pandasほか） | note.nkmk.me
この本は良い。原著のKindle版を持っているのに買ってしまった。 注意点と良い点を紹介する。 目次・内容 注意点 / こんな人にはオススメできない 英語版はオンラインで無料公開されている Pythonの基礎には触れられていない 良い点 / こんな人にオススメしたい NumPyの説明が（比較的）詳しい 新しいバージョンのpandasに対応 Matplotlibの説明が詳しく、サンプルが豊富 機械学習のアルゴリズムへの理解が深まる 類書との比較 『科学技術計算のためのPython入門』 『Pythonによるデータ分析入門』 まとめ 目次・内容 正式な書名は『Pythonデータサイエンスハンドブック ――Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習』。 サブタイトルにある、Jupyter（IPython）、NumPy、pa
あまりに暑いので，140年分の気温をProphetで分析した - Qiita
はじめに 統計開始以来最も暑い夏を生きる皆様，お疲れ様です．あまりに暑くてムシャクシャしたので，気象庁から約140年分（1872年1月1日-2018年7月21日）の東京の気温データを入手し，Prophetで分析しました． 以下は，過去365日分の最高気温の実測値と，2018年7月22日から1ヶ月先までの予測値を表したものです． また，以下は，最高気温のトレンドと年単位の周期性を表したものです． 分析の結果，平均・最高・最低気温の全てに関して，1920年付近から上昇し続けており，そのトレンドを考慮してもなお，ここ数日は特に暑いことを確認しました．分析に用いたNotebookはこちらです． 注：本記事は，2018年7月22日に個人サイトに投稿した記事を，Qiita向けに再構成したものです． 環境 macOS Sierra, 10.12.6 Python, 3.6.6 Prophet, 0.3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.dt.strftime.html
pandas.DataFrameの型を変えたいけど例外レコードがあってastypeできない時の対処法 - Qiita
PythonのPandasを用いた情報処理 -DataFrame編②- - Qiita
PythonでWikipediaの表を2行でスクレイピング - Qiita
機械学習でのカテゴリデータの扱い方 - Qiita
python pandas 超基礎メモ - Qiita
pandas DataFrameをs3から読む・s3に出力するメモ - Qiita
