救急病院のページを取得（csrf） - メモ
curl -c cookie01.txt -s -L -X GET "https://www.qq.pref.ehime.jp/qq38/WP0805/RP080501BL" | hxnormalize -x > qq.html CSRF=$(cat qq.html | hxselect 'input[name="_csrf"]::attr(value)' | cut -d= -f2 | tr -d '"') URL=$(cat qq.html | hxselect 'form[id="_wp0805Form"]::attr(action)' | cut -d= -f2 | tr -d '"' | sed 's;^/;https://www.qq.pref.ehime.jp/;;') curl -b cookie01.txt -X POST -d "torinBlockDetailInfo
兵庫県の新型コロナウイルスに感染した患者の状況をデータラングリング - メモ
web.pref.hyogo.lg.jp 重複除去 最新のファイルはスクレイピングで取得 import pathlib import re from urllib.parse import urljoin import pandas as pd import requests from bs4 import BeautifulSoup def fetch_soup(url, parser="html.parser"): r = requests.get(url) r.raise_for_status() soup = BeautifulSoup(r.content, parser) return soup def fetch_file(url, dir="."): p = pathlib.Path(dir, pathlib.PurePath(url).name) p.parent.mkdi
e-Statの趣味・娯楽の種類別行動者率をデータラングリング - メモ
www.e-stat.go.jp exploratory.io import pandas as pd df1 = pd.read_excel( "https://www.e-stat.go.jp/stat-search/file-download?statInfId=000031577984&fileKind=0", header=None, ) df1.to_csv("data.tsv", sep="\t") # 行カウント確認 df1.notnull().sum(axis=0) # 列カウント確認 df1.notnull().sum(axis=1) df1 # テキスト埋め df1.iat[7, 7] = "男女" df1.iat[7, 10] = "年齢" df1.iat[7, 12] = df1.iat[6, 12] df1.iat[7, 13] = df1.iat[6, 13]
Pandasでデータラングリングでよく使うもの - メモ
github.com jakevdp.github.io import pandas as pd df1 = pd.read_excel("URL", sheet_name=0, header=None) # Excelないとき df1.to_csv("data.tsv", sep="\t") # 行カウント確認 df1.notnull().sum(axis=0) # 列カウント確認 df1.notnull().sum(axis=1) # テキスト埋め df1.iloc[行, 列] = "テキスト" # テキスト絞り込み df2 = df1.loc[df1.notnull().sum(axis=1) > 2, df1.notnull().sum() > 2].copy() # 下方向 df2.fillna(method="ffill", inplace=True) # 右方向 df2.fi
pandasで2018年の投手貢献度を計算 - メモ
qiita.com pandasで計算 import pandas as pd url = 'https://baseball-data.com/stats/pitcher-all/era-1.html' dfs = pd.read_html(url, index_col=0) league = pd.DataFrame({ 'チーム': [ '広島', '阪神', 'DeNA', '巨人', '中日', 'ヤクルト', 'ソフトバンク', '西武', '楽天', 'オリックス', '日本ハム', 'ロッテ' ], 'リーグ': [ 'セントラル', 'セントラル', 'セントラル', 'セントラル', 'セントラル', 'セントラル', 'パシフィック', 'パシフィック', 'パシフィック', 'パシフィック', 'パシフィック', 'パシフィック' ] }) league df =
herokuでtwitter botを定時実行 - メモ
pipenv install python-twitter pipenv install html5lib pipenv install beautifulsoup4 pipenv install apscheduler pipenv install requests pipenv run pip freeze > requirements.txt echo "python-3.6.7" > runtime.txt echo "clock: python clock.py" > Procfile git config --global user.name "xxxxx" git config --global user.email "xxxxx@gmail.com" rm -rf .git git init git add . git commit -m "my first commit"
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
