Spotify Scio - Google Dataflow の Scala言語版 - Qiita
Google GCP(Google版AWS)のDataflowサービスを使ってみました。 Dataflowとは、その名の通り、膨大なデータをGoogleご自慢の分散環境を使用して並列で爆速処理してくれる、ビッグクエリーと同じGCPのマネージドサービスの１つです。 使用できるオフィシャルなプログラミング言語は、JavaとPythonのみですが、 Spotifyから、ScioというScalaのライブラリが提供されていますので今回使用してみました。 Dataflowでは、パイプラインを作成し、入力、変換1、変換2...変換N、出力の３ステップで構成します。関数型言語のScalaは、変換ロジックをラムダ式でコンパクトに記述できるため、Javaよりもコード量が少なくて済みます。 Spotifyでは、KafkaからDataflowへ移行する際に、Scalaで記述できるようにScioライブラリを開発した
csvに含まれるnanを無視する - Qiita
背景 50音のローマ字をcsvでデータにまとめ、pandasで読み取るとき、 や行やワ行に含まれる空白が「NAN」という文字として扱われてしまう 空白は空白として扱いたい。 解決方法 df = df.fillna('') を使って、読み取ったデータフレームのスペースを''に変換すればOK nanの削除などは複数記事があったが置き換える記事がなかったのでメモ
Pandasのjson_normalizeを詳しく調べてみる - Qiita
普段、仕事で入れ子になっているデータを扱う必要のある時がぼちぼちあります（特に、スキーマレスのMongoDBのログであったりなどなど）。 BigQueryなどに入れてしまえば、WITHINなどを使ったクエリでいい感じに行列の形に変えてくれたりして簡単ではありますが、そうではない場合はPandasで大規模なデータを扱う際には結構苦労することがあります。 その辺りいい感じにやってくれるライブラリでも書くか・・と思ったところ、調べていたらPandasにjson_normalizeというAPIがあるようです。使ったことがなかったので、色々動かしつつ調べてみます。 早速動かしてみる。 まずはimport。 log_data_list = [{ 'id': 1, 'name': 'john', 'equipment_status': [{ 'equipment_id': 1, 'attack': 10
[pandas] read_csv のオプションだけで、時系列データとして扱いやすいデータフレームを作成する - Qiita
この記事では、pandas の read_csv のオプションだけで、時系列データとして扱いやすいデータフレームを作成する方法を示します。Jupyter Notebook 上で作業していることを前提にします。 結論 気象庁が公開している csv を、以下のオプション指定で読み込みます。 df = pd.read_csv('data.csv', encoding='SHIFT-JIS', # 文字コードを指定 skiprows=6, # 読み飛ばす先頭行数を指定 usecols=[0, 1, 4, 7], # どの列を読み込むかを指定 names=['date', 'average', 'high', 'low'], # カラム名を設定 parse_dates=['date'], # datetime で読み込むカラムを指定 index_col=['date']) # インデックスにするカラ
![[pandas] read_csv のオプションだけで、時系列データとして扱いやすいデータフレームを作成する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/631436be510dfe08c48d9cf821233ce2b9f880a1/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcGFuZGFzJTVEJTIwcmVhZF9jc3YlMjAlRTMlODElQUUlRTMlODIlQUElRTMlODMlOTclRTMlODIlQjclRTMlODMlQTclRTMlODMlQjMlRTMlODElQTAlRTMlODElOTElRTMlODElQTclRTMlODAlODElRTYlOTklODIlRTclQjMlQkIlRTUlODglOTclRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODElQTglRTMlODElOTclRTMlODElQTYlRTYlODklQjElRTMlODElODQlRTMlODIlODQlRTMlODElOTklRTMlODElODQlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODMlOTUlRTMlODMlQUMlRTMlODMlQkMlRTMlODMlQTAlRTMlODIlOTIlRTQlQkQlOUMlRTYlODglOTAlRTMlODElOTklRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWRhZDVjZDJjMGEyZGVkMmU5OTA2ODcyNGZhOWJmYWJi%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBhb19sb2cmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTVjY2U5ZDJhMTJlMmM4ZWJiZjM5Mzg2MTNkODg5YWNk%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5da3380ee46e1bae0d289d9a01af1b0f)
pandas.to_jsonの挙動 - Qiita
import pandas as pd df = pd.DataFrame([['a0', 'b0', 'c0'], ['a1', 'b1', 'c1']], index = ['taro', 'jiro'], columns = ['sono1', 'sono2', 'sono3']) print (df.to_json(orient = 'split')) print (df.to_json(orient = 'records')) print (df.to_json(orient = 'index')) print (df.to_json(orient = 'columns')) print (df.to_json(orient = 'values')) {"columns":["sono1","sono2","sono3"],"index":["taro","jiro"],"dat
一年の交通事故死亡率をpythonで計算する - Qiita
はじめに 二度目の投稿になります。 今回は東大出版会の「基礎統計学Ⅰ 統計学入門」の第9章「標本分布」にある練習問題9.7をpythonで実装することを目指します。 今回の問題文は以下の通り。 1988年の統計によれば、同年における10万人当たりの交通事故死亡者数、交通事故死傷者数は、次の通りであった。 各都道府県において、人口10万人の都市を考えるとき、 i）1年間の交通事故死亡者数が10人未満である確率を求めよ。 ii）1日の交通事故死傷者数が5人未満である確率を求めよ。 開発環境 python3 Jupyter Notebook 基本事項の確認 ポアソン分布 非常に起こる確率が低い（たとえば、今回のような交通事故）場合、二項分布からnp→λとしてポアソン分布を考えることができます。 定義式及びグラフは以下のようになります。 $y=\frac{\mathrm{e}^{-\lambda}
Apache Sparkの初心者が環境構築とPySparkでのデータ集計までやってみる - Qiita
はじめに Apache Sparkの初心者がPySparkで、DataFrame API、SparkSQL、Pandasを動かしてみた際のメモです。 Hadoop、Sparkのインストールから始めていますが、インストール方法等は何番煎じか分からないほどなので自分用のメモの位置づけです。 お試し用に以下のバージョンのHadoop(HDFS)とSparkをインストールします。 ・Apache Hadoop 3.1.1 ・Apache Spark 2.3.2 OSはCentOS 7.4を使用します。 お試しですので、Hadoopは疑似分散を使用します。 HadoopはSpark付属のものでも良かったのですが、今回は別にインストールしています。 Sparkはスタンドアロンモードを使用します。 JDKインストール 最初にOpenJDK 8をインストールします。 # yum -y install ja
駅.Locky用の時刻表作成を自動化するぞ 1 - Qiita
はじめに Pythonをそこそこ使えるようになりたい ただただ勉強するのも面白くないので、課題探し ちょうどその頃に近隣（京阪電車）のダイヤ改正 駅.Lockyの時刻表が古くなり、手作業で時刻表データ作成 時刻表サイト ⇒ Pythonアプリ ⇒ 時刻表データ が出来たら一石二鳥！ 調べてみた 駅.Lockyの時刻表データは、NextTrain形式の時刻表記述フォーマット えきから時刻表→NextTrainデータ(tbl形式)変換サイトでTBLファイルを作ってみた ファイルがどういうものか理解できた（ファイル名の形式等も） A:中之島行 B:淀屋橋行 a:区間急行() b:準急() c:急行() d:特急() e:ライナー f:通勤準急() g:通勤快急() h:快速急行() i:快速特急()洛楽 [MON][TUE][WED][THU][FRI] 京橋駅 京阪京阪本線 淀屋橋方面(下り)
SQLAlchemy から Pandas にデータを読み込む - Qiita
Pandas で SQL からデータを読み込むにはどうすれば良いだろうか? pandas.read_sql_query を読むと、どうやら SQL 文をそのまま書く方法と、SQLAlchemy という OR マッパを使う方法と二つがあったので、両方試してみた。例えばこんな感じのテーブルがある時: CREATE TABLE EventData ( deviceID varchar(64), timestamp int(10) unsigned, latitude double, longitude double, primary key (deviceID, timestamp) ); import pandas as pd from sqlalchemy import create_engine, MetaData, Table, Column, String, Float, Intege
PythonのPandasライブラリを使ってNBAの試合データを操作し、最後に可視化するチュートリアル - Qiita
Introduction to Pandas Using Play-By-Play チュートリアルの説明文は、超意訳です python 3.6.5 です。チュートリアルは 2.7.10 なので 、チュートリアルを一部 python 3.x系で動くよう変えています Abstract Pandasの基本的なコマンドを実行し、NBAのサンプルデータを分析します。 サンプルデータはPandasで読み込めるカンマ区切りのCSVファイルです。 1. Python: Data Manipulation このドキュメントでは、Python環境でPandasを使ってデータを分析する方法を検討します。 Pandasのデータフレーム（DataFrame）を使ってCSVファイルを扱い、他のPythonパッケージでさらに処理できるよう、簡単な計算や加工をします。 ここでは、2016年3月12日 オクラホマシティ・サ
Pandasで読み込んだ時系列データの前処理性能比較 - Qiita
# データの作成 def create_data(data_size=10**7): dt = np.random.randint(low=1.5*10**10, high=1.5*10**10+10**8, size=data_size, dtype=np.int64) user = np.random.randint(low=1, high=10**5, size=data_size, dtype=np.int64) data = np.random.randint(low=1, high=10**8, size=data_size, dtype=np.int64) df = pd.DataFrame( {'dt': dt, 'user': user, 'data': data, } ) # 時間のみでソート df.sort_values('dt', inplace=True) df.
PythonでExcelのグラフ、画像挿入などをする。Openpyxlの使用例 - Qiita
PythonでExcelファイルをいじる Pythonでデータ分析などをしたときに最終的に(偉い人や非エンジニア向け)にExcelで出す必要があることも多いかと思います。 そのときに、openpyxlを使うと便利でした。 openpyxlほか必要なパッケージのインストール Anaconda(Miniconda)を使って、必要なパッケージをインストールしました。 インストールしたパッケージ - python ver.3.6.5 - openpyxl ver.2.5.8 - pandas ver.0.23.4 - numpy ver.1.15.1 - opencv ver.3.4.2 - xlrd ver.1.1.0 - pillow ver.5.3.0 例えば、以下のようにAnaconda PromptからAnacondaの仮想環境を作ります。 conda create -n excel p
pandasによるDataFrameの基本操作 - Qiita
DataFrame.map()による列の追加及び列のデータの更新 リスト内包表記による列の追加及び列のデータの更新 を追加しました。(2018/01/02) pandasによるDataFrameの操作について随時まとめていきます。 基本的なことばかりですが、ご了承ください。。 import pandas as pd #pandasライブラリをimport import seaborn as sns #seabornライブラリをimport df=sns.load_dataset("iris") #dfにiris データセットを代入 sepal_length sepal_width petal_length petal_width species 0 5.1 3.5 1.4 0.2 setosa 1 4.9 3.0 1.4 0.2 setosa 2 4.7 3.2 1.3 0.2 setos
日本株システムトレードプラットフォーム QuantX でn日足（終値）を扱うアルゴリズムを実装する - Qiita
背景 Python による日本株システムトレードプラットフォームである QuantX ではデフォルトでアルゴリズムの実装をする際に、1日足の株価しか取得することができません なので、n日分の株価を扱えるようにしてみようと思い、実装してみました 実装したアルゴリズム https://factory.quantx.io/developer/bb3c6f7b6b7342d5b0c907dc90e2a762 にて公開 下記がその内容のプログラムとなります。 ちなみに、BETWEEN_DAY の値を n にすることで n日足の終値を取得することができます。 ボリンジャーバンドの上端、下端を跨いだときに売買をするアルゴリズムです。 株価が下がりすぎた時を検出した場合は買い、逆の場合は売り、というのを行っております。 import pandas as pd import talib as ta impo
何番煎じ？ kaggle の Titanic: Machine Learning from Disaster をやってみる。 その３ - Qiita
何番煎じ？ kaggle の Titanic: Machine Learning from Disaster をやってみる。 その３pandasKaggle 前回の反省 Kernelを眺めていると すばらしいまとめがありました。 https://www.kaggle.com/pliptor/how-am-i-doing-with-my-score によると僕が前回までに出した0.75598 というスコアは 全員死亡としてsubmit：0.62679 Sex, Embark, Pclass だけ考慮したら：0.76555 というわけで、僕のスコアは余計な処理をした割には凡人スコアでした。 Embark を使わなかったけど・・・ だいたい0.8が専門家との分かれ目という感じです。（0.8から何が書いてあるのかわからない） 前回断念した、名前の関連性（ファミリーか、親子か？）みたいなこともやって
何番煎じ？ kaggle の Titanic: Machine Learning from Disaster をやってみる。 その1 - Qiita
タイタニック号の乗客名簿的なものから、生存者のデータを分析するチュートリアル的なやつです。 https://www.kaggle.com/c/titanic データ初見でやりながら記事を書いてるので、支離滅裂です。 素敵な解説 自分の好みに合わせて、つまみ食いします。 https://qiita.com/suzumi/items/8ce18bc90c942663d1e6 https://www.codexa.net/kaggle-titanic-beginner/ https://qiita.com/k2me14/items/ab9d71960d2b9d422c16 https://www.codexa.net/kaggle-titanic-beginner/ 道具 Python 3 Jupyter notebook Pandas XGBOOST Google colaboratory 前
LTSVをpandasに読み込む - Qiita
LTSVは主にログファイルの形式として最近好まれているテキストフォーマットです。 http://ltsv.org/ 一行一レコード、各セルをタブで区切っているところはTSVと同じなのですが、ヘッダ行に列タイトルを付ける代わりに各セルに直接ラベルをつけた形になっています。 host:example.com url:/api/users status:200 time:2018-01-01T00:00:00+09:00 host:example.com url:/api/users status:200 time:2018-01-01T00:00:01+09:00 このような見た目。 人の目にも読みやすく機械的にもパースしやすいのが利点です。 パースしやすさのためにあえて仕様にエスケープを含めていないほど。 さてこのLTSV形式、pandasに読み込み用メソッドが用意されていません。 pand
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[pd.read_csv] IsADirectoryError: [Errno 21] Is a directory: '[パス名]/.AppleDouble' - Qiita![[pd.read_csv] IsADirectoryError: [Errno 21] Is a directory: '[パス名]/.AppleDouble' - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d7969948a3d79958e7a578bf7dc987b383f39c9e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcGQucmVhZF9jc3YlNUQlMjBJc0FEaXJlY3RvcnlFcnJvciUzQSUyMCU1QkVycm5vJTIwMjElNUQlMjBJcyUyMGElMjBkaXJlY3RvcnklM0ElMjAlMjclNUIlRTMlODMlOTElRTMlODIlQjklRTUlOTAlOEQlNUQlMkYuQXBwbGVEb3VibGUlMjcmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWFiNzgzYmU4NzMzMDY0YzcxMTZmNjA1ODQzYzYzOWIx%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBjdl9jYXJuYXZpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01NjBkZTI1ZjY4ZjgxMDg4OWM2ZGY3N2RmZWM3ZTU0Yw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D708a306c9f7232d010a883047a8f7426)
PythonでClickHouseのSELECT結果をpandas.DataFrameに入れる - Qiita
[kaggle]手書きの数字を認識をしよう - Qiita