Spotify Scio - Google Dataflow の Scala言語版 - Qiita
Google GCP(Google版AWS)のDataflowサービスを使ってみました。 Dataflowとは、その名の通り、膨大なデータをGoogleご自慢の分散環境を使用して並列で爆速処理してくれる、ビッグクエリーと同じGCPのマネージドサービスの１つです。 使用できるオフィシャルなプログラミング言語は、JavaとPythonのみですが、 Spotifyから、ScioというScalaのライブラリが提供されていますので今回使用してみました。 Dataflowでは、パイプラインを作成し、入力、変換1、変換2...変換N、出力の３ステップで構成します。関数型言語のScalaは、変換ロジックをラムダ式でコンパクトに記述できるため、Javaよりもコード量が少なくて済みます。 Spotifyでは、KafkaからDataflowへ移行する際に、Scalaで記述できるようにScioライブラリを開発した
Pandasのjson_normalizeを詳しく調べてみる - Qiita
普段、仕事で入れ子になっているデータを扱う必要のある時がぼちぼちあります（特に、スキーマレスのMongoDBのログであったりなどなど）。 BigQueryなどに入れてしまえば、WITHINなどを使ったクエリでいい感じに行列の形に変えてくれたりして簡単ではありますが、そうではない場合はPandasで大規模なデータを扱う際には結構苦労することがあります。 その辺りいい感じにやってくれるライブラリでも書くか・・と思ったところ、調べていたらPandasにjson_normalizeというAPIがあるようです。使ったことがなかったので、色々動かしつつ調べてみます。 早速動かしてみる。 まずはimport。 log_data_list = [{ 'id': 1, 'name': 'john', 'equipment_status': [{ 'equipment_id': 1, 'attack': 10
pandas.to_jsonの挙動 - Qiita
import pandas as pd df = pd.DataFrame([['a0', 'b0', 'c0'], ['a1', 'b1', 'c1']], index = ['taro', 'jiro'], columns = ['sono1', 'sono2', 'sono3']) print (df.to_json(orient = 'split')) print (df.to_json(orient = 'records')) print (df.to_json(orient = 'index')) print (df.to_json(orient = 'columns')) print (df.to_json(orient = 'values')) {"columns":["sono1","sono2","sono3"],"index":["taro","jiro"],"dat
一年の交通事故死亡率をpythonで計算する - Qiita
はじめに 二度目の投稿になります。 今回は東大出版会の「基礎統計学Ⅰ 統計学入門」の第9章「標本分布」にある練習問題9.7をpythonで実装することを目指します。 今回の問題文は以下の通り。 1988年の統計によれば、同年における10万人当たりの交通事故死亡者数、交通事故死傷者数は、次の通りであった。 各都道府県において、人口10万人の都市を考えるとき、 i）1年間の交通事故死亡者数が10人未満である確率を求めよ。 ii）1日の交通事故死傷者数が5人未満である確率を求めよ。 開発環境 python3 Jupyter Notebook 基本事項の確認 ポアソン分布 非常に起こる確率が低い（たとえば、今回のような交通事故）場合、二項分布からnp→λとしてポアソン分布を考えることができます。 定義式及びグラフは以下のようになります。 $y=\frac{\mathrm{e}^{-\lambda}
駅.Locky用の時刻表作成を自動化するぞ 1 - Qiita
はじめに Pythonをそこそこ使えるようになりたい ただただ勉強するのも面白くないので、課題探し ちょうどその頃に近隣（京阪電車）のダイヤ改正 駅.Lockyの時刻表が古くなり、手作業で時刻表データ作成 時刻表サイト ⇒ Pythonアプリ ⇒ 時刻表データ が出来たら一石二鳥！ 調べてみた 駅.Lockyの時刻表データは、NextTrain形式の時刻表記述フォーマット えきから時刻表→NextTrainデータ(tbl形式)変換サイトでTBLファイルを作ってみた ファイルがどういうものか理解できた（ファイル名の形式等も） A:中之島行 B:淀屋橋行 a:区間急行() b:準急() c:急行() d:特急() e:ライナー f:通勤準急() g:通勤快急() h:快速急行() i:快速特急()洛楽 [MON][TUE][WED][THU][FRI] 京橋駅 京阪京阪本線 淀屋橋方面(下り)
日本株システムトレードプラットフォーム QuantX でn日足（終値）を扱うアルゴリズムを実装する - Qiita
日本株システムトレードプラットフォーム QuantX でn日足（終値）を扱うアルゴリズムを実装する 背景 Python による日本株システムトレードプラットフォームである QuantX ではデフォルトでアルゴリズムの実装をする際に、1日足の株価しか取得することができません なので、n日分の株価を扱えるようにしてみようと思い、実装してみました 実装したアルゴリズム https://factory.quantx.io/developer/bb3c6f7b6b7342d5b0c907dc90e2a762 にて公開 下記がその内容のプログラムとなります。 ちなみに、BETWEEN_DAY の値を n にすることで n日足の終値を取得することができます。 ボリンジャーバンドの上端、下端を跨いだときに売買をするアルゴリズムです。 株価が下がりすぎた時を検出した場合は買い、逆の場合は売り、というのを行っ
何番煎じ？ kaggle の Titanic: Machine Learning from Disaster をやってみる。 その３ - Qiita
前回の反省 Kernelを眺めていると すばらしいまとめがありました。 https://www.kaggle.com/pliptor/how-am-i-doing-with-my-score によると僕が前回までに出した0.75598 というスコアは 全員死亡としてsubmit：0.62679 Sex, Embark, Pclass だけ考慮したら：0.76555 というわけで、僕のスコアは余計な処理をした割には凡人スコアでした。 Embark を使わなかったけど・・・ だいたい0.8が専門家との分かれ目という感じです。（0.8から何が書いてあるのかわからない） 前回断念した、名前の関連性（ファミリーか、親子か？）みたいなこともやってる方がいて、いい結果が出たそうです。 というわけで、 みんなのいいところをパクろう！ Kernelでたくさんのいいね！をもらっている以下のkernelを写経し
何番煎じ？ kaggle の Titanic: Machine Learning from Disaster をやってみる。 その1 - Qiita
Titanic: Machine Learning from Disaster タイタニック号の乗客名簿的なものから、生存者のデータを分析するチュートリアル的なやつです。 https://www.kaggle.com/c/titanic データ初見でやりながら記事を書いてるので、支離滅裂です。 素敵な解説 自分の好みに合わせて、つまみ食いします。 https://qiita.com/suzumi/items/8ce18bc90c942663d1e6 https://www.codexa.net/kaggle-titanic-beginner/ https://qiita.com/k2me14/items/ab9d71960d2b9d422c16 https://www.codexa.net/kaggle-titanic-beginner/ 道具 Python 3 Jupyter noteb
LTSVをpandasに読み込む - Qiita
LTSVは主にログファイルの形式として最近好まれているテキストフォーマットです。 http://ltsv.org/ 一行一レコード、各セルをタブで区切っているところはTSVと同じなのですが、ヘッダ行に列タイトルを付ける代わりに各セルに直接ラベルをつけた形になっています。 host:example.com url:/api/users status:200 time:2018-01-01T00:00:00+09:00 host:example.com url:/api/users status:200 time:2018-01-01T00:00:01+09:00 このような見た目。 人の目にも読みやすく機械的にもパースしやすいのが利点です。 パースしやすさのためにあえて仕様にエスケープを含めていないほど。 さてこのLTSV形式、pandasに読み込み用メソッドが用意されていません。 pand
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
csvに含まれるnanを無視する - Qiita
[pandas] read_csv のオプションだけで、時系列データとして扱いやすいデータフレームを作成する - Qiita![[pandas] read_csv のオプションだけで、時系列データとして扱いやすいデータフレームを作成する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/55d9a11fa2ef5ee608756b46001c84868ce1620a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNDgxMzMlMkZwcm9maWxlLWltYWdlcyUyRjE1MzE3MzcwMjI_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9YmQ5ZWYyNzVlZTM2NjI5OTA2Y2Q1MmY3MjhhNzhiMzA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D5506200d8873b36e54a39437d1af02b5%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCcGFuZGFzJTVEJTIwcmVhZF9jc3YlMjAlRTMlODElQUUlRTMlODIlQUElRTMlODMlOTclRTMlODIlQjclRTMlODMlQTclRTMlODMlQjMlRTMlODElQTAlRTMlODElOTElRTMlODElQTclRTMlODAlODElRTYlOTklODIlRTclQjMlQkIlRTUlODglOTclRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODElQTglRTMlODElOTclRTMlODElQTYlRTYlODklQjElRTMlODElODQlRTMlODIlODQlRTMlODElOTklRTMlODElODQlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTMlODMlOTUlRTMlODMlQUMlRTMlODMlQkMlRTMlODMlQTAlRTMlODIlOTIlRTQlQkQlOUMlRTYlODglOTAlRTMlODElOTklRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz1iMmQxN2YzMjBhMmY3YmZkZGIyMDBlNTQxMzk0OWNkOQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBhb19sb2cmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz1lNWYyNWExYmQ2ZGIzOWVjYzM5ZmE0YjVjNzk5ODllZA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5ada22cbf2a650647900778806c2649b)
[pd.read_csv] IsADirectoryError: [Errno 21] Is a directory: '[パス名]/.AppleDouble' - Qiita![[pd.read_csv] IsADirectoryError: [Errno 21] Is a directory: '[パス名]/.AppleDouble' - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a2b485a92e0ad1bde56e521b7ba7ad70fc46be/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMTkxMzEzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNjI3NDI5ODQ4P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWNmNGNiOTM3ZGVhODlhY2ZhNTk2MjBkY2U1MmFiNGYz%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253De1156aeb9b58f86c8d120282f60b239f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCcGQucmVhZF9jc3YlNUQlMjBJc0FEaXJlY3RvcnlFcnJvciUzQSUyMCU1QkVycm5vJTIwMjElNUQlMjBJcyUyMGElMjBkaXJlY3RvcnklM0ElMjAlMjclNUIlRTMlODMlOTElRTMlODIlQjklRTUlOTAlOEQlNUQlMkYuQXBwbGVEb3VibGUlMjcmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0yNjkwMTlhMDU1MWJmMDZiNjg4MDk2MDE0ODk3ZTE3Yw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBjdl9jYXJuYXZpJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MDI2Yzc5ZGQwNGJkZWYxY2UyNTE3NjE0ZjZiMDcxY2M%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D80dd9d72acd4aec1c04a6c25b6dcd985)
Apache Sparkの初心者が環境構築とPySparkでのデータ集計までやってみる - Qiita
SQLAlchemy から Pandas にデータを読み込む - Qiita
PythonのPandasライブラリを使ってNBAの試合データを操作し、最後に可視化するチュートリアル - Qiita
Pandasで読み込んだ時系列データの前処理性能比較 - Qiita
PythonでExcelのグラフ、画像挿入などをする。Openpyxlの使用例 - Qiita
pandasによるDataFrameの基本操作 - Qiita
PythonでClickHouseのSELECT結果をpandas.DataFrameに入れる - Qiita
[kaggle]手書きの数字を認識をしよう - Qiita