現実の CSV ファイルのデータを BigQuery に load する仕組みを作るという泥臭い作業を dlt でやってみる
インストールされたバージョンを確認。 $ dlt --version dlt 0.3.25 また、gsfs, pandas, streamlit, google-cloud-bigquery-storage も必要になるのでインストールしておく。 2. pipeline project を作成#次のコマンドで pipeline project を用意する。 これは verified source として Filesystem、destination として DuckDB を指定して pipeline project を作るという意味。 Filesystem はローカルのファイルシステムや S3, GCS のようなクラウドストレージからファイルを読むことが可能。 このコマンドが成功すると次のようなディレクトリ構造が作られる。 . ├── .dlt │ ├── .sources │ ├── c
xlsxファイルにSQLを実行するxlsxsql - Qiita
xlsxファイルに対してSQLを実できるxlsxsqlというツールを作りました。 GitHubのxlsxsqlからダウンロードできます。 これは何？ xlsxsqlは、xlsxファイルに対してSQLを実行するツールです。 また、CSV,LTSV,JSON,YAMLといったファイルに対してSQLを実行することもでき、その結果をxlsxファイルに出力することもできます。 trdsqlにxlsxファイルの読み書き機能を追加したものになります。 使い方 単純にファイルをテーブルとして指定できます。 -oまたは-outオプションは出力ファイル形式を指定します。 CSV, LTSV, JSON, JSONL, YAML, TBLN, AT, MD等が指定できます。
【自動化】PDF内の表をPythonで抜き出す - Qiita
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
機械学習による株価予測 はじめようNumerai - Qiita
はじめに 一般の方は耳にしたことがないだろうが、「Numerai（ヌメライ）」というヘッジファンドがある。2016年後半から2017年前半くらいにWiredやForbes等のメディアに取り上げられ、界隈で少し名が知られるようになったヘッジファンドだ。このヘッジファンドはいわゆるクラウドソーシング型ファンドと呼ばれる、不特定多数の人間による株価の予測結果をもとに運用するヘッジファンドである。 筆者も2017年頃、Numeraiに参加したことがある。Numeraiの方式は予測結果に基づいてランキングされるトーナメント方式であり、つまりKaggleのようなものだ。トーナメントは毎週開催され、ランキング上位には暗号通貨で報酬が支払われる。しかし当時のトーナメントは、ランキングの基準が不明瞭であり、その順位変動がとてつもなく激しく（TOP10に入っていたのに翌週は100位以下に落ちる等）、いわゆる運
【Excel】毎日集計のCSVファイルもクエリ機能で一発自動更新
ExcelでCSV／テキストファイルを読み込む 拡張子が「.csv」のタブ区切りファイルを読み込むと、正しくセルに読み込めないことがある。毎回、セルに正しく値を読み込ませるために区切り記号を置換するなどしていないだろうか。CSV／テキストファイルを効率よく読み込む方法を解説する。 カンマ区切りファイル形式（以下、CSV：Comma Separated Values）やタブ区切りのテキストファイルは、さまざまなプログラムで出力形式としてサポートされている。そのため、これらの形式のファイルを「Microsoft Excel（エクセル）」で読み込んで、集計するといった作業が比較的広く行われている。 CSVファイルなどは、デフォルトでExcelと関連付けされているため、エクスプローラーでこれをダブルクリックして開いている人も少なくないだろう。しかし、CSVファイルなどをエクスプローラーでダブルクリ
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
意外と奥が深い、HDFの世界（Python・h5py入門） - Qiita
※数値はWhat is the fastest way to upload a big csv file in notebook to work with python pandas?より引用 pickleがPythonオブジェクトをダイレクトに扱う（そのための制約やセキュリティ関係での配慮の必要性などが少しある）のを考えれば、CSVなどと比べればHDF5でも必要十分と言えそうです。 他の言語でも使える pickleだと基本的に他の言語で扱えません。私の今いる会社だとPython以外にもRだったりを使っている方がいらっしゃいますし、他の会社ではJavaなりGoなりで扱う必要が出てくるケースもあるかもしれません。 また、pickleではPythonバージョンによるプロトコル番号的なところも絡んできます。 （とはいえ、もうPython2系を新しく使い始めるケースはほぼ無いと思いますし、万一必要
csvdiff - CSVに特化した差分ビューワー
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました CSVファイルは今なおシステムの中で現役ばりばりに利用されています。様々なシステムから出力されるCSVファイルに対して、差分を確認したいと考えることはないでしょうか。通常の差分表示では、CSVのようなフォーマットではうまく表示できないかも知れません。 そこで使ってみたいのがcsvdiffです。CSVに特化した差分表示コマンドです。 csvdiffの使い方 普通にコマンドを打ったところです。追加された行、修正された行が確認できます。 $ csvdiff asof.csv asof2.csv # Additions (1) + 20160525 13:15:00.075,AAPL,98.65,10,NASDAQ,98.55,98.56 # Modifications (19) - 20
Python で大量のファイルを並列で速く読み込む - Qiita
from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 columns = [f'col{i}' for i in range(col_n)] for i in range(10000): df = pd.DataFrame(np.random.randn(row_n, col_n), columns=columns) df.to_csv(f'data/{i:04}.csv',
【超簡単】エクセルVBAでCSVファイルを読み込むマクロ
VBAでCSVファイルを読み込むための「汎用CSV読み込みマクロ」を作りました。 CSVファイルを読み込むとき、通常の手順で開こうとすると次のように面倒な場合があります。 「1-2-3」→「2001/2/3」 「09012345678」→「9012345678」、など内容が変化してしまう 文字化けしてしまう テキストファイルウィザードで、データの形式を「文字列」に直すのが面倒くさい このページで紹介するマクロを使えば、このようなトラブルが避けられます。 若干、VBAの知識が必要になりますが、少し引数を指定するだけで、ファイルを適切に取り込むことができます。 他のホームページで公開されているマクロとは違い、かなり汎用性が高いプログラムだと思いますので、ぜひ、試してみてください。 このページで公開しているマクロでは、下記のような処理に対応しています。 文字列、金額のカンマ区切り、和暦など指定し
まだ CSV の文字化けで消耗してるの？（Excel で直接開いても文字化けしない CSVファイルを Python3 で作成するスマートな方法） - akiyoko blog
この投稿は 「python Advent Calendar 2017 - Qiita」 の 9日目の記事です。 こんにちは、akiyoko です。 「Python Advent Calendar」は 4年連続 4度目の参加になります。 *1, *2, *3 はじめに 皆さん、CSV は好きですよね？ Excel も大好きですね？ じゃあ当然、CSVファイルは Excel で開きますよね。 文字化けは？ ・・もちろん嫌いですよね。 でも CSVファイルを Excel で開こうとしたときに、こんな文字化け地獄を経験したことはありませんでしたか？ *4 ということで今回は、Excel で直接開いたときに文字化けしない CSV ファイルを Python3 で作成する方法 を紹介したいと思います。（おまけで Python2 でのやり方も書いておきますが、今時 Python2 で消耗している人なんてい
Pythonでシスコルータの型名とシリアル番号の収集を自動化してみた - kooshinlab / コーシンラボ
ネットワークの自動化ネタのとして、シスコルータにログインして、型名とシリアル番号を自動的に収集してCSV形式でファイル保存するPythonスクリプトを試作してみました。 今回はPythonライブラリのnetmikoとtextfsm+ntc-templatesを利用しました。 シスコルータの型名とシリアル番号の一覧（CSV形式） やること ネットワークのオペレーションを自動化するために、Pythonスクリプトの試作をしました。 シスコルータ(IOS、IOS XE、IOS XR、NX-OS)の型名とシリアル番号を収集して、CSV形式でファイルに出力します。 Pythonライブラリのnetmikoで、ルータにSSHでログインし、CLIでshow inventoryコマンドを実行して、型名とシリアル番号を取得します。 Pythonライブラリのtextfsm+ntc-templatesを利用して、コ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Excelを超えるCSV編集機能で生産性を上げる ～「EmEditor」の真の力を引き出す【初心者からEmEditorの達人になる！】
最強のCSVエディター「EmEditor」はExcelの代わりにも使える ～テキスト編集上級者への道【初心者からEmEditorの達人になる！】
Windows/Mac/Linux対応のシンプルなタブ切り替え型CSVエディター「CSV+」が公開／作者のWebサイトから無償でダウンロード可能
CSV/TSVファイルをExcelのようにテーブル表示 ～「WinMerge 日本語版」v2.16.6+-jp-11／表計算ソフト風の見た目でファイルの差分を表示可能
【python】csvファイルの読み込みを使いこなす。pandas.read_csvの主要オプション一覧。 - Qiita
pythonを使った株価の自動収集 - Qiita
【特別企画】「Excel」より軽快、高機能！「EmEditor」の“CSVモード”を徹底解説
【特別企画】Excelのお株を奪う？ 「EmEditor」は連番入力や氏名の分割・結合も自動化できる！
