xlsxファイルにSQLを実行するxlsxsql - Qiita
xlsxファイルに対してSQLを実できるxlsxsqlというツールを作りました。 GitHubのxlsxsqlからダウンロードできます。 これは何？ xlsxsqlは、xlsxファイルに対してSQLを実行するツールです。 また、CSV,LTSV,JSON,YAMLといったファイルに対してSQLを実行することもでき、その結果をxlsxファイルに出力することもできます。 trdsqlにxlsxファイルの読み書き機能を追加したものになります。 使い方 単純にファイルをテーブルとして指定できます。 -oまたは-outオプションは出力ファイル形式を指定します。 CSV, LTSV, JSON, JSONL, YAML, TBLN, AT, MD等が指定できます。
csvのデータを、特定のセルを指定して貼り付けたい
前提・実現したいこと csvのデータをコピーし、エクセルの特定のセルを指定して、 そのセルを起点として貼り付けたいです。 （貼り付け先を指定できれば、エクセルではなくcsvファイルに貼り付けるのでも問題ないです。） 例えば、下記のように複数セルにまたがっている情報すべてをコピペして、 エクセルファイルのA2セルが起点になるように貼り付けたいです。 A1 B1 data_1 0 1 data_2 0 2 （ちなみにですが、このあと、複数のcsvファイルを読み込み、 それぞれ、同じファイル上で別の貼り付け先のセルを指定して、貼り付けたいと考えています。） 発生している問題・エラーメッセージ Traceback (most recent call last): File "C:/Users/xx/Desktop/test/merge_csv_test.py", line 11, in <modu
【Python】CSVを開いてエクセルに貼り付ける方法｜独学素人の限界突破Blog
CSVを開いてエクセルに貼り付ける方法ダウンロードしてきたCSVを開いて、別のエクセルに貼り付ける方法。 # -*- coding: utf-8 -*- import pandas as pd import openpyxl # csvファイルを読み込む frame = pd.read_csv(r"C:\Users\oono\Desktop\aaaa.csv",encoding='Shift_JIS') # エクセルファイルに書き込む writer = pd.ExcelWriter(r"C:\Users\oono\Desktop\aaaa.xlsx") frame.to_excel(writer,'Sheet1',index=False) # header=False # 保存 writer.save()
Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ
MySQLリモートDBの結果をローカルCSVファイルに出力する方法 | 開発メモるアル
MySQLのデータをCSVファイルに出力したい場合、 SELECT … INTO OUTFILE 構文を使うのがよくあるパターンなのですが、 DBサーバーがリモートホスト上にある場合はこの方法が使えません。 CSVファイルに出力するコマンド このコマンドで、リモートDBの結果をローカルCSVファイルに出力できます。 構文 mysql -u [ユーザー名] -p -h [DBサーバーホスト名] [DB名] -e "`cat [実行SQLファイル名]`" | sed -e 's/\t/,/g' > [出力CSVファイルパス] 実行例 $ mysql -u test -p -h dbhost testdb -e "`cat outcsv.sql`" | sed -e 's/\t/,/g' > /tmp/test.csv いろいろ調べた結果たどり着いたのが以上の方法です。 理由とか気にならない人は
Spring Boot + Flywayでコードによるデータベースマイグレーション - Qiita
Spring BootでFlywayを使ってマイグレーションを行なっているのですが、初期データをCSVから加工して投入したいことがあったので、コードによるマイグレーションを試してみました。 Java-based migrations Java-based migrationsのページに書いてある手順で、CSVを取り込んで加工するJavaクラスを作成します。 マイグレーション用のJavaクラス作成 src/main/java配下にdb.migration配下にこちらのページに書いてある命名形式でクラスを作成します。 基本的にマイグレーション用のSQLの命名規則と同じです。 作成したクラスにJdbcMigrationもしくはSpringJdbcMigrationを継承します。 今回はSpring Bootを使用しているので、SpringJdbcMigrationを継承し、migrateメソッド
Python で大量のファイルを並列で速く読み込む - Qiita
from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 columns = [f'col{i}' for i in range(col_n)] for i in range(10000): df = pd.DataFrame(np.random.randn(row_n, col_n), columns=columns) df.to_csv(f'data/{i:04}.csv',
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pandas.DataFrame.to_excel — pandas 2.2.2 documentation
PythonでCSVデータをExcelに貼り付ける
【Python】PandasでCSVファイルを読み込み/書き出しする実践テクニック集
Pythonでcsvファイルにデータを書き込みをする基本中の基本
【Python実践】PythonでExcel操作！マクロで仕事を自動化しよう | 侍エンジニアブログ