Pythonでヘッダ付csvを読むならDictReaderがとても便利 | ABC DX Tech Blog
PythonのcsvモジュールのDictReader/DictWriterを使う 事の発端: Pythonの各種モジュール、使いこなしきれていない問題 皆さん、ChatGPT 使ってますか？どんな用途においてもとても便利ですよね。 正しいレスポンスを引き出すためのプロンプトエンジニアリングの技術が求められる新時代の到来を日々感じています。 実際、私自身もめちゃくちゃ使っています。ちょっとしたスクリプトは抽象化しながらChatGPTに投げたらなんでも教えてくれるのでかなり助かっています。まさに有能な後輩を獲得した気持ちです。(本当はリアルに有能な後輩を獲得したいところですが…) だいたいは自分の想像通りのレスポンスが獲得されますが、ある日、csvで特定のカラムを置換するコードをお願いしてみたところ… という回答が得られまして、質問文が若干雑なのも気にはなりますが、ここで出てきた csv.Di
RFC 4180: Common Format and MIME Type for Comma-Separated Values (CSV) Files
Network Working Group Y. Shafranovich Request for Comments: 4180 SolidMatrix Technologies, Inc. Category: Informational October 2005 Common Format and MIME Type for Comma-Separated Values (CSV) Files Status of This Memo This memo provides information for the Internet community. It does not specify an Internet standard of any kind. Distribution of this memo is unlimited. Copyright Notice Copyright
ワンライナーで CSV に対して SQLite クエリを実行する - アルパカの徒然文
One-liner for running queries against CSV files with SQLite という記事で紹介されていた、ワンライナーを使って CSV ファイルに対して SQL クエリを実行する方法。 $ sqlite3 :memory: -cmd '.mode csv' -cmd '.import taxi.csv taxi' \ 'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count' ソース元に記述されてる通り、taxi.csv を GitHub からダウンロードして試すことができる。7z で圧縮されていて解凍する必要がある。 SQLite は通常ストレージディスク（SSD とか）上に保存して利用するのが一般的だが、SQLite 側で用意さ
pandasでCSV/TSVファイル読み込み（read_csv, read_table） | note.nkmk.me
pandasでCSVファイルやTSVファイルをDataFrameとして読み込むにはread_csv()を使う。 pandas.read_csv — pandas 2.0.3 documentation IO tools (text, CSV, HDF5, …) - CSV & text files — pandas 2.0.3 documentation CSVファイルへの書き込み・追記については以下の記事を参照。 関連記事: pandasでCSVファイルの書き込み・追記（to_csv） pandasでのExcel, JSON, pickleファイルの読み書き（入出力）については以下の記事を参照。 関連記事: pandasでExcelファイル（xlsx, xls）の読み込み（read_excel） 関連記事: pandasでExcelファイル（xlsx, xls）の書き込み（to_exce
GitHub - mechatroner/RBQL: 🦜RBQL - Rainbow Query Language: SQL-like query engine for (not only) CSV file processing. Supports SQL queries with Python and JavaScript expressions.
If you use RBQL as a library it is possible to support additional formats with some customizations. Main Features Use Python or JavaScript expressions inside SELECT, UPDATE, WHERE and ORDER BY statements Supports multiple input formats Result set of any query immediately becomes a first-class table on its own No need to provide FROM statement in the query when the input table is defined by the cur
SQLite is not a toy database
English • Russian • Spanish Whether you are a developer, data analyst, QA engineer, DevOps person, or product manager - SQLite is a perfect tool for you. Here is why. A few well-known facts to get started: SQLite is the most common DBMS in the world, shipped with all popular operating systems.SQLite is serverless.For developers, SQLite is embedded directly into the app.For everyone else, there is
Flaskでcsvダウンロード機能を作成する - Qiita
ダウンロードするデータは以下のような形式になってるとします。シンプルなFlaskアプリケーションで、今回はusersテーブルを作成しておきましょう。このテーブルのデータをDBから取得して、csv形式でダウンロードできるようにします。 from flask_sqlalchemy import SQLAlchemy from datetime import datetime from io import StringIO app = Flask(__name__) DB_URL = <DBのURI> app.config['SQLALCHEMY_DATABASE_URI'] = DB_URI app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False db = SQLAlchemy(app) #サンプルデータのスキーマ class User(db.
データベース アーキテクチャの設計 - Azure Reference Architectures
この記事では、Azure アーキテクチャ センターで説明した Azure データベース ソリューションの概要を示します。 Apache®、Apache Cassandra®、および Hadoop のロゴは、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。 Azure Databaseソリューションには、従来のリレーショナルデータベース管理システム（RDBMSとOLTP）、ビッグデータおよび分析ワークロード（OLAP を含む）、NoSQLワークロードが含まれます。 RDBMS のワークロードには、オンライン トランザクション処理 (OLTP) とオンライン分析処理 (OLAP) が含まれます。 組織内の複数のソースか
Sentryのissue一覧をcsv形式でexportする - Qiita
※queryに指定できるパラメータは以下を参照してください。 https://docs.sentry.io/product/sentry-basics/search/#issue-properties API Reference https://docs.sentry.io/api/events/get-project-group-index/ issues一覧をcsv形式でエクスポートする 指定期間内のissue一覧の指定項目をcsv形式で./data/ディレクトリにエクスポートします。 手順 以下の手順に沿って実行してください。 1. 事前にAuth Tokenを作成します https://sentry.io/settings/account/api/auth-tokens/ 2. 以下のpythonプログラムと同階層に data ディレクトリを作成してください 3. paramsのパ
Opensource bar chart race generator
Input should be a csv file. Dates should be YYYY-MM-DD. Option 1 : one row per date (ordered) and one column per contender Date Name1 Name2
Kindle蔵書一覧を取得する方法 - Qiita
Kindleの蔵書が1万冊を超えてきて、そろそろ蔵書管理したくなり、 蔵書一覧を取得する方法を調べたので、まとめておく。 概要 蔵書一覧の取得方法としては大きく2つあり、 コンテンツと端末の管理ページからスクレイピングする方法と、 Kindle Cloud Readerが使っているWeb SQL Databaseのクライアント側のDBからそのまま取得する方法がある。 後者のほうが簡単なため、ここでは後者の方法について記載する。 （前者の方法が知りたい方は、https://qiita.com/yshr1982/items/072e8b44d456f6d9358bなどを参考にしてください。) // 追記 上記の２つの方法以外のやり方を情報共有してもらったので追記。 @error_401さんから頂いた情報によると Kindle for PCを利用している場合、本の情報が入ったXMLが生成されるた
MNISTのデータをCSVに変換する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、前回ダウンロードしてきたMNISTのデータをCSVに変換しました。 今までバイナリデータをちゃんと扱ったことがなかったので、とても勉強になりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 MNISTのデータのダウンロードまでは、前回の記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 MNISTのデータをCSVに変換する 1.MNISTのデータ構造 2.全体像 3.ラベルファイルとイメージファイルを開く 4.ヘッダー情報を読み込む 5.画像データを読み込んでCSVで保存 6.うまく取り出せたかどうかPGMで保存して確認 7.出力件数を指定して出力 8.コマンドラインか
コロナウイルス(COVID-19)のデータを地図上に可視化してみる - 虎の穴開発室ブログ
皆さんこんにちは。虎の穴ラボのY.Fです。 ちょっと前から、虎の穴ラボも原則リモートになったのでこのブログも自宅から書いてます。 (リモートワークの様子はこちら) toranoana-lab.hatenablog.com さて、今回はリモートワーク実施の発端である、COVID-19(コロナウィルス)に関するデータを地図上に表示してみたいと思います。 今回作るもの leaflet.jsと公開されているCOVID-19のデータを使って、どこの地域でどのくらいの感染者が出ているかなどを表示してみようと思います。 leafletjs.com 以下のようなものが出来上がります。以下の例は、アメリカあたりの情報を表示したスクリーンショットになります。 地域毎の亡くなった人数 使うもの 今回利用する環境及びデータは以下のようになります。 環境 Node.js 12.8.0 npmを使うためだけのものです
スプレッドシートをWeb開発の万能ツールに変えるおすすめサービス厳選まとめ！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、Googleが提供しているスプレッドシートを表計算ではなく、Web開発の即戦力になる万能ツールへと変えてしまうサービスを厳選してご紹介しようと思います。 スプレッドシートのデータを活用して、Webコンテンツを作成したりデータベースとして活用するなどさまざまな開発手法に応用できるので、ご興味ある方はぜひ参考にしてみてください！ ■スプレッドシートのデータを即座にAPIで提供する！ 【 SwiftSheet 】 SwiftSheetはExcelやスプレッドシートなどで管理しているデータを、即座にRESTful APIとしてホスティングしてくれるのが大きな特徴です。 CSVで保存したファイルをアップロードするだけという簡単な操作のため、ユーザー登録や課金などは一切不要です。 たとえば、お店のリストをスプレッドシートで管理しているとします。 こ
キャッシュレス還元対象店一覧（PDF 3608ページ）をワンライナーでCSV形式にしてみた - Qiita
pdftotext -raw -f 3 -l 2795 kameiten_touroku_list.pdf - | grep -E '^[0-9]+(,[0-9]+)* |[25]%$' | perl -pe 's/(?<![25]%)\n/ /g' | perl -pe 's/^(\S+) (\S+) (\S+) (.+) (\S+) (\S+) (\S+)$/"$1","$2","$3","$4","$5","$6","$7"/g' > kameiten.csv ※変換しているのは「①固定店舗（EC・通信販売を除く）」のページです。 ※変換結果のCSVは、14MBくらいです。 背景 キャッシュレス・消費者還元事業(公式サイト) 国のキャッシュレスポイント還元PRサイト、「使えるお店一覧」から18万店を網羅した3608ページのPDFに飛ばす(ねとらぼ) 最近話題の「キャッシュレス・消費者
GitHub - dbashford/textract: node.js module for extracting text from html, pdf, doc, docx, xls, xlsx, csv, pptx, png, jpg, gif, rtf and more!
Configuration can be passed into textract. The following configuration options are available preserveLineBreaks: When using the command line this is set to true to preserve stdout readability. When using the library via node this is set to false. Pass this in as true and textract will not strip any line breaks. preserveOnlyMultipleLineBreaks: Some extractors, like PDF, insert line breaks at the en
csvdiff - CSVに特化した差分ビューワー
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました CSVファイルは今なおシステムの中で現役ばりばりに利用されています。様々なシステムから出力されるCSVファイルに対して、差分を確認したいと考えることはないでしょうか。通常の差分表示では、CSVのようなフォーマットではうまく表示できないかも知れません。 そこで使ってみたいのがcsvdiffです。CSVに特化した差分表示コマンドです。 csvdiffの使い方 普通にコマンドを打ったところです。追加された行、修正された行が確認できます。 $ csvdiff asof.csv asof2.csv # Additions (1) + 20160525 13:15:00.075,AAPL,98.65,10,NASDAQ,98.55,98.56 # Modifications (19) - 20
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラマーはいつまでCSVという古典的なフォーマットを使い続けると思いますか？
【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法【いまさら聞けないExcelの使い方講座】
【python】csvファイルの読み込みを使いこなす。pandas.read_csvの主要オプション一覧。 - Qiita
