csv読み込み備忘録 – Momentum
概要 ・Numpy, Pandasを使ってcsvを読み込むときの俺様備忘録 ロード対象csvフォーマット 下記pythonコードにも書いてありますが、手元にあったFXデータを使用。 フォーマットは hogehoge, YYYYMMDD, HH:MM:SS, bid price, ask price という形。 hogehogeには”USDJPY”といった為替レートの通貨名文字列が格納されてます。 stringとfloatが混在していて少し扱いが面倒。 コード いつもググってる気がするのでまとめておく 最終的に、リストのリスト形式にしたいと考えているので、各々のロード関数を使った後に変換しています。 pandasで読み込んだ後に、ndarrayに変換するのが最速という結果。 どうやらcsvを読む処理がボトルネックになっているようで、ndarrayへの変換はそこまで時間がかからない様子。 pa
pandasでcsv/tsvファイルの読み書き | mwSoft
csvの読み込み csv読み込み。 そのままread_csvすると1行目をheaderとして認識する。ヘッダがない場合はheader=Noneとしておけば良い。 下記のようなファイルを読み込んでみる。 10,8,3 12,1,5 5,3,3 import pandas as pd pd.read_csv("foo.csv", header=None) 10 8 3 0 12 1 5 1 5 3 3 試してみたところ、header=-1とかheader=Falseでも同じ挙動になった。 headerに名前を付ける場合は、namesを使用。 pd.read_csv( 'foo.txt', names=('a', 'b', 'c') ) a b c 0 10 8 3 1 12 1 5 2 5 3 3 ヘッダ行があれば特に何も指定せずに読み込める。 下記のようなファイルを読み込んでみる。 col1
初Pythonプログラム csvをjsonに変換 - プログラミングを勉強するブログ
Pythonについて一通り基本部分は勉強したはずなのでとりあえず何か作ってみようと思いました。 私はこれまでJavascriptしか勉強したことがなかったので(はるか昔Cを勉強しましたがすでに忘れてしまいました)、ファイルの入出力を扱ったことがほとんどありません。 そこでCSVファイルを読み込みJSONファイルに変換して出力するプログラムを作ってみることにしました。 まずcsvファイルを読み込み一行目の各要素をキー、２行目以降の要素を値とするオブジェクトの配列に変換することにします。 name,age,sex 男の子,20,male 女性,25,femaleが [{"name": "男の子", "age": "20", "sex": "male"}, {"name": "女性", "age": "25", "sex": "female"}]という風になることを目指します。 仕組みはcsvフ
データの前処理や加工に使えるPython csvkit - Librabuch
みなさまこんばんは。Python Advent Calendar 2014 24日目の記事です。 先日のpyhackで@atelierhideに教えてもらった、データ前処理スト垂涎のライブラリの紹介をすることにしました。 csvkit とは csvkitは、コマンドラインでCSVやTSVファイルを取り扱うのに便利なライブラリです。データの前処理や加工をLinux/UNIXのコマンドラインで行っている環境もあると思いますが、それを代替する、あるいは組み合わせて使うとよいのがcsvkitです。 csvkit pipでインストール出来ます。Python3.4にもインストールは可能ですが、一部の機能が動作しないことを確認しています。今回は2.7にインストールしました。 pip install csvkit 具体的な使い方を見ていきます。 基本的な使い方 ここからはiris.csvのデータをcsvk
13.1. csv — CSV File Reading and Writing — Python 2.7.18 documentation
This document is for an old version of Python that is no longer supported. You should upgrade and read the Python documentation for the current stable release. The so-called CSV (Comma Separated Values) format is the most common import and export format for spreadsheets and databases. There is no “CSV standard”, so the format is operationally defined by the many applications which read and write i
MySQL mysqldump＋αでExcelで読めるCSV出力 - 130単位
MySQLからCSV出力したいって要件なんですが、Excelで読むには文字コードがShift-JISである必要があります。これを全てLinuxで行う手順です。 エクスポート手順 データベースの全テーブルをCSVエクスポート mysqldump -u root -p --tab=/tmp --fields-terminated-by=, --fields-optionally-enclosed-by=\" --lines-terminated-by="\r\n" database --tabは出力ファイルの保存先ディレクトリ 保存先はMySQLのあるサーバー内になるので注意 --fields-terminated-by はフィールド区切りの指定 --fields-optionally-enclosed-by は文字列の囲み指定 --lines-terminated-by は改行の指定 DB内
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
csv – カンマ区切りのファイル - Python Module of the Week