DenoでクソデカCSVを読む - Qiita
Denoを使って巨大なCSVファイルを開く機会があったので、その方法の覚え書きです。 DenoでCSVを読み書きする方法（通常ver.） 通常、DenoでCSVを読むには、標準ライブラリのparse関数を使います。 import * as CSV from "https://deno.land/std@0.170.0/encoding/csv.ts"; // ↓直接pathに文字列を指定するとカレントディレクトリからの相対パス。import.meta.resolveを使用するとこのファイルからの相対パス。 const path = new URL(import.meta.resolve("./path/to/file")); const text = await Deno.readTextFile(path); // ファイルを文字列として読み取り const data = CSV.par
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
シンプルかつ軽量なMac用CSVエディタ「Table Tool」がリリース。
シンプルかつ軽量なMac用CSVエディタ「Table Tool」がリリースされています。詳細は以下から。 Table ToolはオーストラリアのソフトウェアエンジニアJakob Eggerさんらが開発＆公開したMac用CSVファイルエディタで、CSVファイルの編集に特化し、シンプルで軽量なエディタとなっています。 TableTool handles these issues automatically. It detects the specification of a CSV file for you and displays its contents in a table view. Using TableTool is the easy way to create, edit and convert CSV files. Table Tool on the Mac App Store
CSVからモデルオブジェクトを生成する際に気をつけたこと - クックパッド開発者ブログ
こんにちは、クックパッド編集室の加々美です。 現在、食や暮らしのトレンドを発信するメディアであるクックパッドニュースの開発に携わっています。 クックパッドニュースは、1週間に100本以上の記事を配信しています。 このように比較的多くの記事コンテンツを作成する際、記事の基本的なパラメータ(例えば配信時間や記事の執筆者)をWebアプリケーション上で一つ一つ設定して記事を作成するのは時に煩雑な作業になりがちで、特に編集スタッフにとっては、スプレッドシート上で記事のパラメータを設定できた方が分かりやすく、作業がより確実になる場合があるかと思います。 (また、スプレッドシートであれば楽に複数人で編集できるというメリットもあります) 今回は、スプレッドシートからエクスポートしたcsvを用いて、モデルオブジェクトを生成する際に気をつけたことを紹介します。 ※ 本稿ではGoogle Driveのスプレッド
それでも独自のCSVを書くつもりですか？ | POSTD
一部誤訳の指摘があったため、修正しました！ご迷惑おかけして申し訳ございません！ あなたは自分でCSVを書いてみたいですか？ フィールドはコンマで区切り、行は改行で分けます。簡単ですよね。数行書けば勝手が分かるというものです。 でも、ちょっと待ってください。 フィールド内にコンマがある場合は？ ダブルクォート（”）で、該当のフィールドを囲みましょう。簡単ですね。 では、ダブルクォートで囲めるフィールドに例外はあるのでしょうか？ フィールド内にダブルクォートがある場合は？ フィールド内の各ダブルクォートに対して、ダブルクォートを二重化して適用しましょう。そうすれば元のダブルクォートをエスケープすることができます。 なお、二重化したダブルクォートと空フィールドを囲んでいるダブルクォート（ ...,"",... ）を勘違いしないように気を付けてください。 フィールド内に改行がある場合は？ その場合
エクセルシートをHTMLテーブルに変換しちゃう君 (ββ)
STEP1. エクセルとかからCSV (TSV)をコピーしてを貼り付け STEP2. オプションを選択して変換 細かい設定 列目までをTHEADとする。(0でTHEADなし) TBODYの行目までをTHとする。 TBODY THに深度を埋め込んだクラス名を追加する。(1〜) クラス名： " + n" ひとつめのTHに深度クラスを追加しない。(lv1を追加しない) n列ごとにTRにクラス名を追加する。(0〜) クラス名： 列数 ： クラス名に列数を追加する。(nrow0, nrow1,,)
CSV I/Oライブラリ.NET
概要 .NET Framework で CSV を簡単に読み書きできるクラスを提供するライブラリです。 SourceForge.jp: Project File List から、リリースされたパッケージをダウンロードすることができます。 導入 パッケージに DLL 形式のバイナリファイルとソースコードが格納されています。お仕事で使用するのなら、どちらかというとソースコードを直接使用するのがお手軽で良い気がします。 CsvReader.cs, CsvWriter.cs と 2 つありますが、それぞれ単独で動作するようになっています。名前空間は適当に変えてしまってください。 使い方 CsvReader CSV 形式のデータを読み込むには CsvReader クラスを使用します。 基本的な使い方 まず、インスタンス化します。コンストラクタは 2 種類ありますが、基本的には CsvReader(T
窓の杜 - 【REVIEW】Excelファイルも開けるタブ切り替え型の多機能CSVエディター「SmCsvEdit」
「SmCsvEdit」は、データの閲覧に特化したタブ切り替え型のCSVエディター。Windows 2000/XP/Vistaに対応するフリーソフトで、作者のWebサイトからダウンロードできる。 行や列のコピー・削除といった基本的な編集機能をはじめ、指定した列をもとに並び替えるソート機能、セルの結合機能、データの集計機能、列の非表示機能、行の絞り込み機能など、CSV/TSVデータの閲覧・編集に便利な機能を豊富に備えている。 なかでも、特定の列を非表示にできる機能や、特定の条件をもとに表示行を絞り込む機能は、ほかのCSVエディターには見られない大きな特長だ。大量の行や列で構成されたログファイルやデータベースファイルなどのデータを閲覧する際に有効だろう。 特定の列を非表示にするには、対象となる列を選択した状態で［表示］メニューや右クリックメニューから［列非表示］を選択するだけ。このとき、複数の列
窓の杜 - 【REVIEW】Unicode文字に対応するタブ切り替え型CSVエディター「Kuto Csv Editor」
「Kuto Csv Editor」は、Unicode文字に対応するタブ切り替え型のCSVエディター。Windows XPに対応するフリーソフトで、編集部にてWindows Vistaでの動作も確認した。作者のWebサイトからダウンロードできる。なお、動作には.NET Framework 2.0が必要。 パソコンに「Microsoft Office」がインストールされている場合、CSVファイルが「Excel」に関連付けられていることが多い。そのため、CSVファイルの編集時に「Excel」を利用しているという人は多いのではないだろうか。しかし、表計算機能を利用しないのであれば、多機能すぎる「Excel」を使うよりも、CSVの編集に特化したエディターのほうが編集効率がよい。 本ソフトは、CSV/TSVファイルの編集に最低限必要な機能だけに絞られているため、メニューやツールバーがシンプルで使いやす
PerlによるCSVファイルの高速集計：CodeZine
はじめに Perlと言えば、いまだにCGIを思い浮かべる人は多いと思います。しかし、Perlは決してそれだけの言語ではなく、その言語仕様はテキストファイルを処理し、集計結果をレポートするのに非常に向いています。特によく利用されるテキストファイルとして、CSV形式が挙げられます。CSVを集計したい場合、Excelに読み込ませて集計関数やマクロを駆使しているという人も多いかと思いますが、Perlを利用することで、高度な集計作業を簡単かつ高速にできます。 本稿では、筆者がPerlでCSV集計を行う際によく使うノウハウを紹介したいと思います。対象読者まだ、Perl＝CGIと思っている方。65,536件を超える大量のCSVデータを前に、手も足も出なくなっている方。 必要な環境テキストエディタ。Perl 5.8.X。ただし、ほとんどのコードはそれ以下のバージョンでも動きます。 Perlのインストール
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法【いまさら聞けないExcelの使い方講座】