プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog
定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした．Rainbow CSV には多くの機能があり，例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある．データを抽出する用途だけでなく，CSV を確認するときにも便利で，普段から使える最高の拡張機能だった．以下からインストールできる． marketplace.visualstudi
CSVをカラム単位で比較するソフト CSVDF
・表形式のデータのカラム単位でデータの相違をチェックする。 ・項目単位での相違の発生した項目の抽出（ヘッダーで右クリックで抽出） ・ユニークとなる項目での連携によるデータの有無。 ・カーソルによる移動（Ctr+矢印で相違の発生したセルに移動） ・メイン画面へ比較する２つのファイルをドラッグすることで選択 ・範囲指定によるコピー（ヘッダー名、相違の項目にマークを付ける機能つき） ・行データの相違判定コピー ・ＣＳＶ（カンマ区切り）、TAB区切り、固定長、任意の区切りに対応 ・取込ファイルの文字コードに SHIFT-JIS,UTF-8,UTF-16対応 ※内部処理はSHIFT-JISなのでSHIFT-JISに対応しない文字を 取り込んだ場合は？などに化けます。 ・固定長ではGUI的にデータの区切り指定が可能 ・クリップボードの内容を比較し易くする機能 ・相違の比較でスペースを除いた状態での比較
国勢調査など政府統計データをCSV化してダウンロードできる「統計くん」 政府API活用
個人開発者の矢野さとるさんは6月12日、10日に公開された「次世代統計利用システム」のAPIを活用し、国勢調査などの政府が持つ統計データをCSV形式でダウンロードできるWebサービス「統計くん」を公開した。 次世代統計利用システムは、統計のオープンデータの高度化に向け、統計センターが総務省統計局と協力して提供しているシステム。政府の統計ポータル「e-Stat」でデータベース化されている統計データを、XMLやJSONなどで出力するREST方式のAPIを提供している。 統計くんは同APIを活用し、国勢調査、事業所・企業統計調査、全国物価統計調査、家計消費状況調査などについて、調査結果をWebブラウザ上に表示したり、条件を絞り込んで分類したり、CSV化してダウンロード可能。今後は、グラフ生成やクロス集計機能などの実装を検討している。 関連記事 「PM2.5まとめ」正式公開 現在地のPM2.5濃度
郵便番号データの落とし穴
概要 MS-Access 上で郵便番号を住所変換するためには、住所入力支援機能が提供されている。 しかし、元になっている辞書ファイルのアップデートが遅れたり、用途に応じてカスタマイズするには限界があるなどの理由から、日本郵政公社が配布している郵便番号データを利用して、オリジナルの郵便番号⇒住所変換機能を実装する方法も、広く知られている。 日本郵政公社（執筆当時。現・郵便事業株式会社）が配布している郵便番号データは単純な CSV 形式のため、加工がしやすく、初・中級クラスの VBA の知識があれば簡単に応用が効く、というのが、私が見聞きした範囲での一般的な認知のようだ。 しかし最近になって、ふとしたことから実際にその CSV データを見る機会が有り、いくつかの疑問点・問題点が浮かび上がってきた。 はたして日本郵政公社の CSV データは、本当に使いやすいのだろうか？ 仕様 まず、仕様を確認し
某表計算ソフトウェアの余計な変換が嫌いな方向けのCSVエディタ·reCsvEdit MOONGIFT
reCsvEditはシンプルなJava製のCSVエディタ。 reCsvEditはJava製のオープンソース・ソフトウェア。CSVはシステムで用いることが多いフォーマットではないかと思われる。表計算ソフトウェアで作成したファイルをそのまま使っても良いが、CSVに変換すればテキストとして容易に使えるので便利なのだ。 ファイルを開くダイアログ そんなCSVファイルを編集するのによく使われるのがMS Excelではないかと思われる。だが数値を勝手に日付に変換したり、文字コードを解釈しなかったりとストレスがたまることも多い。そこで使ってみたいのがreCsvEditだ。 reCsvEditはJava製のCSVエディタだ。特に表計算のような機能はないが、フィルタリングやソートといった機能は備わっている。文字コードを指定したり区切り文字を指定したりと細かく指定してファイルを開ける。カラムの追加や移動もでき
StateパターンでCSVを読む
こんなのを読み込んで適当な処理を施して欲しい、と。Excelのシートから各セルの値を拾い出すのはさほどに難しくはないのですが、いかんせん時間がなかったのでいったんはお断りしたところ、「Excelシートを直接読むのが面倒ならCSVからでもかまわん」とのこと。CSVならフツーにテキストファイルを読めばいいから小一時間で作れそう、昼メシ奢ってもらうのを報酬に引き受けることにしました。 CSVのフォーマット CSV（Comma Separated Values）はMS-DOSあるいはその以前からスプレッドシートのデータ・フォーマットとして使われています。CSVの規格/標準としてはRFC4180がありますが、こいつは2005年に作られたものでそれ以前のアプリケーションがRFC4180に準拠していることは期待できるはずもありません。とはいえ、まずはRFC4180に従って作られたCSVなら正しく読めるこ
中の技術日誌 わんくまライブラリ Wankuma.IO.CSVReaderクラス Version1
この文書はVisual Studio 2005(.NET2.0)をベースに記述されています。それ以降のバージョンや、あなたが読んでいる時点では変更されている可能性があります。 またバージョンアップされている場合にはなんらかかの不具合を含んでいる可能性があります。 ソースファイルへ CSVReader1s.htm ソースファイル直接ダウンロードへ CSVReader1c.txt 利用規約へ ../kiyaku.htm クラスの説明 CSVの読み取りを行いたいという要求は非常に根強いものがあります。 にもかかわらず.NETのBCLにはそれを積極的にサポートする機能はありません。 .NET 1.1時代にもCSVクラスを提供してきました(わんくまライブラリ Wankuma.IO.CSVクラス Version1)が、VB6時代のものを移植しただけ、ですべてをオンメモリにためてから出ないと利用できない
CSV出力スクリプトについて - OKWAVE
CSV出力のスクリプトを作成しました。 単純に１つのテーブルをそのままCSVで出力するだけです。 件数は60万件程度です。 問題は13,4件に1行改行されてしまいます。 この改行を省くことができるでしょうか？ --CSV出力 -- set line 100 -- set echo off コマンド表示を抑止する -- set termout off 画面出力を抑止する -- set heading off 列タイトルの表示を抑止する -- set feedback off 結果メッセージの表示を抑止する -- set colsep ',' 列と列の区切りをカンマ（,）にする set line 100 set echo off set termout off set heading off set feedback off set colsep ',' /* spoolコマンドでファイル出力
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ExcelのCSVインポート・エクスポート機能を強化する「Excel CSV I/O」NOT SUPPORTED