テキストドライバ(ODBC Microsoft Text Driver)をとりあえず使い始めるためのメモ書きです。 CSVの行をレコード、カンマ区切りアイテムをフィールドとしてSQLで項目を抽出することができます。 プログラムの出力結果が数百万行以上のCSVファイルで、メモ帳やExcelに張り付けて検索してたんじゃ日が暮れちゃうって時などに使います。 手順概要 おおざっぱに言うと、下記の手順でできます。 ODBCテキストドライバでC:\csvdbフォルダにデータソースを作成する。検索したいCSVファイルはc:\csvdbに配置しておく。 Excelを起動し、リボンから「データ」「外部データの取り込み」「その他のデータソース」「Microsoft Query」を選択してSQLを打つ 注意しなければならないのは、、、 Excelが32bit版ならOS付属の32bit版のTextDriverを使
SQLite3.14(円周率πと同じですね!)が2016/08/08にリリースされました。 リリースノートによると、CSV仮想テーブルに対応したとありましたので、早速使ってみました。 Added the CSV virtual table for reading RFC 4180 formatted comma-separated value files. この機能を使うと、CSV形式のログファイルにSQLで問い合わせるといったことが簡単にできます。 仮想テーブルについて 仮想テーブル(Virtual Table)はSQLiteのデータベースで管理されていないデータを仮想的に管理されているように見せるテーブルです。 仮想テーブルで管理されているデータは、通常のテーブルのデータと同じように SQL インターフェースで操作できます。 SQLite では 全文検索インターフェース R-Trees
Preprocessing of CSV data in Ruby cleanly 05 Aug 2016 Recently, I stumbled upon a nifty feature in the Ruby CSV library which allows for a very neat preprocessing experience. Ruby’s CSV module’s usual entry point is parse. This takes an argument called converters which accepts an array of anonymous functions that can be used to transform the data. For example, consider the following CSV data: age,
シンプルかつ軽量なMac用CSVエディタ「Table Tool」がリリースされています。詳細は以下から。 Table ToolはオーストラリアのソフトウェアエンジニアJakob Eggerさんらが開発&公開したMac用CSVファイルエディタで、CSVファイルの編集に特化し、シンプルで軽量なエディタとなっています。 TableTool handles these issues automatically. It detects the specification of a CSV file for you and displays its contents in a table view. Using TableTool is the easy way to create, edit and convert CSV files. Table Tool on the Mac App Store
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
一部誤訳の指摘があったため、修正しました!ご迷惑おかけして申し訳ございません! あなたは自分でCSVを書いてみたいですか? フィールドはコンマで区切り、行は改行で分けます。簡単ですよね。数行書けば勝手が分かるというものです。 でも、ちょっと待ってください。 フィールド内にコンマがある場合は? ダブルクォート(”)で、該当のフィールドを囲みましょう。簡単ですね。 では、ダブルクォートで囲めるフィールドに例外はあるのでしょうか? フィールド内にダブルクォートがある場合は? フィールド内の各ダブルクォートに対して、ダブルクォートを二重化して適用しましょう。そうすれば元のダブルクォートをエスケープすることができます。 なお、二重化したダブルクォートと空フィールドを囲んでいるダブルクォート( ...,"",... )を勘違いしないように気を付けてください。 フィールド内に改行がある場合は? その場合
Victor Powellさんが提案した CSV Fingerprints (CSVの指紋)は、CSVファイルのデータをデータの有無やデータの型(文字、数字など)に合わせて色づけすることで、日々の事務などで自動生成されて […] Victor Powellさんが提案した CSV Fingerprints (CSVの指紋)は、CSVファイルのデータをデータの有無やデータの型(文字、数字など)に合わせて色づけすることで、日々の事務などで自動生成されているCSV出力の異常な部分を、目視で発見できるようになるのでは、という提案です。 カラムのデータの型によって異なる色で塗ったのが上のような例。 図の上でクリックしながらマウスを動かすと、指している辺りが拡大表示され、セルの内容を確認することができます。 大きなデータセットの中から、異常になっている部分をすばやく特定し、その前後の値を含めて確認できる
Vimでとても簡単かつ直感的にCSVを編集する方法は以下の通り。 1. 以下のVimプラグインをインストールする。 https://github.com/rbtnn/rabbit-ui.vim https://github.com/rbtnn/rabbit-ui-collection.vim 2. Vimから以下のコマンドで編集したいCSVファイルを選択する。 :RabbitUICollectionEditCSV ./a.csv 3. 使い方は以下の通りです。 jキー: カーソルを下に移動する kキー: カーソルを上に移動する hキー: カーソルを左に移動する lキー: カーソルを右に移動する eキー: セルの値を編集する Enterキー: 終了する(保存する) qキー: 終了する(保存しない) ※ 結構重くなるんで、実際運用するのには向いてませんよw。Vimでこういうこともできるんだ程度
下記のように主キーと値からなるテーブルがあるとする。 ID VALUE 1 value1 2 value2 3 value3 上記のテーブルを、下記のようなCSVファイルを入力として更新していくプログラムを考える。 1,update_value1 2,update_value2 3,update_value3 環境 DB CentOS-6.4-x86_64 Oracle Database Express Edition 11g Release 2 Java Java SE Development Kit 7u45 Eclipse Kepler(4.3.1) SR1 IDE for Java EE Developers Oracle Database 11g Release 1 JDBCドライバ(ojdbc6.jar) ツール Oracle SQL Developer 4.0 RLogin
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ https://mac-tegaki.comへ移転中 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
Mr. Data ConverterはCSVフォーマットから各種プログラミング言語向けなどにデータを変換するソフトウェアです。 CSVファイルはシステム開発においてとてもよく使われるフォーマットです。XMLやHTMLなど同様の機能を提供するフォーマットもありますが、それでもやはりCSVは人気が高いです。そんなCSVデータを別フォーマットに変換してくれるソフトウェアがMr. Data Converterです。 XMLに変換しました Rubyです。 MySQLの場合はテーブル作成も入ります。 HTMLのテーブルもあります。 PHPです。 キーを小文字にしてみました。 Mr. Data ConverterはWebブラウザ上で動作し、CSV(またはTSV)を別フォーマットに変換します。変換先はActionScript、ASP、HTML、JSON、MySQL、PHP、Python、Ruby、XMLと
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ https://mac-tegaki.comへ移転中 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く