This article was discussed on Hacker News. I recently learned of csvquote, a tool that encodes troublesome CSV characters such that unix tools can correctly process them. It reverses the encoding at the end of the pipeline, recovering the original input. The original implementation handles CSV quotes using the straightforward, naive method. However, there’s a better approach that is not only simpl
Content-based separator autodetection Rainbow CSV runs a table autodetection algorithm for all "Plain Text" and "*.csv" files. In most cases, this is a very cheap operation because autodetection usually stops after checking only 1 or 2 topmost lines. Autodetection can be adjusted or disabled in the extension settings. Customizing file extension - separator association If you often work with csv fi
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何? 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
問題 LOAD DATA INFILE すると、文字化けした。 ファイルの文字コード変えないとだめ?文字コード何にしたらいい? 答え MySQLのLOAD DATA INFILEでは、character_set_databaseシステム変数の文字セットを使う。 UTF-8のファイルが正しく読み込めたとしたら、それはcharacter_set_databaseがutf8だったのだろう。 Shift_JISのファイルを読み込みたかったら、SET character_set_database=sjis; を設定すればよい。 SET NAMES SJIS; などは影響しない。 例) 郵政公社の郵便番号CSV(Shift_JIS)をそのまま取り込むSQL。 #これでShift_JISのファイルが取り込める set character_set_database=sjis; #KEN_ALL.CSVは郵
import.ioとは import.ioは、データ化したいページのURLを入力するだけで、自動でデータ箇所を判断して情報を集めてくれるスクレイピングサービスです。 無料で利用することができ、セットアップも、データ収集用のトレーニングなども必要ありません。 URLを入力して、ボタンを押すだけという簡単さから、誰にでも利用できるデータ収集ツールだと思います。 以下では、その簡単な使い方や、利用例などを紹介したいと思います。 定期的なサイトへのスクレイピングは相手サイトの負荷になるので、一日に何度も何度も同一サイトに使用するのはやめましょう。加えて、取得したデータを、そのまま何かに利用すると著作権違反になる恐れもあります。 基本的な使い方 import.ioの最大の特徴は、使い方の簡単さです。 以下では、その使い方の例として、IKEAのソファー検索結果ページのデータを取得してみたいと思います。
Vimでとても簡単かつ直感的にCSVを編集する方法は以下の通り。 1. 以下のVimプラグインをインストールする。 https://github.com/rbtnn/rabbit-ui.vim https://github.com/rbtnn/rabbit-ui-collection.vim 2. Vimから以下のコマンドで編集したいCSVファイルを選択する。 :RabbitUICollectionEditCSV ./a.csv 3. 使い方は以下の通りです。 jキー: カーソルを下に移動する kキー: カーソルを上に移動する hキー: カーソルを左に移動する lキー: カーソルを右に移動する eキー: セルの値を編集する Enterキー: 終了する(保存する) qキー: 終了する(保存しない) ※ 結構重くなるんで、実際運用するのには向いてませんよw。Vimでこういうこともできるんだ程度
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く