Apache Drill 1.0がリリースされたのでAmazon S3と連携してみた | DevelopersIO
はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64
ファイルを分割して入力するEmbulkプラグインを作ってみた - 今日もプログラミング
Embulkの並列処理 Embulkは、処理を複数のタスクに分割して並列に実行する仕組みを備えている。 しかし、標準のファイル入力プラグインでは、単純に1つのファイルを入力すると1タスクにしかならないようだ（こちら参照）。 ソースを読んでみると、複数ファイルを読むと複数タスクになるようだ。 試しにこんな感じに4ファイルを用意して、 /test └in ├in1.csv ├in2.csv ├in3.csv └in4.csv こんなymlファイルを用意して実行したら、 in: type: file path_prefix: '/test/in' parser: type: csv columns: - {name: id, type: string} - {name: name, type: string} out: type: file path_prefix: '/test/out' fi
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援
オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、3人が所属するTreasure Dataも開発を支援しています。 古橋氏はEmbulkについて「簡単に言うとfluentdのバッチ版です」と説明。1月27日に行われた「データ転送ミドルウェア勉強会」で、Embulkの紹介を行いました。 Embulkはプラグインベースのバルクデータローダー 古橋氏はまず、例えばCSVファイルをPostgreSQLに読み込ませようとすると、CSVの日付のフォーマットが
pgloader - migrate MySQL to PostgresQL
pgloader loads data into PostgreSQL and allows you to implement Continuous Migration from your current database to PostgreSQL. Read the White Paper to learn how to limit risks and control your budget, and start your PostgreSQL migration today! Introduction pgloader has two modes of operation. It can either load data from files, such as CSV or Fixed-File Format; or migrate a whole database to Postg
速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura
この記事は↓に移転しました。 laysakura.github.io
日本語と中国語が混在するCSVファイルの作り方（文字化け対策） | GCgate エンジニアブログ
今週ブログ当番のkkです。 今回のブログのテーマをずっと考えてました。 何を書こうか、毎回困ります。 と思っていたら、ちょうど昨日、開発中のCSV出力機能で文字化けが発生しました。 じゃ、テーマはこれだ！＼(^o^)／ 【文字化けの原因】 Q：何で文字化けが起きたか？ A：出力するCSVファイルに、日本語と中国語が混在していた。中国語について、日本語に存在しない漢字が「？」と表示される。 Q：ブラウザは日本語と中国語も混在するのに、何で文字化けしないか？ A：ブラウザで表示する際の文字コードはUTF-8にしている。一方、CSVファイルの文字コードはMS93にしていた。 Q：CSVファイルの文字コードにUTF-8を使わないの理由は？ A：CSVファイルの文字コードを普通にUTF-8にしても、Microsoft Excelで開けない為。 UTF-8のCSVファイルをExcelで開と、日本語が文
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
7 Command-Line Tools for Data Science | Jeroen Janssens
Data science is OSEMN (pronounced as awesome). That is, it involves Obtaining, Scrubbing, Exploring, Modelling, and iNterpreting data. As a data scientist, I spend quite a bit of time on the command-line, especially when there’s data to be obtained, scrubbed, or explored. And I’m not alone in this. Recently, Greg Reda discussed how the classics (e.g., head, cut, grep, sed, and awk) can be used for
Useful Unix commands for data science
Imagine you have a 4.2GB CSV file. It has over 12 million records and 50 columns. All you need from this file is the sum of all values in one particular column. How would you do it? Writing a script in python/ruby/perl/whatever would probably take a few minutes and then even more time for the script to actually complete. A database and SQL would be fairly quick, but then you'd have load the data,
某表計算ソフトウェアの余計な変換が嫌いな方向けのCSVエディタ·reCsvEdit MOONGIFT
reCsvEditはシンプルなJava製のCSVエディタ。 reCsvEditはJava製のオープンソース・ソフトウェア。CSVはシステムで用いることが多いフォーマットではないかと思われる。表計算ソフトウェアで作成したファイルをそのまま使っても良いが、CSVに変換すればテキストとして容易に使えるので便利なのだ。 ファイルを開くダイアログ そんなCSVファイルを編集するのによく使われるのがMS Excelではないかと思われる。だが数値を勝手に日付に変換したり、文字コードを解釈しなかったりとストレスがたまることも多い。そこで使ってみたいのがreCsvEditだ。 reCsvEditはJava製のCSVエディタだ。特に表計算のような機能はないが、フィルタリングやソートといった機能は備わっている。文字コードを指定したり区切り文字を指定したりと細かく指定してファイルを開ける。カラムの追加や移動もでき
MySQL の結果を csv 形式で標準出力させたい - いけむランド
最近は DB の動作を理解しようと、気になったところは MySQL のソースを読んだりしているため、そこらへんで学んだことをちょっとずつ書くことにする。 ちなみに結論を先に述べておくと MySQL の結果を標準出力に出す場合は今のところはタブ区切りでしか出せないようにハードコーディングされているために % mysql -e "SELECT ..." | sed -e 's/\t/,/g'みたいに出力を加工するしかないようである。 そもそも MySQL の結果を csv 形式で「ファイルに」出力する方法はある。ひとつはコマンド mysqldump のオプションで指定する方法である。 --fields-terminated-by=..., --fields-enclosed-by=..., --fields-optionally-enclosed-by=..., --fields-escape
正規表現を超える--CSVファイル編 - あどけない話
正規表現を超えるの補足として、CSVファイルを例に挙げて考えてみる。 CSVファイルの定義は、RFC4180にある。 file = record *(CRLF record) [CRLF] record = field *(COMMA field) field = (escaped / non-escaped) escaped = DQUOTE *(TEXTDATA / COMMA / CR / LF / 2DQUOTE) DQUOTE non-escaped = *TEXTDATA TEXTDATA = %x20-21 / %x23-2B / %x2D-7E COMMA = %x2C CRLF = CR LF CR = %x0D LF = %x0A DQUOTE = %x22 これを Haskell の Parsec で書くと、ほとんどそのままの形で実装できる。 import Text.
keithsheppard.name - keithsheppard リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
FasterCSV - Ruby
標準ライブラリよりも速いCSVライブラリ。 インストール RubyGems がインストールされている場合は、 gem install fastercsv 手動でインストールする場合は、RubyForgeの fastercsv からtgzまたはzipファイルをダウンロードして、展開後、 ruby setup.rb Pure Ruby なので、faster_csv.rb をコピーするだけで使えます。 使い方 fastercsvを読み込む require 'fastercsv' CSVファイルを読み込み一行ずつ処理をする # CSVファイルを読み込み一行ずつ処理をする FasterCSV.foreach("32SHIMAN.CSV") do |row| p row # => 配列 end CSVファイルを一括して読み込む # CSVファイルを一括して読み込む arr_of_arrs = Fast
Project.Kuto - Works
Kuto Csv Editor 概要 Kuto Csv EditorはCSVファイルの編集を行うソフトです。 テキストエディタのようなシンプルで扱いやすい物を目標に作成されました。 下記のような特徴があります。 タブで複数のCSVファイルを管理できる。 CSVの行・列のサイズを保存し、次回実行時に復元できる。 Unicode、タブ区切りテキストにも対応。 スクリーンショット こんな人にオススメ 多くの人はCSVファイルの編集に、表計算ソフトを使っているのではないでしょうか。 編集の時にこんな不満を感じた事はありませんか？ 行や列のサイズが保存されず、開くたびに列サイズを調整するのが面倒！ 「-」や「=」から始まると数式とみなされ、思い通りの表示にならない！ 保存の際に「サポートされてない機能を使用…」などと余計なメッセージが出て邪魔！ こんな不満を感じている方、「Kuto Csv Edit
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Piqi Project
GitHub - vim-scripts/csv.vim: A Filetype plugin for csv files.
Vim-users.jp - Hack #78: CSVの特定のカラムをハイライトする
Vim-users.jp - Hack #77: 縦に揃える
GitHub - koles/ya-csv: CSV parser/writer for Node.js
