SciPy Japan 2020 - Apache Arrow 1.0 - A cross-language development platform for in-memory data #SciPyJapan #ApacheArrow - 2020-09-24 - ククログ
株式会社クリアコード > ククログ > SciPy Japan 2020 - Apache Arrow 1.0 - A cross-language development platform for in-memory data #SciPyJapan #ApacheArrow SciPy Japan 2020の1日目に「Apache Arrow 1.0 - A cross-language development platform for in-memory data」という話をする須藤です。 SciPy Japan 2020は2020年10月30日で約1ヶ月後なのですが、事前録画した動画を使ったオンラインイベントで、私の話は録画済みなのでここで先に公開します。SciPy Japan 2020に参加する人とこのブログを読む人は違う層だろうからです。Apache Arrowをよく知らない人
Better CSV processing with Ruby 2.6 - Kouhei Sutou - Rabbit Slide Show
Description csv, one of the standard libraries, in Ruby 2.6 has many improvements: * Default gemified * Faster CSV parsing * Faster CSV writing * Clean new CSV parser implementation for further improvements * Reconstructed test suites for further improvements * Benchmark suites for further performance improvements These improvements are done without breaking backward compatibility. This talk descr
XsvUtility なる Unity ライブラリを作りました - もんりぃ is undefined.
github.com CSV, TSV を Serialize/Deserialize する Unity 向けライブラリとして XsvUtility を作りました。 概要 XsvUtility は XSV *1 と任意の型とを相互に変換するためのライブラリです。 C# の属性をクラス・構造体のフィールド・プロパティに付与するコトで柔軟性の高い Serialize/Deserialize を実現しています。 何故作ったの？ キッカケとしては、以下のような流れ。 「AssetBundle のサイズ情報を記録したファイルを Amazon S3 にでも置いて管理しようかな。」 「JSON でも良いんだけど、CSV とか TSV のが楽なんだよなぁ…。」 「でもパーサとか無いんだよなぁ…。」 「作ろう。」 「ついでだから Unity Package Manager で配信できるようにしてみよう。」
Ruby 2.6.0とより高速なcsv - 2018-12-25 - ククログ
Rubyの標準添付ライブラリーのcsvをメンテナンスしている須藤です。 歴史 csvは名前の通りCSVを読み書きするための便利ライブラリーです。 もともとRuby本体とは別に開発されていたのですが、Ruby 1.8.0のときにRuby本体にバンドルするようになりました。dRubyやREXMLがRuby本体にバンドルされたのも同じタイミングです。Ruby 1.8.0のときにバンドルするライブラリーをすごく増やしたのです。（その頃の様子がわかるURLをここに置いておきたかったけど見つけられなかった。。。） Rubyではcsvのようにrequireするだけで使えるライブラリーを「標準添付ライブラリー」と呼んでいます。Stringのようにrequireしなくても使えるライブラリーは。。。なんだろう。組み込みクラスかしら。 その後、Ruby 1.9.0のタイミングで実装をFasterCSVに置き換え
CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog
定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした．Rainbow CSV には多くの機能があり，例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある．データを抽出する用途だけでなく，CSV を確認するときにも便利で，普段から使える最高の拡張機能だった．以下からインストールできる． marketplace.visualstudi
Apache Drillに感動した(２つのJSONファイルをSQLでJOINしてみた) - Qiita
0: jdbc:drill:zk=local> SELECT test1.*, test2.point FROM . . . . . . . . . . . > dfs.`/opt/drill/test1.json` test1 . . . . . . . . . . . > JOIN dfs.`/opt/drill/test2.json` test2 ON (test1.id = test2.id); +------------+------------+------------+ | id | name | point | +------------+------------+------------+ | 1 | foo | 100 | | 2 | bar | 200 | +------------+------------+------------+ 2 rows selected
git-diffでCSVファイルの変更を見やすくする - nirasan's tech blog
git-diffでは通常は行単位の差分しか表示されないので、CSVファイルの特定の行の1列だけ変更された場合にも、どの列が変更されたのか確認するのが難しい。 $ git diff diff --git a/1.csv b/1.csv index 6cb4d44..3d84fd8 100644 --- a/1.csv +++ b/1.csv @@ -1,2 +1,2 @@ -a, b, c +a, d, c 1, 2, 3 そこでword-diffオプションを指定すると単語単位での変更を指定してくれるようになる。 $ git diff --word-diff diff --git a/1.csv b/1.csv index 6cb4d44..3d84fd8 100644 --- a/1.csv +++ b/1.csv @@ -1,2 +1,2 @@ a, [-b,-]{+d,+} c 1,
速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura
この記事は↓に移転しました。 laysakura.github.io
ExcelでUTF-8エンコーディングされたCSVファイルを開く方法 - 小さい頃はエラ呼吸
photo credit: gonzalo_ar via photopin cc はじめに このエントリでは、ExcelでUTF-8エンコーディングされたCSVファイルを開く方法を紹介します。 Excel VBAのプログラミングのツボとコツがゼッタイにわかる本―最初からそう教えてくれればいいのに!Excel2007/2003対応posted with amazlet at 12.12.23立山 秀利 秀和システム 売り上げランキング: 1,346 Amazon.co.jp で詳細を見る 結論 以下のような３つの方法があります。 拡張子をcsvからtxtに変更してから開く。 CSVファイルをBOMつきのUTF-8ファイルに保存しなおしてから開く。 CSVファイルの保存形式をANSIに変更してから開く。 ExcelはCSVファイルをShift_JISで開こうとする Excelは、CSVファイル
CSVをYAMLに書き換える - There's an echo in my head
標準添付のcsvライブラリの使い方をいつも忘れるのでメモっておく。 require "csv" require "yaml" hash = {} csv = CSV.read(path_to_csv, headers: :first_row) csv.each do |row| id = row["id"] hash["foo_#{id}"] = { "id" => id, "name" => row["name"], "value" => row["value"] } end File.open(path_to_yaml, "w") { |f| f.write(hash.to_yaml) } :headersオプション便利。
Ruby標準添付ライブラリcsvのCSV.tableメソッドが最強な件について
─ 問題１ ─ data.csvファイルには、５人のプレイヤー（Alice, Bob, Jimmy, Kent, Ross）が二種類のゲーム（gameA, gameB）をプレイした結果が次のような形で格納されている。各ゲームの平均点を求めよ。 data.csv player,gameA,gameB Alice,84.0,79.5 Bob,20.0,56.5 Jimmy,80.0,31.0 Kent,90.5,15.5 Ross,68.0,33.0 data = File.read('data.csv') headers, *scores = data.lines.map { |line| line.chomp.split(',') } scores # => [["Alice", "84.0", "79.5"], ["Bob", "20.0", "56.5"], ["Jimmy", "80
RubyでCSVをパースするときのダブルクォートの扱い - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年10月16日09:31 Ruby RubyでCSVをパースするときのダブルクォートの扱い Ruby で CSV をパースするときには、Ruby 標準の CSV ライブラリを使うのが一般的でしょうか？( FasterCSV の方が良く使われてるのかもしれないですね。早いみたいだし。） まぁとりあえず Ruby 標準の CSV ライブラリを使ったときの話です（ FasterCSV でも同様です ）。 MySQL から CSV 出力したファイルをパースしたんですが、ダブルクォートの扱いに罠がありました。MySQL で CSV 出力するときに、ENCLOSED BY '"' をつけた場合、カラムの中にダブルクォートがあると、\" とエスケープされます。ただ、Ruby の CSV ライブラリでパースするときには、ダブルクォートは "" とエスケープされていないといけないらしく、そのままでは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
git diffでcsvの差分を見やすく表示する
GitHub - harelba/q: q - Run SQL directly on delimited files and multi-file sqlite databases
普通のCSVアップロードフォームを作りたい(改)
普通のCSVアップロードフォームを作りたい
GitHub - dinedal/textql: Execute SQL against structured text like CSV or TSV
GitHub - railslove/fight_csv: Makes handling csv documents a breeze!
Ruby標準csv遅い