CSVファイルフォーマットの解説：CodeZineCodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
OCamlでCSVの数値データ読み込みとPDFへの描画 - Qiita
OCamlでCSVを読み込んでPDFにプロットしてみた。 まずOPAMで依存パッケージをインストールしておく。 以下のソースコードを作成し、ocamlbuild -pkgs camlpdf,csv,batteries main.nativeでコンパイルし、./main.nativeで実行する。手元のMacBook Air (13 inch, Mid-2011)で時間を測ると、コンパイルは1.3秒程度、実行時間は45個のCSVファイル（合計6.5 MB）の読み込み＋PDF作成で2.8秒と、かなり速くて良い感じ。 open BatList type t = { x: float; y: float; } let write_pdf points path = let f p = Pdfops.Op_l (p.x *. 50.,p.y *. 1000.) in let ps = map f po
SQLiteからCSVファイルにSQLを投げてみた | DevelopersIO
SQLite3.14(円周率πと同じですね!)が2016/08/08にリリースされました。 リリースノートによると、CSV仮想テーブルに対応したとありましたので、早速使ってみました。 Added the CSV virtual table for reading RFC 4180 formatted comma-separated value files. この機能を使うと、CSV形式のログファイルにSQLで問い合わせるといったことが簡単にできます。 仮想テーブルについて 仮想テーブル(Virtual Table)はSQLiteのデータベースで管理されていないデータを仮想的に管理されているように見せるテーブルです。 仮想テーブルで管理されているデータは、通常のテーブルのデータと同じように SQL インターフェースで操作できます。 SQLite では 全文検索インターフェース R-Trees
CSVファイルをSQLのクエリで集計できるqコマンドをHaskellで実装してみました！ - プログラムモグモグ
先日、Twitterでqコマンドが話題になっていました。 github.com スターが3000を超えていてすごいですね。2014年から開発されているツールで、Pythonで書かれています。 これはGoで実装してみたいなーと思っていたところ、mattnさんが素早く実装されていました。 mattn.kaoriya.net 一本取られたと思ったものの、よく読むとまだ標準入力しか対応していないようです。 いったいどういう仕組みなのか、何の実装が難しいところなのか、qコマンドが嬉しい場面はどういうケースなのか、自分も知りたくなったので1から実装してみました。 私が一番素早く書ける言語ということでHaskellを選びました。 qhs qコマンドのHaskell実装、ということでqhsと名づけました。 github.com stackが入っていればインストールは簡単です。 $ git clone ht
Blog
GameWith Developer Blog会社の技術ブログで執筆した記事をいくつかピックアップしています。 2020 年に起きたワークスタイルの変化とこれからについて #GameWith #TechWith - GameWith Developer Blogこの記事は GameWith Advent Calendar 21 日目の記事です。 最近、ブログ更新を怠っていた @serima です。Splatoon 2 でナワバリバトルをする日々を送っていますが、お仕事では開発マネージャーをしています。 2020 年は新型コロナウイルスの影響で世界的に働き方の変革を求められた年であり、弊社 GameWith も例外ではありませんでした。 このポストではフルリモートワークへの切り替えにおいて気をつけたことや、現在の課題と試みについて簡単に紹介できればと思います。 なお、現時点(2020 年 1
「radiko」のタイムシフト機能はいつ始まる？
ネット経由でラジオ放送を同時配信する「radiko.jp」が年内にも、1週間のラジオ番組を無料でネット提供する――先週こんな記事がTwitterなどで話題になった。実はこの記事、昨年8月に掲載されたもの。最新の記事だと勘違いし、「やっと始まるのか」と歓迎するユーザーも多かったが……。 radikoは以前から、過去の番組を聴取できるタイムシフト機能の実装計画を明らかにしてきた。2014年4月のインタビューでも責任者が、「いつになるか分からないが、タイムシフト機能の実装に取り組みたい」と話していた。 今回、改めてradikoに取材したところ、「タイムシフト機能を準備していることは昨年の年初ごろから計画として話しているが、それ以外は公式に発表していることは一切ない。タイムシフト機能は、準備でき次第発表する」とのこと。準備中であることは認めたものの、具体的なスタート予定などは明らかにしなかった。
PythonでExcelのCSVファイルを扱う - Qiita
Pythonのcsvパッケージは大変便利です。面倒なエスケープ処理をちゃんと行ってくれます。とりわけ、Excelファイルで送られてきたファイルを処理するのに重宝します。なんといっても、dialect='excel'でExcel CSVをちゃんと読めます。 ところが、日本語が絡むと問題は途端に厄介になります。問題の本質は何か。まず、ExcelのTSVの扱いに関して、以下のことが知られています。 Excelのtsvエクスポートはutf-16（BOM付き）である Excelが直接読めるのはBOM付きutf-16のtsvである（カンマ区切りはウィザードが必要） csv（カンマ区切り）出力や読み込みも可能だがおすすめできない（後述） このことからわかるのは、BOM付きutf-16ファイルを扱うのが最善ということです。これを扱う一番の方法は、ioパッケージを使うことです。 さらっと書きましたが、ioパ
Big Sky :: SQL で CSV のデータを抽出出来る textql
CSV ファイルを扱っている時に、最大値最小値と得たり合計を得たりするのにいちいち Excel を起動するのはとても面倒ですし、スクリプトを書くのも面倒。 そんな場合は textql を使うと便利です。 dinedal/textql - GitHub Execute SQL against structured text like CSV or TSV https://github.com/dinedal/textql golang で書かれています。ビルドすると依存性の無い実行モジュールが生成されます。使い方はリンク先の動画gifを参照下さい。 簡単にどんな事が出来るかというと $ cat ~/sample_data.csv | textql -header -sql "select sum(cast(value as integer)) from tbl" 18 こんな事が出来るツール
[C++] csvファイル入出力用のiteratorを作ってみた話 - Qiita
#include <iostream> #include <fstream> #include "csv_iterator.hpp" int main(){ //カンマ区切り（csv）でファイルを読みだして、タブ区切りで画面に出力する auto oitr = csv::current(std::cout, csv::mode::tsv); std::ifstream fin("data.csv"); for(auto itr = csv::begin(fin, csv::mode::csv); itr != csv::end(fin); ++itr){ *oitr++ = *itr; if(itr.eol())oitr.endl(); } system("pause"); return 0; } 動機 カンマで一行が複数のフィールドに区切られたファイルのことをcsvといいます。カンマの代わ
![[C++] csvファイル入出力用のiteratorを作ってみた話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/178da99280314d12a9de014b8ff94ce9e2f10658/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNDQyODMlMkZwcm9maWxlLWltYWdlcyUyRjE0OTg4MzAzNzk_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9MmE1OTlmZmQ1ZTI3YTNhMWE5YjM1ZWIxOTUwNmU5YzA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D00bc02097a0be01c1841a051e114c5cc%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCQyUyQiUyQiU1RCUyMGNzdiVFMyU4MyU5NSVFMyU4MiVBMSVFMyU4MiVBNCVFMyU4MyVBQiVFNSU4NSVBNSVFNSU4NyVCQSVFNSU4QSU5QiVFNyU5NCVBOCVFMyU4MSVBRWl0ZXJhdG9yJUUzJTgyJTkyJUU0JUJEJTlDJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJUU4JUE5JUIxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ODRkNmRlY2RjMjMxMmYyNjM2Y2QyODNhNTlkMWIyM2E%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBobWl0byZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTkwMGIxYTJkMWY0MWMxZDQ3ZDZiOGEwMDcxNTExMTM4%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dc608896645ef1363449ada97d0fe4065)
Ruby標準添付ライブラリcsvのCSV.tableメソッドが最強な件について
─ 問題１ ─ data.csvファイルには、５人のプレイヤー（Alice, Bob, Jimmy, Kent, Ross）が二種類のゲーム（gameA, gameB）をプレイした結果が次のような形で格納されている。各ゲームの平均点を求めよ。 data.csv player,gameA,gameB Alice,84.0,79.5 Bob,20.0,56.5 Jimmy,80.0,31.0 Kent,90.5,15.5 Ross,68.0,33.0 data = File.read('data.csv') headers, *scores = data.lines.map { |line| line.chomp.split(',') } scores # => [["Alice", "84.0", "79.5"], ["Bob", "20.0", "56.5"], ["Jimmy", "80
Counties and Conduit - Levi Schuck
About two years ago, I worked with my grandpa to produce a database of cities (at the latitude and longitude level) and historic counties / state based on GIS files with polygons from Newberry. It wasn’t too difficult, I loaded them into PostGIS on a local PostgreSQL instance, joined based on cities being inside a polygon or not, where each polygon had an associated historic county name, state, te
csv-mode.el - @kyanny's blog
Emacs の CSV 用メジャーモード。シンタックスハイライトだけでなく、 CSV 編集に便利な機能がいくつかある。マニュアルを読んでも使い方がよくわからなかったが、何度か試して理解できた。 特に csv-kill-fields は感動した。「CSV ファイルの特定の列のデータだけ抜き出したい」ということはよくあり、いつも AWK でがんばるか、 Excel/Open Office 等を経由するか、はたまた Perl/Ruby のワンライナーでやっつけるか、など多少の手間をかけてしまっていた。 C-c C-k のフィールド指定は "1 2" とか "1,3" とか "1-3" と入力する。ハイフン入りのときだけ range 指定扱い。 特定の列だけ消したいときは C-c C-k で、逆に特定の列だけ取り出したいときは C-c C-k のあと C-c C-z で貼り付ければよい。 C-c
Apache Drill 1.0がリリースされたのでAmazon S3と連携してみた | DevelopersIO
はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64
pandas でメモリに乗らない 大容量ファイルを上手に扱う - StatsFragments
概要 分析のためにデータ集めしていると、たまに マジか！? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？ このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas の Remote Data Access で WorldBan
org-mode 8.2 導入メモ - 競技プログラミング+αなブログ
インストール 最新版はhttp://orgmode.org/ja/で確認する wget http://orgmode.org/org-8.2.tar.gz tar -zxf org-8.2.tar.gzhttp://d.hatena.ne.jp/buzztaiki/20100201/1265031994を参考にしてorg-table.elを修正する *** lisp/org-table.el 2013-10-01 11:04:28.896031328 +0900 --- lisp/org-table.el.bak 2013-10-01 11:04:43.088031931 +0900 *************** *** 965,971 **** (progn (setq s (match-string 1) o (match-string 0) ! l (max 1 (- (strin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
clojure-cookbook/04_local-io/4-20_read-write-csv.asciidoc at master · clojure-cookbook/clojure-cookbook
[Python] 時系列CSVの読み込みを爆速化する - Qiita![[Python] 時系列CSVの読み込みを爆速化する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3cbc63f13a6c7730c883732f8b2ddc46332f357a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjg3NjIlMkZwcm9maWxlLWltYWdlcyUyRjE1NDg2OTMyOTM_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9M2UxNTUwM2MwNjMxMjM4YzAwODBiNTViMjQ4NmVlNzE%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D20ff8e9fcff92fa3c56fabb9d1bf1eba%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUU2JTk5JTgyJUU3JUIzJUJCJUU1JTg4JTk3Q1NWJUUzJTgxJUFFJUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJUUzJTgyJTkyJUU3JTg4JTg2JUU5JTgwJTlGJUU1JThDJTk2JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MDlhYjFjMDdjYmVkYjhhNmE4NTVkYmNmNDRkMDNhZDY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBZdWhzYWsmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01MzM4NDRiNjAxOTdiMGRkMDdjMmM0NmY4ZDU3MjY5MQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D327e4d4c88c6d3c3b06509dff12762ac)
GitHub - dinedal/textql: Execute SQL against structured text like CSV or TSV
MySQLのSELECT文でcsvを出力する - Qiita
csvkit 0.7.3 (beta) — csvkit 0.7.3 (beta) documentation