人生3回目のCSVエディタを作っている話
私は今、人生で3回目のCSVエディタを作っています。もはや狂気です。 なぜ作り始め、なぜ今また作り直しているかみたいな話を書きたいと思います。 About Me 株式会社ヘンリーでソフトウェアエンジニア & アーキテクト的なことをしつつ、個人開発してます。 Social accounts: kohii on GitHub @kohii00 on X 今までに作ったCSVエディタたち 初代SmoothCSV（2011年〜） 私は新卒で入った会社で公共系のシステム開発に従事しており、CSVを扱う機会が多くありました。（今は医療スタートアップにいますがこの業界もよくCSVが現れます。） 既存のCSVエディタをいろいろ試してみたのですが、どれも求めるものと違うと感じ自分で作るしかないと思い、作りました。 SmoothCSV。時代を感じるUI Java / Swingで作成 (当時Javaくらいしか
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
ツーシーム投げ猫 @0000snao 問：「CSVを開いて」と言われたので、ExcelではなくSakuraエディタで開いた際、「それ、CSVじゃないから😅」と言われた時のぼくの気持ちを答えよ
CSVエディタを24年作り続けて。フリーソフト「Cassava Editor」開発者の静かな献身【フォーカス】 レバテックラボ（レバテックLAB）
TOPフォーカスCSVエディタを24年作り続けて。フリーソフト「Cassava Editor」開発者の静かな献身【フォーカス】 CSVエディタ「Cassava Editor」開発者 あすかぜ（海津 智宏） ソフトウェアエンジニア。1981年生まれ。2006年に東京工業大学（現・東京科学大学）修士課程を修了後、大手電機メーカーや社会人博士課程（情報科学）を経て、外資系IT企業に勤務。2000年には、個人サイト「あすかぜ・ねっと（当初はあすかぜ factory）」を開設。同年、フリーソフト「Cassava Editor」を公開。以来、24年間CSVエディタの更新・保守を続ける。好物は雪印北海道100のチェダー クラッシュとゴーダ クラッシュ。3児の父。 https://www.asukaze.net/ X 2000年に公開されたCSVエディタ「Cassava Editor」は、個人開発のフリー
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian Kernighan の手によって追加されたと話題になった（参照）ことを覚えているでしょうか？ Brian Kernighan が誰だか知らない方がいるかもしれないので説明すると、オリジナルの awk の開発者の一人で awk の頭文字、Alfred Aho、Peter Weinberger、Brian Kernighan の一人です。通称「K＆R」の「プログラミング言語C」や「プログラミング言語AWK」
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに CSVファイルをExcelで開こうとしたとき、電話番号や郵便番号の先頭のゼロ（0）が自動的に消えてしまったり、文字化けしてしまう...。そんな悩みをお持ちの方はいませんか？この記事では、データを正確に保持しながらCSVファイルを開く方法を簡潔にご紹介します。 1.CSVファイルとは そもそもCSVファイルって何？というところから説明します。 CSVはComma Separated Value（カンマで区切られた値）の略であり、CSVファイルはテキストデータの各項目を、カンマ（,）で区切って表現したファイルです。 言葉では理解し
自分のパスワードには常にカンマを含めておけば漏洩してCSVになったときにうまく動かなくなる？「なるほど」「あまり意味がないかもしれない」
新山祐介 (Yusuke Shinyama) @mootastic 「自分のパスワードには常にカンマを含めておけ、そうすれば漏洩してCSVになったときにうまく動かなくなるから」 twitter.com/vxunderground/… 2022-10-09 06:27:24 vx-underground @vxunderground Insert commas into your password so when your credentials are dumped into a CSV it breaks it 2022-10-06 08:58:54 新山祐介 (Yusuke Shinyama) @mootastic 個人的に面白いと思った海外記事のブックマーク。ネタ元はHNやRedditなど。日本語の要約は間違っていることもあるので引用は慎重に。意見はすべて個人的なものです。(2023
techfeed 経由で下記のスレッドを見かけたのですが、タイトルだけでも既に面白そうです。 また、ちょっと前から Notion のデータベースを各種コンテンツへ変換するツールを作っていまして、これを組み合わせるといろいろ楽できそうな予感がします。 そのようなわけで、スレッドで紹介されていた columnq-cli についての記事です。 columnq-cli とは？ README を読むと「各種データをテーブルとして SELECT できるようにする CLI ツール」で、テーブルソースには JSON などの他に ROAPI でサポートされているものを扱えるとのこと。 (SELECT のみで更新はできない) ここで ROAPI とはなんぞやとなりますが、こちらは「ローカルのファイルシステムや各種サービスのデータを統合的に扱える(SELECT できる)サーバー」を構築できるそうです。 図 1-
Re: Goでcsvを操作するための基本的な知識
はじめに Println で標準出力してみると以下のように表示されるかと思います。（SHIFT-JIS形式なのでmacでみると文字化けしていますがひとまず置いておきます） 日本では一般的に CSV ファイルは Shift_JIS でエンコードされている事が多いです。Go 言語は内部のエンコーディングが UTF-8 なので、Shift_JIS な CSV ファイルを読み込むと文字化けします。 そこで便利なのが エンコーディングの変換は golang.org/x/text/transform が便利です。このパッケージと、golang.org/x/text/encoding/japanese を使う事で、os.Open で開いたファイルがさも初めから UTF-8 であるかの様に扱う事ができます。 どんな風に扱うか japanese パッケージには japanese.ShiftJIS や jap
フリーランスエンジニアのMasaki（@plus_one_masaki）さんは6月18日、表計算ソフト「Microsoft Excel」風のUIで操作できるCSVエディタ「CSV＋」のプレビュー版を、自身のWebサイトで無償公開した。Windows、Mac、Linuxに対応。開いたファイルをタブで管理できる機能も備える。 プレビュー版では、セルを範囲選択したり、並び変えたりできる他、語句の検索も可能。Excelと同様、プリンタにデータを送る機能も備える。 CSVはComma Separated Valueの略で、カンマで値や項目を区切ったテキストファイルを指す。さまざまな表計算ソフトで読み込めるため、統計データをオープンソースとして公開するときなどにも一般的に使われている。 一方、CSVファイルをExcelで読み込もうとすると、0から始まる電話番号などが書かれたファイルを正常に読み込めなか
This article was discussed on Hacker News. I recently learned of csvquote, a tool that encodes troublesome CSV characters such that unix tools can correctly process them. It reverses the encoding at the end of the pipeline, recovering the original input. The original implementation handles CSV quotes using the straightforward, naive method. However, there’s a better approach that is not only simpl
One-liner for running queries against CSV files with SQLite という記事で紹介されていた、ワンライナーを使って CSV ファイルに対して SQL クエリを実行する方法。 $ sqlite3 :memory: -cmd '.mode csv' -cmd '.import taxi.csv taxi' \ 'SELECT passenger_count, COUNT(*), AVG(total_amount) FROM taxi GROUP BY passenger_count' ソース元に記述されてる通り、taxi.csv を GitHub からダウンロードして試すことができる。7z で圧縮されていて解凍する必要がある。 SQLite は通常ストレージディスク（SSD とか）上に保存して利用するのが一般的だが、SQLite 側で用意さ
こんにちは、バックエンドエンジニアの日下です。 CSV から JSON へ変換するスクリプトを、TypeScript で実装する機会がありました。 今回は、CSV のデータのバリデーションに Zod を使った話をします。 スクリプトの目的 システム間のデータ連携が目的です。 連携元のシステムから CSV 出力されたデータを、連携先のシステムで利用する JSON へ変換します。 また、JSON への変換以外にも以下の要件があります。 CSV のデータをバリデーションする 連携先のシステムで利用できるデータであることを保証するために、バリデーションを実行します。 バリデーション失敗時に、日本語のエラーメッセージを表示する スクリプトの実行は業務担当のエンドユーザーが行うため、日本語のエラーメッセージを表示します。 CSV の読み込み 元データとなる CSV の読み込みは、csv-parse を
こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日はcsvからレポートを作成するのを自動化してみたいと思います。 これを使うと、excel/csvからシュッとそれっぽいレポート文章を作ることができます。 参考 どのように行うかの検討 CSVを扱ってデータをいい感じに解釈してくれるやつだとLangChainに実装されてそうなので調べてみました。 CSV Agentというのがあったのですが、Python3.9以上を要求されColabで扱いづらいこと、かつ使ってみたところうれしみが小さかったので今回は自分で実装してみることにしました。 ちなみにLangChain::CSVAgentを使うと以下のようになります。対話形式で特定のカラムの平均値とか出せるので楽しいです。ちなみにこれを使う場合は動的にコード生成しているので、Prompt Injectionさ
EC事業部エンジニアのharashoです。この記事はEC事業部ブログリレーの13日目の記事で、12日目は@ku00さんによるカラーミーショップの一機能をAngular Elementsで実装しましたでした。 タイトルがこの記事の結論になりますが、私が遭遇したCSVファイルの読み込み処理で起きた不具合と原因、対応方法について書きます。 CSVファイルの読み込み処理で起きた不具合 不具合の原因 BOMについて 対応方法: BOMを取り除く おわりに CSVファイルの読み込み処理で起きた不具合 私が開発に携わったカラーミーリピートの一括発送アプリには、注文に対する発送リストをCSVファイルから一括登録して、発送処理を行う機能があります。以下はその機能の簡単な流れと、CSVファイルのイメージです。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PayPayは2月6日、「PayPay」で行った決済などの取引履歴を、PayPayアプリからCSV形式でダウンロードできるようにした。確定申告や家計管理などに便利な機能だ。 決済の他、送金、残高チャージ、ポイント獲得、PayPayカードやPayPay資産運用など、直近2年間にPayPayアプリ上で行った取引の履歴がダウンロードできるようになった。 一度に指定できる期間は1年間（365日間）。それ以上の期間の履歴をダウンロードしたい場合は複数回に分ける必要がある。 関連記事 LINE Pay→PayPayへの残高移行スタート 4月末のLINE Payサービス終了に向け PayPayは1月27日、コード決済サービス「LINE Pay」の残高をPayPayに移行する機能の提供を開始した。LINE Payが2025年4月末に終了することに伴うもので、移行期間は4月23日まで。1日1回2万円、期間中
And I think you’ll love it. I focused on several areas: Improved UI and user experience Faster performance Useful features Updated documentation For Mac users, Native Apple Silicon (ARM – M1, M2) compatibility Download Modern CSV 2 If that’s all you need to know, you can buy a license here. Or if you already have a version 1 license, you can upgrade here. For those that need more details, here you
Claude 3.5 Sonnet ＋ 新機能「Artifacts」でCSVから簡単データ分析 - Taste of Tech Topics
はじめに こんにちは。7月に入り、蓮の花が咲く季節が近づいてきましたね。 ４年目エンジニアの小林です。 最近、2024年6月21日にAnthoropic社からリリースされた、「Claude 3.5 Sonnet」で利用できるArtifactsという機能が注目されています。 この記事では、Artifactsを使ってCSVからグラフを生成してみます。 はじめに Claude 3.5 SonnetおよびArtifacts機能の概要 グラフ作成を試してみた Artifacts機能の利用手順 CSVデータからグラフを作成する グラフをカスタマイズする まとめ Claude 3.5 SonnetおよびArtifacts機能の概要 Claude 3.5 Sonnetは、Anthropic社が開発した最新の生成AIモデルで、低コストながら高い性能を持つモデルとして話題になっています。 そして、中でも注目さ
郵便番号と住所の変換システムを扱うエンジニアの間で悪名高かったKEN_ALL.CSVだが、2023年6月更新分より、文字コードがUTF-8に、フリガナが全角カタカナになり、町域名が長いときも複数レコードに分割されなくなったファイルが新たに追加された模様。従来通りの書式のファイルもダウンロードできる。今後は町域名に含まれている自然言語の注釈(「その他」「※番地」「以下に記載のない場合」など)をフラグに変換する予定もあるようだ（郵便番号データダウンロード）。
方法①はシンプルでは手軽に利用できますが、データ読み込み後のデータ整形作業が必要になります。 また、複数の銘柄の株価データを集める際には手間がかかります。 1つの銘柄で、なおかつ1度限りの分析であれば有効と思いますが、繰り返し分析したり、複数銘柄を扱いたい場合には不便です。 データ取得の手順を解説ここからは、Investing.comから株価データをCSV形式でダウンロードして、Pythonで読み込み、データ整形するまでの手順を解説します。 *無料登録が必要です。株価データを取得するには無料の会員登録が必要になります。 必要なのはこれだけです。 お金もかからないので余裕ですね。 銘柄を検索してCSVファイルをダウンロード会員登録を済ませてログインすると株価データをCSV形式でダウンロードできるようになります。 データは日足、週足、月足から選択することができます。 Investing.com
GitHub - TomWright/dasel: Select, put and delete data from JSON, TOML, YAML, XML and CSV files with a single tool. Supports conversion between formats and can be used as a Go package.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ | DevelopersIO
[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ データアナリティクス事業本部コンサルティングチームの石川です。先日、Amazon Athenaが、UNLOADコマンドをサポートしました。SELECTクエリの結果をCSV、Parquet、Avro、ORC、JSONフォーマットでS3出力できるようになりました。本日は、UNLOADコマンドを実際に試してみます。 UNLOADコマンド UNLOADコマンドの構文は、以下のとおりです。 UNLOAD (SELECT col_name[, ...] FROM old_table) TO 's3://my_athena_data_location/my_folder/' WITH ( property_name = 'expression' [, ...] )
![[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
GitHub - nao1215/sqluv: simple terminal UI for RDBMS & CSV/TSV/LTSV at local/https/s3
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
trdsqlはCSV,LTSV,JSONをDB(PostgreSQL,MySQL)にインポートするツールです trdsqlはCSV,LTSV,JSONに対してSQLを実行するツールと書いてあって、「PostgreSQLやMySQLに接続できるため、データをインポートする方法もある」と書いてあるため、オマケ的に捉えられているかもしれませんが、専用ツールを上回るくらい便利に使えます。 データをインポートしたい時に、そもそも候補としてすら挙がっておらず、寂しい気持ちがあるのですが、それよりも何よりも、それtrdsqlでサクッと出来ちゃうのに...という場面を度々目にするので、ここで紹介させていただきます。 そもそものtrdsqlの動作 そもそもtrdsqlの動作は、（デフォルトでSQLite3ですが）データベースに、テキストファイルを読み込んで、インポートし、SQLの処理をデータベースにお任せし
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Railsのcsvダウンロードで直面する数々の問題を解決したらgemができた 〜csb gemの紹介〜 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
GitHub - trailofbits/graphtage: A semantic diff utility and library for tree-like files such as JSON, JSON5, XML, HTML, YAML, and CSV.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめまして、バックエンドエンジニアをしています武山 (bushiyama) です。 この記事は ANDPAD Advent Calendar 2022 の 1日目の記事です。 そんなルールはありませんが、アドベンドカレンダー 2022 初日なので初級な内容で暖めていきたいと存じます。 お題 非エンジニア職「ちょっとこの csv を集計したいんだけど、件数が多すぎなので助けて わたし「おｋ そもそも、システム上で集計できるよう諸々設計するのが最善ではあります。 しかしどんなに完璧なシステムを作っても、エンジニアには生涯で３回ぐらいは n 万行の CSV に立ち向かわなければならない日が来ます。 これは、わたしの直近の戦いの記録である。 なにはなくとも、まず要件整理 Excel などで開ければ vlookup と sum で簡単にとれるようですが、件数が多すぎて無理なよくあるやつです。 要望
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法【いまさら聞けないExcelの使い方講座】
「CSVを開いて」と言われたのでExcelじゃないエディタで開いたら「それCSVじゃないから」と言われてしまった
【Excel】CSVファイルをダブルクリックするのは絶対NG！CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】
蔵書管理が捗る！ Kindleで購入済み本の一覧をCSVで取得する方法が有益と話題に【やじうまWatch】
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
CSVファイルが勝手に「Excel」ファイルに？ 「OneDrive」の謎仕様に驚きと戸惑いの声／コンシューマー向けのみの仕様、ビジネス向けでは起こらない【やじうまの杜】
ExcelでCSVファイルを「0落ち」や「文字化け」なしで開く方法 - Qiita
JSON や CSV で SELECT * FROM したいときは columnq-cli が便利
Excel風UIのフリーCSVエディタ「CSV＋」登場 MacやLinuxにも対応
Fast CSV processing with SIMD
CSVファイルをもとに3分でウェブアプリ完成！ NASでも動くローコード開発環境「Budibase」【イニシャルB】
ワンライナーで CSV に対して SQLite クエリを実行する - アルパカの徒然文
CSV/TSVファイルをExcelのようにテーブル表示 ～「WinMerge 日本語版」v2.16.6+-jp-11／表計算ソフト風の見た目でファイルの差分を表示可能
Zod を使って CSV からの入力データをバリデーションする - ドワンゴ教育サービス開発者ブログ
「EmEditor」が16TB・1.09兆行の巨大ファイルに対応 ～v20.5.0が公開／タブのツールチップに行数とCSV列数の情報が追加されるなどの改善も
ChatGPT APIを使ってExcelやCSVのデータからレポートを自動作成してみる - Qiita
CSVファイルを読み込むときはBOM付きUTF-8に気をつける - Pepabo Tech Portal
GitHub - YS-L/csvlens: Command line csv viewer
Windows/Mac/Linux対応のシンプルなタブ切り替え型CSVエディター「CSV+」が公開／作者のWebサイトから無償でダウンロード可能
最強のCSVエディター「EmEditor」はExcelの代わりにも使える ～テキスト編集上級者への道【初心者からEmEditorの達人になる！】
PayPay、取引履歴CSVのダウンロードが可能に 確定申告など向け
Modern CSV 2 is now available.
日本郵便のKEN_ALL.CSVが改善される | スラド デベロッパー
【日本株対応】Pythonで株価のローソク足データを取得する方法まとめ【CSV、ライブラリ、スクレイピング】
trdsqlはCSV,LTSV,JSONをDB(PostgreSQL,MySQL)にインポートするツールです
DenoでクソデカCSVを読む - Qiita
【特別企画】どんどん軽くなり続ける「EmEditor」 ～ExcelよりCSVをサクサク処理できるワケ
そびえ立つ n 万行の csv を Go 言語で簡単クッキング - ANDPAD Tech Blog