ダブルクォーテーションで囲みがあるCSVをうまくコレクションに取り込む - MoreBeerMorePower
2021/9/21に投稿されたJohn LiuのブログとReza DorraniのYoutube動画を組み合わせて、日本語を含む (ダブルクォーテーションなどで囲まれていたり囲まれていなかったりする) CSVをうまくPower Appsのコレクションに取り込めたので、方法を書いておきます。 References : johnliu.net CSVを取り込む Rezaの動画では、テキストボックスに入力されたCSV (ヘッダーなし) データを、Split()を2回施して入れ子になった配列としてコレクションに格納していました。 （Rezaの動画のすごいところは、それをさらにバルクで編集・削除・コピー・Listsへの登録を行っている点だと思います） ClearCollect( colCSV, ForAll( Split(TextInput1.Text, Char(10)), Split(Resul
BOM（Byte Order Mark）について調べてみました - ts0818のブログ
gigazine.net ウェブカラーの基礎が作られたのは1984年。マサチューセッツ工科大学(MIT)が開発したX Window System(X11)でGUIがリリースされたのがきっかけで、続く1986年にリリースされたX10R3にはGUIカラーのリストが実装されていました。なお、この時のリストは「dark red」と「DarkRed」のように、2種類の表記を使った69個の色名が記されていたとのこと。 なぜCSSのカラー名には「トマト」「レモン・シフォン」のような名前がつけられているのか？ - GIGAZINE 現在使われている「色名」が本格的に世に登場したのは1989年にX11R4がリリースされた時。当時はどのマシンを使うかによって色の見え方が全く違っていたため、「『小麦色』が全然小麦色じゃない」ということも。そこで、ユーザーたちからの「色の正確性をなんとかして欲しい」という声に答え
Fast CSV processing with SIMD
This article was discussed on Hacker News. I recently learned of csvquote, a tool that encodes troublesome CSV characters such that unix tools can correctly process them. It reverses the encoding at the end of the pipeline, recovering the original input. The original implementation handles CSV quotes using the straightforward, naive method. However, there’s a better approach that is not only simpl
csvtojson
CSVTOJSON csvtojson module is a comprehensive nodejs csv parser to convert csv to json or column arrays. It can be used as node.js library / command line tool / or in browser. Below are some features: Strictly follow CSV definition RF4180 Work with millions of lines of CSV data Provide comprehensive parsing parameters Provide out of box CSV parsing tool for Command Line Blazing fast -- Focus on pe
CSVファイルの列数が変わっても、クエリ編集なしで対応するアイデア - Qiita
2019/4/30 勉強会にて発表した際、教えていただいた別法を追記しました。 最後の行を読み取ればよいだけの場合は、ぜひ別法にチャレンジしてみてください。 想定するCSVファイル 列が変わってしまう様式のファイルです。会計システムから出る推移表の様式がこういうのだったりします。 ポイントは下記3点です。 1行目にヘッダがなく データ部分は同じ列数に揃っていて データ部分の列数よりも列数が多い行がない Excelで開くとこんな感じ メモ帳で開くとこんな感じ 株式会社A社 税抜 コード,名前,2018年10月累計,2018年11月累計,2018年12月累計,2019年1月累計,2019年2月累計 001,甲,100,100,100,0,0 002,乙,200,200,200,0,0 003,丙,300,0,0,0,0 ※3行目以下のデータ部分は記事の最後にも載せています。 UIでクエリを作る
全国のオンライン診療実施医療機関リストをMapbox で表示 - フリーダムの日記
まじめな所長＠医療介護データ研究所 @iryokaigodb の方が公開している全国のオンライン診療実施医療機関リストを地図に表示しました。すでに何人の方が地図を利用していますが、Mapbox を利用した例は私が見た限りないようなので、今回は、Mapbox を利用した例を紹介したいと思います。 note.com 全国オンライン診療実施医療機関リストマップ Mapbox にデータを登録して、Mapbox GL JS を使用して表示した例になります。 valuecreation.github.io はじめに データは CSV で提供されていますが、緯度経度は付与されていません。地図に表示するには緯度経度が必要になりますので、住所データからジオコーディングを行う必要があります。 ArcGIS や Google などジオコーディングサービスはありますが、今回はレコード数が多いため無償で使用できる東
Excelで大容量のCSVファイルを表示形式が文字列で素早く開く - Qiita
Dim oArgs, oWSH, oFSO, oXLS, oWbk, oSht Call Main Sub Main Set oFSO = CreateObject("Scripting.FileSystemObject") Set oArgs = WScript.Arguments For i = 0 to oArgs.Count - 1 Call CsvImpExcel(oArgs(i)) Next End Sub Sub CsvImpExcel(argFileName) ' MsgBox argFileName nCols = GetMaxCols(argFileName) 'nCols = 26 If nCols = 0 Then WScript.Echo "ファイルが空です：" & argFileName Exit Sub End If If IsEmpty(oXLS) Then
【セル内改行 ダブルクォーテーション対応】ExcelVBAのCSV読み込み方法7つ - kamocyc’s blog
Excel VBAでのCSVの読み込み方法を検索するとたくさん出てきますが，それぞれ一長一短があります。この記事でまとめてみます。 結論は「ADODBで読み込むといい」です．そこだけ見たい人はまとめをご覧ください． Workbooks.Openで開く テキストファイルとして読み込む（単純Split版） テキストファイルとして読み込む（独自にパース） ADODB.Connectionで読み込む Workbooks.OpenTextで開く クエリーテーブルで読み込む PowerQuery (取得と変換) を使う まとめ 以下，VBAを書いたExcelブックのカレントディレクトリのemployee.csvを読み込むとします． Workbooks.Openで開く Workbooks.OpenでCSVを開くのは、一番簡単なCSVの読み込み方法でしょう。 Sub LoadCSV1() Dim csvB
CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog
定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした．Rainbow CSV には多くの機能があり，例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある．データを抽出する用途だけでなく，CSV を確認するときにも便利で，普段から使える最高の拡張機能だった．以下からインストールできる． marketplace.visualstudi
CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記
column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi
CSVファイル経由で感染するウイルス（ただしExcel限定）が話題に | スラド セキュリティ
CSVファイルを開くだけでウイルスに感染するという話が報じられている。 ExcelではExcelの関数が記述されたCSVファイルを開くと、状況によってはその関数を実行する仕組みになっているようだ。そのため、Excelで開いた際に悪意のある処理を実行するようなCSVを意図的に作成できてしまうという。 開いた時の話で問題があるのはExcelの方であり、またExcelはちゃんと怪しいCSVファイルを開いた時に警告を出すためどちらかというと利用者側の問題のような気もするが、実際にこの手法を使った攻撃が今年第一四半期に行われていたそうだ。 対策としては、不審なCSVファイルはExcelで開かなければ良いと思われる。 なお、ExcelがCSVファイル内の関数を実行するという問題については以前から指摘されてはいたが、Microsoftはユーザーがマクロを有効にする必要があることから脆弱性ではないとしてい
まだ CSV の文字化けで消耗してるの？（Excel で直接開いても文字化けしない CSVファイルを Python3 で作成するスマートな方法） - akiyoko blog
この投稿は 「python Advent Calendar 2017 - Qiita」 の 9日目の記事です。 こんにちは、akiyoko です。 「Python Advent Calendar」は 4年連続 4度目の参加になります。 *1, *2, *3 はじめに 皆さん、CSV は好きですよね？ Excel も大好きですね？ じゃあ当然、CSVファイルは Excel で開きますよね。 文字化けは？ ・・もちろん嫌いですよね。 でも CSVファイルを Excel で開こうとしたときに、こんな文字化け地獄を経験したことはありませんでしたか？ *4 ということで今回は、Excel で直接開いたときに文字化けしない CSV ファイルを Python3 で作成する方法 を紹介したいと思います。（おまけで Python2 でのやり方も書いておきますが、今時 Python2 で消耗している人なんてい
CSV ファイルを KML に変換する | Keyhole Markup Language | Google for Developers
フィードバックを送信 CSV ファイルを KML に変換する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Google Geo API チーム、Mano Marks 2008 年 3 月 目標 このチュートリアルでは、Python を使用してカンマ区切り値（CSV）データから KML を作成する基本的な方法について説明します。CSV データは、現在最も広く使用されているファイル形式の 1 つです。ほとんどのスプレッドシートとデータベースは、CSV ファイルの読み取りと書き込みの両方に対応しています。シンプルな形式で、テキスト エディタで編集できます。Python などの多くのプログラミング言語には、CSV ファイルの読み取りと書き込みを行うための特別なライブラリがあります。そのため、大量のデータを交換するのに最適な媒体となります。 このチュートリアルの
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
PythonでExcelのCSVファイルを扱う - Qiita
Pythonのcsvパッケージは大変便利です。面倒なエスケープ処理をちゃんと行ってくれます。とりわけ、Excelファイルで送られてきたファイルを処理するのに重宝します。なんといっても、dialect='excel'でExcel CSVをちゃんと読めます。 ところが、日本語が絡むと問題は途端に厄介になります。問題の本質は何か。まず、ExcelのTSVの扱いに関して、以下のことが知られています。 Excelのtsvエクスポートはutf-16（BOM付き）である Excelが直接読めるのはBOM付きutf-16のtsvである（カンマ区切りはウィザードが必要） csv（カンマ区切り）出力や読み込みも可能だがおすすめできない（後述） このことからわかるのは、BOM付きutf-16ファイルを扱うのが最善ということです。これを扱う一番の方法は、ioパッケージを使うことです。 さらっと書きましたが、ioパ
それでも独自のCSVを書くつもりですか？ | POSTD
一部誤訳の指摘があったため、修正しました！ご迷惑おかけして申し訳ございません！ あなたは自分でCSVを書いてみたいですか？ フィールドはコンマで区切り、行は改行で分けます。簡単ですよね。数行書けば勝手が分かるというものです。 でも、ちょっと待ってください。 フィールド内にコンマがある場合は？ ダブルクォート（”）で、該当のフィールドを囲みましょう。簡単ですね。 では、ダブルクォートで囲めるフィールドに例外はあるのでしょうか？ フィールド内にダブルクォートがある場合は？ フィールド内の各ダブルクォートに対して、ダブルクォートを二重化して適用しましょう。そうすれば元のダブルクォートをエスケープすることができます。 なお、二重化したダブルクォートと空フィールドを囲んでいるダブルクォート（ ...,"",... ）を勘違いしないように気を付けてください。 フィールド内に改行がある場合は？ その場合
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Home
統計表における機械判読可能なデータ作成に関する表記方法案
ExcelをインストールせずにExcelファイルをCSVに変換する
ExcelのCSVインポート・エクスポート機能を強化する「Excel CSV I/O」NOT SUPPORTED