徹底解説！郵便番号データの処理方法 - ケンオールブログ
日本郵便様が公開している郵便番号データを利用しやすくするには、複雑な加工処理が必要になります。 ケンオール通信では、過去数回に渡り、郵便番号データの処理方法を解説してきました。 本シリーズの締めくくりとして、今までの解説をまとめて紹介します。 データは、記載がない限り2021-11-30のデータを用いています。 郵便番号データの処理方法まとめ 複数行の結合 括弧つきのレコードの分割 括弧内の処理 丁目 小字 京都の通り名 （その他） かぎ括弧 区切り文字 ビル郵便番号 まとめ ケンオールについて 郵便番号データの処理方法まとめ 郵便番号データ処理で押さえるポイントは4つ 郵便番号データを処理するには、以下の4つのポイントを押さえてください。 複数行に分割されたレコードを1行にまとめる 括弧つきのレコードを括弧の外側と内側で分割する 括弧内の文字列を処理する ビル郵便番号を処理する 複数行の
PHPのストリームフィルタでCSV読み込み - Qiita
※この実装はバグがあります。コメントおよび正しい実装を参照してください。 『利用できるフィルタのリスト』という謎の項目があります。 filter_input()とかのFilterとはまた別の、PHPにデフォルトで用意されているフィルタです。 何ができるかというと、入出力ストリームに対して操作が可能です。 ストリームとはfopen()とかでオープンされるリソースで、というか他に何か使えるものあるんですかね？ <?php $text = 'abcdefg'; // ストリームフィルタ $crypt = 'mcrypt.'.MCRYPT_3DES; $decrypt = 'mdecrypt.'.MCRYPT_3DES; $params = array('iv'=>'hoge', 'key'=>'fuga'); // 書き込み $fp = fopen('foo.txt', 'w'); // 暗号化
CSV処理における共通処理をDecoratorパターンで実現する | フューチャー技術ブログ
はじめにTechnogoly Innovation Group 辻です。 システム間のデータ連携として、他システムが出力した CSV ファイルを Go で読み込んでリレーショナルデータベースにファイルのデータを保存する、という処理がありました。CSV の値をデコードしたあとに共通的な処理を差し込みたいユースケースで Decorator パターンを使って実装をしました。コードベースをシンプルに保ちつつ共通処理をフックできます。実用的なユースケースで Decorator パターンを紹介する記事は少ないと思ったので、本記事を書きました。 まず Decorator パターンが必要になった背景を説明したあとに具体的な Go の実装を見ていきます。 背景他システムが出力した CSV ファイルを Go でデコードして、PostgreSQL にデータを投入するような処理がありました。簡略化したイメージは以
アクセスのテーブルにCSVファイルをインポートする【VBA使用】
アクセスで作成したテーブルにVBAを利用してCSVデータをインポートすると、 『貼り付け先のテーブルには’F1’フィールドがありません』 のエラーが発生する場合があります。 このエラーはヘッダ（見出し行）が存在しないCSVをVBAでインポートする際に発生します。 ヘッダーが存在しないCSVを取り込む時は『インポート定義』を設定すればCSVの取り込みが出来るようになります。 そこで今回は、 この２つのCSVをそれぞれVBAでインポートする手順を解説します。 CSVファイルをインポートするための事前準備 CSVデータの取り込みを確認するために用意したのは以下の通りです。 CSVを格納するテーブル：発送データ_TR VBAを記述するトリガーとなるフォーム：カード発送 CSVデータ（ヘッダ情報なし）：Inport_data1.csv CSVデータ（ヘッダ情報あり）：Inport_data2.csv
MNISTのデータをCSVに変換する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、前回ダウンロードしてきたMNISTのデータをCSVに変換しました。 今までバイナリデータをちゃんと扱ったことがなかったので、とても勉強になりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 MNISTのデータのダウンロードまでは、前回の記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 MNISTのデータをCSVに変換する 1.MNISTのデータ構造 2.全体像 3.ラベルファイルとイメージファイルを開く 4.ヘッダー情報を読み込む 5.画像データを読み込んでCSVで保存 6.うまく取り出せたかどうかPGMで保存して確認 7.出力件数を指定して出力 8.コマンドラインか
アルゴリズムの基本をJava、C#、Pythonで学ぼう - データを集計し、言語ごとの違いを知る - エンジニアHub｜Webエンジニアのキャリアを考える！
今回は、以下のように指定しました。表示オプションはデフォルトのままです。 地点を選ぶ：東京 項目を選ぶ（データの種類）：時別値 項目を選ぶ（項目）：気温 期間を選ぶ：2019/1/1～2019/12/6 データの項目は「日時」「気温」「品質情報」「均質番号」の4種類。品質情報、均質番号は、観測値が正常かどうかに関する情報です。各項目の詳細については、同サイトの「ダウンロードファイル(CSVファイル)の形式」ページを参照してください。 ファイルの先頭5行には、次の画像のような項目が入っています。このまま使うとやや面倒なので、あらかじめ先頭5行分は削除し、全てデータ行のみのCSVファイルに加工しておきます。 CSVファイルの仕様にはバリエーションがあり、その全てに対応するとコードが複雑になりますので、今回は気象庁のCSVデータに基づき、次の仕様を前提とします。 文字種は、ANK（1バイト文字）
【超簡単】エクセルVBAでCSVファイルを読み込むマクロ
VBAでCSVファイルを読み込むための「汎用CSV読み込みマクロ」を作りました。 CSVファイルを読み込むとき、通常の手順で開こうとすると次のように面倒な場合があります。 「1-2-3」→「2001/2/3」 「09012345678」→「9012345678」、など内容が変化してしまう 文字化けしてしまう テキストファイルウィザードで、データの形式を「文字列」に直すのが面倒くさい このページで紹介するマクロを使えば、このようなトラブルが避けられます。 若干、VBAの知識が必要になりますが、少し引数を指定するだけで、ファイルを適切に取り込むことができます。 他のホームページで公開されているマクロとは違い、かなり汎用性が高いプログラムだと思いますので、ぜひ、試してみてください。 このページで公開しているマクロでは、下記のような処理に対応しています。 文字列、金額のカンマ区切り、和暦など指定し
CSV に SELECT / UPDATE クエリを実行できる VS Code の拡張機能「Rainbow CSV」 - kakakakakku blog
定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした．Rainbow CSV には多くの機能があり，例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある．データを抽出する用途だけでなく，CSV を確認するときにも便利で，普段から使える最高の拡張機能だった．以下からインストールできる． marketplace.visualstudi
[FuelPHP] CSV出力を実装する方法
案件で CSV 出力を実装したのでメモ Excel で UTF-8 の CSV ファイルは開けない 理由 Excelの場合、CSVファイルはShift-JISとして開くこのため、UTF-8 の CSV ファイルを Excel で開きたい場合は 拡張子を別のものに変えて開く 先頭に三バイトのBOMを付与したCSVファイルで開く など、手間がかかる、 FuelPHPでの準備 FuelPHPでCSVファイルを出力する場合、CSVファイル用に拵えた配列をto_csv()に渡してやる必要がある。この手の出力は RestController を使うと楽だが当該案件ではエラーハンドリングなどがあり RestController を使うのは見送った。 以下のようにto_csv()をオーバライドする class Format extends Fuel\Core\Format { public functio
![[FuelPHP] CSV出力を実装する方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/7619a2b7e4700fc047bfef068fcc148c87c66f8d/height=288;version=1;width=512/https%3A%2F%2Fb.0218.jp%2Fimages%2Fogp%2F20141229164000.png%3Fts%3D1753d7c3a94aeb65c375c4bc1b20e923fca09679)
fuelphpでcsvファイルをアップロードして読み込み処理 | シーズクリエイターズブログ
fuelphpでcsvファイルをアップロードして読み込み処理 Posted 2015年1月27日 by yuchi & filed under プログラミング. こんにちは WEBエンジニアのyuchiです。 前々回の記事に引き続き、開発でfuelphpからCSVファイルをアップロードして読み込みしないといけなかったので、 その時調べた方法を書きたいと思います。 まずはCSVファイルをアップロードします。 // 初期設定 $config = array( 'path' => dirname(DOCROOT).'/uploads/', 'randomize' => true, 'ext_whitelist' => array('csv'), ); // アップロード基本プロセス実行 Upload::process($config); // 検証 if (Upload::is_valid()
株式会社Qript グループ統合に関するお知らせ
このたび弊社を含む Penseur（パンスール）グループ傘下の事業再編にともない、2022年4月1日をもって、株式会社Qriptは株式会社Penseurへ吸収合併され、新たな歩みを進めることとなりました。 2000年に創業し本日に至るまで、多くの皆様からのご愛顧に対し、社員一同、深く感謝するとともに心より御礼申しあげます。 なお、弊社の既存事業・業務はすべて株式会社 Penseurにて継続してまいります。 事業再編により、新たな体制をもって総力を結集することが可能となり、今後さらに高付加価値のサービス提供が可能になると考えています。 今後も皆様のご期待に添えますよう全力を尽くしてまいりますので、引き続き、何卒ご指導ご鞭撻を賜りますようお願い申し上げます。 2022年4月1日 株式会社Qript 代表取締役 寺嶋正浩 株式会社Qript グループ統合に関するお知らせ（PDF） ※株式会社Qr
データの前処理や加工に使えるPython csvkit - Librabuch
みなさまこんばんは。Python Advent Calendar 2014 24日目の記事です。 先日のpyhackで@atelierhideに教えてもらった、データ前処理スト垂涎のライブラリの紹介をすることにしました。 csvkit とは csvkitは、コマンドラインでCSVやTSVファイルを取り扱うのに便利なライブラリです。データの前処理や加工をLinux/UNIXのコマンドラインで行っている環境もあると思いますが、それを代替する、あるいは組み合わせて使うとよいのがcsvkitです。 csvkit pipでインストール出来ます。Python3.4にもインストールは可能ですが、一部の機能が動作しないことを確認しています。今回は2.7にインストールしました。 pip install csvkit 具体的な使い方を見ていきます。 基本的な使い方 ここからはiris.csvのデータをcsvk
tweets.zipをMySQLに突っ込んでSQLを学ぶ(導入編) · さよならインターネット
April 4, 2013 Twitterの過去ログが落とせるようになったので SQLに学ぶには丁度いいや。ということで カジュアルにOSX上でhomebrewを使ってMySQLに入れてみました。 MySQL ver.5.6 (homebrew install) OS / OSX 10.8.3 なにはともあれアーカイブをダウンロード Twitterの個人設定っぽいところから ポチポチするとダウンロードリンクが貼られたメールが送られてくるので ポチポチしてtweets.zipをダウンロード。 tweets.csvを探す tweets.zipを解凍すると、中身がこんな感じに出てきて index.htmlをブラウザで開くと、過去のツウィートが見れたりします。 時間泥棒なのでおすすめしません そして、tweets.csvが目的のファイルで、中身を開くと "tweet_id","in_reply_t
【Mantis】csvエクスポートをシフトJISで出力する
フリーエンジニアである下っ端SEの備忘録と日記。日々是精進。 開発言語は主にC#。 開発技術が日々進化し続けている今日、取り残されまいとするも歳のせいか覚えが悪いSE。 ほったらかしですいません。 デフォルトの状態でcsv出力してみると、 メモ帳ではもちろん問題なく開けるのだが、 エクセル（わたくしの場合Excel2003）で開くと、 文字化け する。 原因は、エクセルが文字コードがUTF-8のcsvを開けない仕様だから･･･ いったんメモ帳で開いて、文字コードを Shift JIS に変換した形で保存をし、 それをエクセルで開くという手間を省くために、初めから Shift JIS で出力するには どうすればよいか？ その前にphpは超ど級の初心者なので、初心者的修正をやっているかも(汗) でも、少なくとも私の環境では動作する･･･ ※Mantisのバージョンは 1.2.0 。 （そのほか
Pythonで5分でシステム運用に役立つレシピ - forest book
元ネタ: Pythonで5分で便利なことをするレシピ - 西尾泰和のはてなダイアリー お正月なので(？)、挑戦してみます。 Python に限ったお話ではないですが、スクリプト言語の嬉しさを実感するのは文字列の扱いがメインのときではないでしょうか。緊急でちょっとデータの加工をしなければならない、そんなときに Python が使えるときっと嬉しい気分になると思います。 商品マスタに新商品データを今すぐ追加してほしい データベースに商品マスタがあります。普通のアプリケーションだったら csv 取り込み機能が付いていて、大量データの取り込みをサポートしているでしょう。あるとき、csv 取り込み機能にバグが発生してデータを取り込めないというクレームがユーザから寄せられました。 システム運用を担当しているあなたは、データを頂けたらこちらで登録しますと電話で回答しますよね。そして、ユーザから新商品の
全ては時の中に… : 【Excel VBA】ADOを使ってCSVファイルを読み込む
2008/4/2823:10 【Excel VBA】ADOを使ってCSVファイルを読み込む Excel VBAを利用してCSVファイルを読み込む場合、以下の方法があります。 1.テキストファイルとして読み込む。 2.データベースに見立てて読み込む。 1は、テキストファイルと同じ方法で読み込みます。 その場合、データの検索や整列、集計等は、VBAで処理を記述する必要があります。 2は、データベースに見立ててデータを操作することができます。 そのため、データの検索や整列、集計等は、SQLを使えばできます。 そのため、1よりも、2の方が楽にデータを扱うことができます。 （複雑な集計は、SQLで行うよりもVBAで記述した方が楽な場合もあります） CSVファイルをデータベースに見立てて読み込む方法は、以下の通りです。 《事前準備》 1.VB Editorを開く。 →[Altキー]＋[F11キー]を同
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LeagueCSVで日本語ヘッダーのCSVファイルを読み込む | PR TIMES 開発者ブログ
「SQLite」データベースの管理ツール「PupSQLite」がメジャーバージョンアップ／64bit環境では64bit版が動作するように。複数のCSVを単一テーブルにまとめる機能も
http://www.dera-matadora.com/entry/2018/01/29/%E6%A0%AA%E4%BE%A1%E3%83%87%E3%83%BC%E3%82%BF%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%E3%82%B5%E3%82%A4%E3%83%88%E4%B8%80%E8%A6%A7
【Python】CSVファイルを読み込んでMySQLでデータベースに保存 - あずみ.net