巨大なSJISのCSVファイルをfgetcsv関数で処理する - hnwの日記
さて、前回記事「PHPでメモリ上に一時ファイルを作る」では、file_get_contents関数でCSVファイル全体を取得して文字エンコーディングの変換を行い、変換結果に対してfgetcsv関数を利用しました。しかし、CSVファイルが巨大な場合にはfile_get_contentsを使うとメモリ上限に引っかかってPHPが停止してしまいます。 もちろん、UTF-8のCSVファイルに対してfgetcsvを利用するのであれば、どんな大きなCSVファイルだろうと処理することが可能です。なぜなら、fgetcsvはファイルを1行単位で読み込む関数ですから、1行分のメモリ消費だけでファイル全体を読み込み続けられるからです（正確にはストリーム上のデータはバッファリングされるので、バッファサイズ分のメモリは消費しますが）。 それでは、巨大なSJISのCSVファイルをfgetcsvで処理したい場合はどうすれ
第8回■主要言語の文字エンコーディングの対応状況を押さえる
文字コードの問題に正しく対応する前提として，アプリケーションが稼働する基盤ソフトウエアがマルチバイト文字列処理に対応している必要がある。特に問題となるのが，言語処理系とデータベース管理システム（DBMS）である。利用者の使い方が正しくない場合も，ぜい弱性が混入することがある。このため，今回は主要言語とデータベース（MySQLとMS SQL Server）のマルチバイト文字対応状況について説明する。 文字列の処理単位は文字単位かバイト単位か Webアプリケーション開発で人気のあるスクリプト言語の多くは，かつては文字列をバイト単位で扱っているものが多かった。以下のPerlスクリプトは“漢字”という文字列の長さを表示するものだが，ソースの文字エンコーディングによって結果が変わる。具体的には，Shift_JISやEUC-JPの場合は4，UTF-8の場合は6と表示される。原因は，このスクリプトが文字
SET NAMESは禁止
(Last Updated On: 2018年8月13日)MySQLには文字エンコーディングを変更する「SET NAMES」SQL文が用意されています。（PostgreSQLも同様のSQL文、SET CLIENT_ENCODINGがあります）この機能はSQLコンソールからは使ってよい機能ですが、アプリケーションからは使ってはならない機能です。SQLインジェクションに脆弱になる場合があります。 Ruby on Railsの本を読んでいて、ActiveRecordを説明している部分にMySQLの文字エンコーディングを変更する場合の例としてSET NAMESが利用されていました。アプリケーションからはSET NAMESは使ってはならない事を周知させるのは結構時間が必要かなと思いました。 PHPも5.2の途中からMySQLモジュールにlibmysqlの文字エンコーディング設定APIのラッパー関数が
人を惹きつけ人を動かす文章を書く方法 初心者にもわかるコピーライター養成講座 ～言葉で世の中を動かそう - プログラマーkkの勉強/成長ブログ@ライブレボリューション(モバイル広告�
先日、宣伝会議のコピーライター養成講座の特別体験講座を受けてきた。 そのまとめ。 目次 言葉で世の中を動かそう コピーライターへの道 課題 解説 宣伝会議のコピーライター養成講座の宣伝 この講座で得られること コピーライターが求められている理由 コピーライターにはどうすればなれるか・・・その決心と、努力 キョロキョロしよう・・・観る フムフムする・・・聞く ワイワイする・・・話す ムチャクチャする・・・熱中 ウンウンする・・・書く コピーライターのためのコラム 感想 参考書籍 最近書いたまとめ記事 言葉で世の中を動かそう コピーライターへの道 講師は、理論派コピーライターの谷山雅計氏。 まず最初に課題が出された。 課題 『古本屋を若者にもっと利用してもらうためにキャッチフレーズを書いてください』 15分で３つ書くように言われた。 全員分を回収し、30分後谷山さんが戻ってきた。 解説 なぜこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
iTunes Visualizer - wowlab
