PHPで容量の大きいデータをCSV出力するときに工夫したこと - Qiita
前にもPHPでSJISのデカイCSVデータを扱った時に困ったことという記事を書いたけど、やっぱりCSVを扱うのって少し難しい。 今回は 「ログのデータをCSV出力してほしい」 という依頼があったときの話です。 検索をかければ、スニペットコードはたくさん見つかるのでなんとなく組み合わせて動くコードを書くところまではすんなりいったけれど、それだと容量の大きいデータを出力するときにうまくいかなかったりと手こずりました。 この記事では「容量の大きいデータだとCSV出力できないコード」をどうやって「最大20000件のデータまで出力できるように修正」したときのポイントなどについてまとめます。 備考 自分なりに調べて書いた記事なので、解釈が間違っている箇所もあるかもしれません。 間違っているところがあればコメントでご指摘いただけると幸いです！ 仕様 Laravel5.4 t_logs というテーブルに入
PHP: 陥りやすい落とし穴 - Manual
陥りやすい落とし穴 MAX_FILE_SIZE の値に、php.ini の upload_max_filesize で指定されたファイルサイズより大きなファイルサイズを指定する ことはできません。デフォルトは、2 メガバイトです。 メモリ制限が有効な場合、memory_limit の値をより大きく 設定することが必要となる可能性があります。 memory_limit に充分大きな 値を設定するようにしてください。 max_execution_time に設定した値が小さすぎた場合、スクリプトの実行時間がこの値を越える 可能性を生じます。 max_execution_time に充分大きな値を設定するように してください。 注意: max_execution_time はスクリプト自身の実行時間にのみ影響します。 スクリプトの実行範囲の外側で発生する動作にかかる時間、つまり、 system(
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
perl - for(1..1e10) と Iterator : 404 Blog Not Found
2006年12月22日11:00 カテゴリLiving on the Edge perl - for(1..1e10) と Iterator いい点に気づかれました。 perl の配列とメモリー: 国民宿舎はらぺこ 大浴場 面白いな、と思ったのは、上記リンク先の話題を手元で試していたときに、 @data = map { rand 10 } (1..1e7); $sum += $_ for @data; だとメモリーを喰いまくるのに、 $sum += rand 10 for 1..1e7; だとほとんどメモリーを喰わないこと。 実は、foreach($from..$to)は、Perl 5.005以来最適化されています。 perl5005delta - what's new for perl5.005 - search.cpan.org foreach (1..1000000) optimiz
32GBフラッシュメモリが年内に登場、iPod nanoも容量アップか
ということは、iPod shuffleの現在の最大容量は1GBで、iPod nanoは4GBですが、これ以上のモデルが年末に出るかも。 価格などの現在わかっている詳細は以下の通り。 Hot Flash: 'Flashtops' Take On the Memory Market サイズ的には1.8インチで、サムソンによる製品。現在、フラッシュメモリは1GBあたり30ドルなので、この通りに比例すると考えるなら960ドル（約11万円）ということに。おそらく大量生産でもっと下がると予想されています。また、今年の春以降、フラッシュメモリの価格は下がり続けており、理由としては生産工場のラインがより効率化されてきているためだそうです。 で、気になるiPodはというと…… iPodNN | Apple could offer 32GB flash iPods ライバル関係にあるSanDiskは既に8GB
ついに2GBのUSBメモリが3000円台に突入
国内の最安値は現在、2GBで4000円台ですが、海外ではとうとう3000円台にまで値下がりしました。ということは、近いうちに日本でもそのあたりの値段で入手可能と言うことか…？ 詳細は以下の通り。 現時点での海外最安値と思われるUSBメモリ。 Samsung 2GB USB 2.0 Flash Drive MC8DD02GAMPH-JA at TigerDirect.com 読み出しが毎秒20MB、書き込みが毎秒10MBなので、そんなに悪くはないのではないかと。調べてみると、大量に仕入れる場合は現段階で1個あたり7ドル、つまり800円ぐらいが元の仕入れ値らしい。つまりこの価格帯でも十分に利益は出る、と。 日本国内の場合は一応これが最安値っぽい。 USBフラッシュメモリ 2GB の最安価格【価格.com】 その時々に応じて変わるので一概に比較はできませんが、それでもかなり安くなりました。
モジュールをuseした際のメモリ使用量(増加量)を調べてみる (iandeth.)
iandeth. Perl, Flash ActionScript, MySQL, Movable Type, システム開発 - そんなテーマのサイトdeth. gtop.plx #!/usr/bin/perl use strict; use warnings; use GTop; my $gtop = GTop->new; my $before = $gtop->proc_mem($$)->size; eval $ARGV[0]; die $@ if $@; my $after = $gtop->proc_mem($$)->size; my $diff = GTop::size_string($after - $before); print "$diff : $ARGV[0]\n"; 例） CGIモジュールのメモリ増加量は... $ ./gtop.plx 'use CGI' 704k :
GIGAZINE - FirefoxやThunderbirdのメモリ消費量を劇的に減らす方法
Firefoxはページのブラウジングを快適にするため、パソコンに搭載されているメモリを使いまくるという仕様になっています。ふつうの一般ピープルであればだからといってどうということもないのですが、Firefoxを好んで使う人のブラウジングスタイルだと異常なほどのメモリを消費し、もっさりしてきたり、快適さが損なわれてしまうように感じるのもまた事実。 なんとかならないものかとみんなあれこれ試行錯誤しているわけですが、そういう対策で一番お手軽で快適さが損なわれない方法を1つ、ピックアップしておきます。 なお、この対策方法はFirefox、Thunderbird、Mozillaで動作確認しています。 ■最小化したときにメモリ消費量を減らす メモリ消費量を抑える一番簡単な方法です。やり方もとっても簡単。 1. アドレスバーに「about:config」と入力してEnterキーを押す 2. 開いたページ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Laravel で Cannot allocate memory がでたときの対策 - Qiita