Using filesort
去年ソートに関する記事を書いたが、今日はその続きである。 MySQLでEXPLAIN SELECT...を実行するとExtraフィールドでよく見かける「Using filesort」という文字列。Filesortって一体なんだろう？と思ったことはないだろうか。単刀直入に言ってFilesortの正体はクイックソートである。 クエリにORDER BYが含まれる場合、MySQLはある程度の大きさまでは全てメモリ内でクイックソートを処理する。ある程度の大きさとはsort_buffer_sizeであり、これはセッションごとに変更可能である。ソートに必要なメモリがsort_buffer_sizeより大きくなると、テンポラリファイル（テンポラリテーブルではない）が作成され、メモリとファイルを併用してクイックソートが実行される。 Filesortは全てのソート処理において実行されるわけではない。前回の記事
今度は10万件の画像フィルタリングを Amazon Mechanical Turk に依頼してみた : 管理人@Yoski
さて大好きな Amazon Mechanical Turk. 所要があり、今度は10万件以上の画像フィルタリングを依頼してみました。のでメモ。 まずは Requester として、依頼画面を作成します。 画像フィルタリングは定番なんですかね。テンプレートが用意されているので、それを選択。 テンプレートの内容を適当に変更します。 サンプルは定番の（？）アダルトコンテンツのフィルタリング依頼という内容になっているので、もちっとやさしいものに。 さて、ここがすばらしいところなんですが、入力フォームのデザインを作成します。 テンプレートのものを修正して、ちょいちょいちょいと。 後で大量のデータを流し込めるよう変数が使えるようになっています。HTMLのソースも編集できるので、かなり自由度高くて使いやすい。 テンプレートができたらデータを CSV ファイルで流し込みます。 サンプルデータがあるので、そ
Gmailの「フィルタ」がXML形式でエクスポート・インポート可能に （文字化け回避方法付）
Gmailのフィルタ機能って便利なんだけど、意外と同じ条件が重複してることってありませんか？それを直すにも、フィルタをたくさん作りすぎると一覧を見ているだけでも嫌になって後回しにしてしまいがちｗ そんな状況で助かりそうなのが、今回Gmail labsに新しく追加された機能「Filter import/export」です。 ※そのまま行うと日本語が文字化けするのでコツが必要です。 組織のマインドマップツールをマインドマイスターにすべき理由 伸びてる産業、会社、事業を紹介しまくるStrainerのニュースレターに登録!! Gmailのフィルタがインポート・エクスポートできるように「Filter import/export」は、Gmailに設定しているフィルタの一覧をXML形式でエクスポート、インポートできる機能。いままで一個ずつ編集していたものをXMLのソースで一気に編集することが可能です。
あ～ゆ～どりま～ | crontab -rの恐怖
WindowsのタスクスケジューラのUNIX版と言えばcron(atdとかもあった気がするけど、使ったことない)。 cronはcrontabコマンドでスケジュールの一覧を見たり、スケジュールの変更ができるんだけども、以下のコマンドを見て欲しい。 このコマンドの違いは最後の「e」と「r」しか違わない。そしてお手元のキーボードを見てもらうとわかるように、この文字は仲良く隣同士です。そう、スケジュールの編集をしようと思ってコマンドを打つ時に誤って隣の「r」なんて押して実行した日にはスケジュールが全部消えちゃいます。しかも容赦なくいきなり消えます。 まぁそんなブービートラップがcrontabに仕掛けられてるわけですよ。 つい先日、見事に引っかかったのですが。 ただ、直前に「crontab -l」やってるログが残ってたのですぐに復旧できました。けど、またやってしまうと怖いし、心臓に悪いのでなんとか間
Third Party Relay Check RBL.JP第三者中継チェック RBL.JP
This service will check your server to see if it is possible for a third party to relay mail from your server. This service will test several techniques for sending relayed mail, but no mail will actually be sent to your server. If your server passes all tests performed by this serivice, no relays accepted in blue will be dispayed at the bottom of the output report. If any or all of the tests f
巨大なSJISのCSVファイルをfgetcsv関数で処理する - hnwの日記
さて、前回記事「PHPでメモリ上に一時ファイルを作る」では、file_get_contents関数でCSVファイル全体を取得して文字エンコーディングの変換を行い、変換結果に対してfgetcsv関数を利用しました。しかし、CSVファイルが巨大な場合にはfile_get_contentsを使うとメモリ上限に引っかかってPHPが停止してしまいます。 もちろん、UTF-8のCSVファイルに対してfgetcsvを利用するのであれば、どんな大きなCSVファイルだろうと処理することが可能です。なぜなら、fgetcsvはファイルを1行単位で読み込む関数ですから、1行分のメモリ消費だけでファイル全体を読み込み続けられるからです（正確にはストリーム上のデータはバッファリングされるので、バッファサイズ分のメモリは消費しますが）。 それでは、巨大なSJISのCSVファイルをfgetcsvで処理したい場合はどうすれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tidningen Nyheter för alla -
cloudkick | home
https://jp.techcrunch.com/2009/03/17/20090316use-cloudkick-to-manage-amazon-web-services-ec2/