タグ

2016年1月14日のブックマーク (5件)

  • MySQL Bug #79977 "utf8mb4_unicode_520_ci don't make sense for Japanese FTS" で言いたいこと

    MySQL Bug #79977 "utf8mb4_unicode_520_ci don't make sense for Japanese FTS" で言いたいこと 英語で書いてたら自分でもよくわからなくなってきたので。 MySQL Bugs: #79977: utf8mb4_unicode_520_ci don't make sense for Japanese FTS * 質的には MySQL Bugs: #76553: Sushi-Beer issue of MySQL with utf8mb4 の関連。 * Unicode実装が不完全だから起こっている問題。 * 丸め問題 * motherを意味する書き方に、はは(ひらがな)とハハ(カタカナ)とハハ(半角カタカナ)があって、 * これらは(文字の形は違うけど)同じ音で同じ意味だから、大概の場合同じ文字として扱ってくれると嬉しい。

    sucrose
    sucrose 2016/01/14
  • 【閲覧注意】サービス終了したDMMアダルトオンゲーの公式アカウント、運営事情暴露など盛大にはっちゃける

    12月18日にサービスを終了したDMMのアダルトブラウザゲーム「空戦乙女☆ヴァージンストライク」のTwitter公式アカウントが、ネタツイート・下ネタ・エロネタ・運営事情の暴露など何でもありのはっちゃけアカウントになっていると話題になっています。かなり濃い下ネタツイートもありますので、タイムラインを見る際はご注意を。 「空戦乙女☆ヴァージンストライク」公式アカウント 特に「リリースの3日後にバックれた当時のPM」(恐らくプロジェクトマネージャーのこと)の発言集は、中の人の思いが伝わってくる熱いツイートとなっていました。「星(カードのレア度)が多いとユーザーが喜ぶから、最低レアリティを星3からにする」「冬コミに企業ブースで出店して、空戦乙女の同人誌を売って一儲けしよう」といった発言があったらしく、いろいろと思うところがあったようです。 また、PMだけでなく、当時の企画チームについても触れてい

    【閲覧注意】サービス終了したDMMアダルトオンゲーの公式アカウント、運営事情暴露など盛大にはっちゃける
    sucrose
    sucrose 2016/01/14
  • Bigquery上で実行するバッチ処理のテストコードを書く (Ruby編) - Qiita

    bigquery上でデータを加工して集計する時、このSQL当に合ってんのかテストコードで検証したくなる。 しかし、こういう外部サービスを使った処理のテストコードを書くのはとても面倒臭い。 とはいえ、書かんわけにもいかんし、実際に動かしてみないと分からないこともあるので、実際にbigqueryで処理を実行してテストする方法をまとめてみる。 テストデータのロード bigqueryにデータを突っ込む方法はバルクロードするかStreaming Insertの二つ。 しかし、バルクロードはテストコードを書く時に困るのが、データ量に関わらず処理に一定時間かかること。 どれだけ小さいデータでも最低1分前後は待たされる上に、時々謎の刺さり方をして最悪数分かかる場合がある。 一方でStreaming Insertはまずテーブルを作っておかなければいけないし、Streaming Insertのレスポンスが

    Bigquery上で実行するバッチ処理のテストコードを書く (Ruby編) - Qiita
    sucrose
    sucrose 2016/01/14
  • 機械学習を用いた診断AIの概要 | 技術者ブログ | 三井物産セキュアディレクション株式会社

    1. はじめに 先日、某セキュリティ系の勉強会で「AIにWebアプリケーション診断をさせてみる」と題し、Webアプリケーション診断(以下、Webアプリ診断)を行う人工知能(以下、診断AI)のデモを行ったところ、意外にも好評でしたので、Blogで少し深堀したいと思います。 なお、Blogでは機械学習アルゴリズムにも触れますが、これらの詳細な解説は行っておりません。機械学習アルゴリズムの詳細については、「6.参考文献」に示した書籍やWebサイトで解説されておりますので、そちらでご確認いただければ幸いです。 それでは、診断AIの概要について解説を始めます。 2. 最終目標 以下の動作を実現できる「診断AI」を目指して開発を進めています。 「人間の診断員と同じように、診断対象のWebアプリをクローリングしながら診断を行い、発見した脆弱性を開発者、または、サイトオーナに報告することができる。」

    機械学習を用いた診断AIの概要 | 技術者ブログ | 三井物産セキュアディレクション株式会社
    sucrose
    sucrose 2016/01/14
  • PythonのJSONパーサのメモリ使用量と処理時間を比較してみる | POSTD

    私は、多数の大容量のデータをあちこちに移動させなければならない(クライアント端末をHTTP APIに接続してデータを取得します)ような特殊な使用事例を扱っています。なぜだか ^(1) 、転送形式にはJSONが使われていました。ある時、その大容量のデータが、さらに巨大になったのです。数百メガバイトどころではありません。JSONのデコード処理を実行すると大量のRAMが使用されることが分かりました。たった240MBのJSONペイロードで4.4GBですよ。信じられません。 ^(2) 組み込みのJSONライブラリを使っていて、まず「もっと性能の良いJSONパーサがあるはずだ」と思いました。そんなわけで、計測を始めたのです。 さて、メモリ使用量の計測はやっかいです。 ps コマンドを使ったり、 /proc/<pid> を見たりすることはできますが、断片的なスナップショットが得られるだけで、実際の最大使

    PythonのJSONパーサのメモリ使用量と処理時間を比較してみる | POSTD
    sucrose
    sucrose 2016/01/14