二次元画像を拡大したいと思ったことはありませんか？ - デー
うまくできましたか？ ボヤけたり、ギザギザになったりしませんでしたか？ waifu2xをお試しください。 (ブラウザの処理に影響されないようクリックで拡大おねがいします) waifu2xは、二次元画像を2倍に拡大するソフトウェアです。多くの二次元画像についてスゴイ級のクオリティで拡大できます。 waifu2xは、最新鋭の人工知能技術 Deep Convolutional Neural Networks を使って開発されました。 waifu2xの人工知能は、次の問に答えます。 いまから与える画像はある画像を半分に縮小したものである。縮小される前の画像を求めよ。 画像を拡大するのではなく、縮小される前の状態に戻します。 縮小されてないオリジナル画像を与えた場合も、やはり縮小される前の画像を答えます。 その画像は本来存在しないものですが、waifu2xはそれを想像で創ります。 二次元画像のJPE
Torch7の分かりにくい話 - デー
Facebookがtorchの拡張を公開したこともあり、torchを使ってみている方も出始めたようなので、自分がtorchで使う上で分かりにくかったことやハマったことなどを上げていきます。 ある程度使っている方を前提としています。 ひどいことをたくさん書きますが、torchが嫌いなわけではありません。torchはサイコーです。 リリースやバージョンについて ezinstallはgitのリポジトリをcloneしてインストールします。torchは今のところリリースの管理などしていなくて、日々更新される開発リポジトリがあるだけなので、インストールした日によって異なるバージョンがインストールされます。 たまに以下のようなコマンドを実行して更新したほうがいいです。 #!/bin/sh sudo luarocks install cwrap sudo luarocks install torch su
Kaggle CIFAR-10の話 - デー
以前、Kaggle CIFAR-10 に参加していると書きましたが、これが2週間ほど前に終わりました。コンペはまだ Validating Final Results の状態なのですが、2週間たっても終わらず、いつ終わるのか謎なのと、多分結果は変わらないと思うので先に書きます。 CIFAR-10は、次のような32x32の小さな画像にネコ、犬、鳥など10種類の物体が写っているので、与えられた画像に何が写っているか当てる問題です。 （Kaggle CIFAR-10のデータセットは、通常のCIFAR-10と結果の互換性がありますが、チート防止に画像のハッシュ値が変わるように改変されているのと、テストセットに29万枚のジャンクイメージが含まれています。） 自分の結果は、0.9415 (正解率94.15%)で、Classification datasets results によると、state-of-
計量学習を用いた画像検索エンジンとアニメ顔類似検索v3について - デー
まだgithubにはpushしていないのですが、さいきょうの組み込み型画像検索エンジンotamaに計量学習を用いて与えられたデータにあった画像間の距離関数を学習してそれを使って検索するというドライバを入れたので、先行的なデモとしてアニメ顔類似検索v3を作ってみました。 計量学習は、ベクトル間の距離の計り方を機械学習で決めるみたいな分野です。 アニメ顔類似検索v3 AnimeFace Search v3 - Otama LMCA_VLAD_HSV Driver randomボタンを押すと顔画像がランダムに出るのでどれかクリックするとそれをクエリに検索します。color weightは色の重みを調節するパラメーターで、1にすると色だけで検索します。0にすると形状やテクスチャだけで検索します。結果画像の上の数字は類似度的なもので、その横のgglは元画像をGoogle Search by Imag
Ubuntu 12.10でL4D2をする (Wine) - デー
SteamのLinux Betaが出たらしいです。僕は２週間くらい前にベータのアンケートみたいなやつに答えたのですが、特に何も来てなくて試せていません。試せていませんが、がんばってほしいですね。試せていませんが。 ただ僕は、Ubuntu 12.04の頃からWine経由でL4D2をやっていて、Wineってなんかめんどうなイメージがあったのですが（APIがないと言われるたびに実装していくみたいな…）、L4D2は素直に動いたので、超簡単な方法を書いておきます。 グラボなんかの環境にも依存してそうなので環境によっては動かないかもしれません。うちのグラボはGTX 260でドライバはnvidia-currentを使っています。デスクトップはgnome-classicです。 Wineのインストール sudo apt-get install wine Steamのインストール winetricks ste
はてなブログに移行した - デー
ダイアリーから記事をインポートしてリダイレクトの設定もできるようになっていたので移行しました。 6月くらいからできていたらしい。 はてなブログがリリースされた時に出来なくてアホカと思ったまま興味を失っていたので気づかなかった。ベータ版だったから突然大移動されても困るみたいなのがあったのだろうけど。 今は、記事自体とコメントをコピーして元のURLやRSSはリダイレクトできて、記事についていたはてなスターとはてブのURLも置換？されるようです。 ダイアリーの方も広告が出るようになったし、もうあっちにデータを置いていてうれしいことなんてないと思うので、さっさとはてなブログに移行したほうがいいと思いました。 参照 はてなダイアリーからはてなブログへのインポート機能を追加しました
表紙を写すと本のレビューが読めたりするHTML5アプリを作ってみた - デー
最近のブラウザはgetUserMediaという機能でJavaScriptからカメラを操作してリアルタイムに動画を読んだりできるようなので、画像認識のデモ的なものを作ってみた。 表紙検索 PCのGoogle Chrome、Opera、AndroidのOpera Mobileの場合 動画が読めるといっても実際のところ一部のブラウザでしか使えなかったので段階的に対応してみた。 まず、PCのGoogle ChromeとOpera、AndroidのOpera Mobileの最新バージョンが全ての機能が使えるブラウザです。 これらのブラウザで hyoushi.me というドメインを開くと、サイトのトップに「カメラ起動」というでかいボタンが表示されています。 IS05 + Opera Mobile （僕はウェブカメラを持っていないのでこれはIS05 + Opera Mobileのキャプチャです） カメラ
組み込み型お手軽全文検索エンジンのRubyライブラリを作って２ちゃんねるQ&A検索の全文検索エンジンを置き換えた - デー
２ちゃんねるQ&A検索(非公式) の全文検索は pg_trgm を使っていたのですが、だんだんとデータが増えてくるとPostgreSQLの共有メモリを増やさないと検索がタイムアウトするようになってきて、最近ではVPSのメモリのほとんどをPostgreSQLに割り当ててもクソ重くてやばかったので、昨日、意を決して組み込み型お手軽全文検索エンジンをテキトウに作って置き換えたら爆軽爆速になった。 qarc.info は意外に月100万訪問者以上あるんですけど、月800円のVPS1台にウェブサーバーからデータベースサーバーから全部突っ込んだ運用をしていて、これでどこまでいけるかというのが個人的な趣味みたいな感じなので、今回もできるだけ軽い実装かつ導入がめんどくさくないものを作ってみました。半日くらいで適当に作って、組み込みながらちょこちょこ直したもので、あまりいいものではないんですけど、その紹介を
OpenCVからVP6やH.264などさまざまな動画を読み込み可能にするffopencv - デー
追記 2008-10-18 OpenCV1.1preがリリースされ、ffopencvも正式についてるようなので、そちらを使いましょうー。 以下 Windows版のOpenCVではffmpegが使えないと思っていたのですが、otherlibsの下にffopencvというそれっぽいプロジェクトがあったので、ちょっとだけいじって使えるようにしました。ffopencv100.dllというファイルをPATHの通っているところに置くと、cvCaptureFromAVIから自動的にffmpegのデコード処理が呼び出されるようになります。既存のコードの変更やリコンパイルの必要はありません。 ニコニコ動画のflvを読むためにビルドしたので、VP6とh264のflvファイルが読めたところで満足しています。 バイナリとプロジェクトファイルをダウンロード 作業メモ MinGWでコンパイルしたffmpegのライブラ
2008-04-11
追記 2008-10-18 OpenCV1.1preがリリースされ、ffopencvも正式についてるようなので、そちらを使いましょうー。 以下 Windows版のOpenCVではffmpegが使えないと思っていたのですが、otherlibsの下にffopencvというそれっぽいプロジェクトがあったので、ちょっとだけいじって使えるようにしました。ffopencv100.dllというファイルをPATHの通っているところに置くと、cvCaptureFromAVIから自動的にffmpegのデコード処理が呼び出されるようになります。既存のコードの変更やリコンパイルの必要はありません。 ニコニコ動画のflvを読むためにビルドしたので、VP6とh264のflvファイルが読めたところで満足しています。 バイナリとプロジェクトファイルをダウンロード 作業メモ MinGWでコンパイルしたffmpegのライブラ
BimyouSegmenter: Rubyだけで書かれた微妙なサイズの分かち書きソフトウェア - デー
BimyouSegmenterはRubyだけで書かれた微妙なサイズの日本語分かち書きソフトウェアです。 約150Kバイトの微妙なサイズのソースコードで、青空文庫にある太宰治、宮沢賢治、夏目漱石、夢野久作作品であれば、MeCab+ipadicによるの分かち書きの結果と94%くらいは同じになります。 というTinySegmenterのパロディです。 TinySegmenterは新聞記事で学習されているのと、空白文字が単語にくっついたりして扱いが難しかったので、TinySegmenterのようなひとつのソースコードに全部つっこんだ感じの分かち書きのライブラリを自分の用意したデータで学習して好きに調節できたらいいなと思ったので作ってみました。 nekoneko_genでもこれを使っています。 TinySegmenterとは特徴ベクトルも学習アルゴリズムも学習データも違いますが、基本的な考え方はTi
ネコでもテキスト分類器のRubyライブラリが生成できる便利ツールを作った - デー
あまり細かいことは気にせずテキスト分類器のRubyライブラリを1コマンドで自動生成する便利ツールを作りました。 いろいろ迷走している間に。 gem install nekoneko_genでインストールできます。 なにをするものなのか、ちょっと分かりにくいので、例で説明します。 ２ちゃんねるの投稿からどのスレッドの投稿か判定するライブラリを生成する 例として、２ちゃんねるに投稿されたデータから、投稿（レス）がどのスレッドのレスか判定するライブラリを生成してみます。 準備 まず gem install nekoneko_genでインストールします。 Ruby 1.8.7でも1.9.2でも動きますが1.9.2のほうが5倍くらい速いので1.9.2以降がおすすめです。 環境は、ここではUbuntuを想定しますが、Windowsでも使えます。（WindowsXP, ruby 1.9.3p0で確認）
クライアントサイドの巨大なクッキーとサーバーサイドのヘッダーサイズ制限の組み合わせによるDoSについて - デー
もう10年以上前のネタなのですが、いまだに有効だし、最近、セッションを扱っていないならXSSがあってもあまり問題ないという意見を見ることがあるので、サービス提供側として案外面倒なことになる場合がある、という話を書きました。 POCです。 http://www.udp.jp/misc/largecookiedos.html 内容としては、 JavaScriptから巨大なCookieをブラウザに設定できる HTTPサーバーは受け取れるHTTPヘッダーサイズの上限を持っていて、それを超えていた場合にBad Requestを返す 1によって2を超えるサイズのCookieが設定可能な場合がある（たぶんほとんどの場合可能） よってXSSなどによって巨大なCookieを設定されると以降サービスが利用できなくなる というものです。 Cookieの有効期限を何十年も設定されるとユーザー側で勝手に回復すること
２ちゃんねるに寄せられた質問と回答から検索できるページを作った - デー
２ちゃんねる Q&A 検索 - QARC 人類の知の資産であるところの２ちゃんねるの過去ログから、特に有用と思われる質問と回答のやりとりを高度な自然言語処理技術を用いて抽出・アーカイブし、それらを誰もが自由に検索できるページを作りました。 僕は、feezch.infoという２ちゃんねるのパートスレを次スレまで次々に自動追跡しながらひとつのストリームとしてフィードを吐くウェブサービスを運営しているのですが、フィードの利用者がとても少ないわりに、過去ログへのアクセスがものすごくあって、そのほとんどは質問スレの回答求めて訪れる方のようなので、それなら一発で回答にアクセスできるページを作れば非常に大きな社会貢献になるのではないか、feezch.infoのコードを使えば簡単に作れるし、ビッグデータや。そう考えてこのサービスを作ることにしました。 コレを使うと、たとえば、「skyrim 水銀のインゴッ
OpenMPとウェブアプリケーションの組み合わせについて - デー
PerlMagick が OpenMP 有効だと高負荷になる件 :: drk7jp を見て、僕も自分が書いているライブラリで、OpenMPを使いまくっていて、将来的に同じことを言われる不安があるので、うまく付き合うためのノウハウを書いておきます。 まずOpenMPとは何かというと、並列コンピューティング環境を利用するために用いられる標準化された基盤です(Wikipediaより)。これを使うとC言語のfor文を並列化したりが簡単にできるので、マルチコアのCPUを使っている場合に、うまくいけばコア数倍の速度で処理できるようになります。1000msかかってた処理が4コアのCPUだと250msで処理できるようになった！ やったね！ というわけ。 しかし、gccやVC++でのOpenMPの並列化for文はデフォルトではプロセス毎にコアを全部使って処理するので、これをマルチプロセスと組み合わせると、プ
CaboCha（バッド）ノウハウ - デー
前回の 日本語係り受け解析器 CaboCha Ruby 拡張の基本的な使い方とちょっとした応用 - デーで書くのを忘れてて気になるので書いておきます。 CaboCha::Parserをたくさん作らない CaboCha::Parserはメモリの使用量がすごいので、ひとつだけ作るようにします。 ari3_botを作った当初、CaboCha::Parser.newしまくっていて、さくらインターネットの共有サーバーはメモリ使用量が多いとkillされるので、killされまくっていて、botの状態をデシリアライズする前にkillされてデータが破滅するなどしていました。 Singletonにするなどグローバルにひとつ置いたほうがいいです。 助詞が省略された文を無理やり解析するために「、」を挿入する Twitterでは、 学校行く (学校へ行く) なに食べる？ (なにを食べる？) のように助詞が省略された
日本語係り受け解析器 CaboCha Ruby 拡張の基本的な使い方とちょっとした応用 - デー
ari3_botの会話エンジンで使っている自然言語の処理の中から他の方にも有益そうなところだけ書いておこうと思います。 このエンジン自体はアドホックにヒーリスティクスな処理を追加しまくっていて、とても説明しにくいのですが、基本的な部分だけ抜き出して……まとめて……解説します。全部実装できるほど詳細な解説はできないので、取っ掛かりになる程度です。 ちなみにCaboChaのAPIはきちんとしたドキュメントがない？ようで、僕はソースコードを自分で読んで得た知識から解説を行っています。また日本語文法関する知識もari3_botを作るためだけに得たものであり、あやしいので、あまり信じすぎないようにしてください。 もくじです。 ari3_botの会話エンジンとは CaboChaの基本的な使い方 CaboChaで主語と述語っぽいところを抜き出す 述語を活用してみる その他のいろいろなヒント まとめ ar
feezch.infoで使われているあやしい技術を解説します - デー
feezch.infoで使われている一部の技術を解説しようと思います。 Railsやnginxの設定の話は、僕が書くことでもないので、一般的なウェブサービスではあまり使われてなさそうな２ちゃんねるに関連した技術やあやしめ技術をいくつか選んでみました。 主に画像関連です。 クローラー周りも、とてもよく考えられたすばらしい仕組みを持っているのですが、特にあやしくなく本当にすごいので、ここでは省略します。 以下がもくじです。（リンクはつけ方が分からなかったので、ついてないです） 画像URLのルール集『ImageViewURLReplace.dat』を使って投稿内容から画像URLを抽出しダウンロードする グロ画像ブラックリスト『NGFiles.txt』でグロ画像をブロックする ウェブブラウザがリファラを送らないように画像にリンクする グーグルの新機能『Search by Image』を使ってサムネ
OpenCVによるアニメ顔検出ならlbpcascade_animeface.xml - デー
追記 lbpcascade_animeface · GitHub githubに置きました。 追記前 かなりいい。http://j.mp/oMVViM http://j.mp/pKZC4Y イロイロ試すと丸っこいものに対する誤検出がちょっと気になるくらい。 http://twitter.com/#!/ultraistter/status/92775087635312640 金曜日から何度か学習していたLBP版のアニメ顔検出ができていた。前回のOpenCVでアニメ顔を検出するためのXML v2 - デーに比べるとかなりよくなっていると思います。検出速度もこっちのほうが速い。 ダウンロード http://anime.udp.jp/data/lbpcascade_animeface.xml (デカイので右クリックで保存) 使い方 OpenCVのサンプルに入っているfacedetectというプログ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキトウなトランプ画像を作るやつを作った - デー