タグ

ブックマーク / ultraist.hatenablog.com (6)

  • ネコでもテキスト分類器のRubyライブラリが生成できる便利ツールを作った - デー

    あまり細かいことは気にせずテキスト分類器のRubyライブラリを1コマンドで自動生成する便利ツールを作りました。 いろいろ迷走している間に。 gem install nekoneko_genでインストールできます。 なにをするものなのか、ちょっと分かりにくいので、例で説明します。 2ちゃんねるの投稿からどのスレッドの投稿か判定するライブラリを生成する 例として、2ちゃんねるに投稿されたデータから、投稿(レス)がどのスレッドのレスか判定するライブラリを生成してみます。 準備 まず gem install nekoneko_genでインストールします。 Ruby 1.8.7でも1.9.2でも動きますが1.9.2のほうが5倍くらい速いので1.9.2以降がおすすめです。 環境は、ここではUbuntuを想定しますが、Windowsでも使えます。(WindowsXP, ruby 1.9.3p0で確認)

    ネコでもテキスト分類器のRubyライブラリが生成できる便利ツールを作った - デー
  • 2ちゃんねるに寄せられた質問と回答から検索できるページを作った - デー

    2ちゃんねる Q&A 検索 - QARC 人類の知の資産であるところの2ちゃんねるの過去ログから、特に有用と思われる質問と回答のやりとりを高度な自然言語処理技術を用いて抽出・アーカイブし、それらを誰もが自由に検索できるページを作りました。 僕は、feezch.infoという2ちゃんねるのパートスレを次スレまで次々に自動追跡しながらひとつのストリームとしてフィードを吐くウェブサービスを運営しているのですが、フィードの利用者がとても少ないわりに、過去ログへのアクセスがものすごくあって、そのほとんどは質問スレの回答求めて訪れる方のようなので、それなら一発で回答にアクセスできるページを作れば非常に大きな社会貢献になるのではないか、feezch.infoのコードを使えば簡単に作れるし、ビッグデータや。そう考えてこのサービスを作ることにしました。 コレを使うと、たとえば、「skyrim 水銀のインゴッ

  • feezch.infoで使われているあやしい技術を解説します - デー

    feezch.infoで使われている一部の技術を解説しようと思います。 Railsnginxの設定の話は、僕が書くことでもないので、一般的なウェブサービスではあまり使われてなさそうな2ちゃんねるに関連した技術やあやしめ技術をいくつか選んでみました。 主に画像関連です。 クローラー周りも、とてもよく考えられたすばらしい仕組みを持っているのですが、特にあやしくなく当にすごいので、ここでは省略します。 以下がもくじです。(リンクはつけ方が分からなかったので、ついてないです) 画像URLのルール集『ImageViewURLReplace.dat』を使って投稿内容から画像URLを抽出しダウンロードする グロ画像ブラックリスト『NGFiles.txt』でグロ画像をブロックする ウェブブラウザがリファラを送らないように画像にリンクする グーグルの新機能『Search by Image』を使ってサムネ

    feezch.infoで使われているあやしい技術を解説します - デー
  • ブラウザで使える数式処理システムを作った - デー

    こんなの 昨日、OpenSearchから使える関数電卓を作ろうと思って、イロイロ考えているうちに数式も処理したくなって、イロイロ調べたところ、GiNaC is Not a CASというC++の数式処理ライブラリを使うとよいらしいのでコードを見たら、ginshという対話ツールにBisonで生成したparserが付いてて、コレ使ってライブラリ作れば一瞬でできるやんけと思ったので、朝からがんばって作ってみました。 http://cas.udp.jp/:title= 式を展開したり、簡略化したり、微分したり、連立方程式を解いたりできます。 まだ操作がアレですが、コレを使えるようにして、アイコンがMSYSと間違えるやすいMaximaをもう使わなくてもいいようにしたい。 やったことは、 ginshの入出力をバッファで指定できる + 出力フォーマットいじれるようなライブラリを作成して共有ライブラリにした

  • Perlでアニメ顔を検出&解析するImager::AnimeFace - デー

    というのを作ったので自己紹介します。 2月頃から、コンピュータでアニメ顔を検出&解析する方法をいろいろ試しつつ作っていて、その成果のひとつとして、無理やり出力したライブラリです。 はじめに はじめにざっとライブラリの紹介を書いて、あとのほうでは詳細な処理の話を僕の考えを超交えつつグダグだと書きたいと思います。 Imager::AnimeFaceでできること Imager::AnimeFaceは、画像に含まれるアニメキャラクター的な人物の顔の位置を検出し、さらに目や口など顔を構成する部品位置や大きさの推定、肌や髪の色の抽出を簡単に行うことができるライブラリです。 これらが可能になると、 画像から自動でいい感じのサムネイルを作成できる 動画から自動でいい感じのサムネイルを作成できる 自動的にぐぬぬ画像が作れる 自動的に全員の顔を○○にできる 顔ベースのローカル画像検索 など、最新鋭のソリューシ

    Perlでアニメ顔を検出&解析するImager::AnimeFace - デー
  • Winnyキャッシュファイルシステムを作りました - デー

    金曜にやたーはてなダイアリーファイルシステムできたよ\(^o^)/ - 2nd lifeを見てファイルシステムが簡単に作れるライブラリがあることを知って、高木浩光@自宅の日記 - ウイルス駆除のためWinnyのCacheフォルダを仮想ドライブ化してはどうかを思い出したので、似たようなWindowsライブラリのDokan を使って作ってみました。 いまのところ、実行手段がテキトウなのとAVG Freeで試したところ少し問題がありましたが、読み取り専用の仮想ドライブとしてウィルススキャンと感染ファイルの削除はできています。 概要 Winny2のcacheフォルダを仮想ドライブとしてマウントします。仮想ドライブからは復号された状態のキャッシュファイル(=元ファイル)へアクセスできます。 基的に読み取り専用ドライブですが、削除だけは可能で、ファイルの削除が実行されると対応するcacheフォルダの

    Winnyキャッシュファイルシステムを作りました - デー
  • 1