perlで高速な類似検索エンジンを構築できるようにしてみた - download_takeshi’s diary
すみません。タイトルはやや釣り気味です。 類似検索エンジンというか、そのアイデア程度の話なんですが、以前から考えていた類似検索エンジン風のネタがあったので、ちょっとperlで書いてみたので、そいつを晒してみます。 Luigi https://github.com/miki/Luigi 類似検索なのでLuigi。ルイージとか読みたい人はそう読んじゃっても良いです。（冷） 考え方と仕組み 類似文書の検索、となりますと一般的には超高次元での空間インデックスとかが必要になります。 昔からR-TreeやSR-Treeなど、いろいろと提案されていますが、より高次元になると「次元の呪い」によりパフォーマンスが出なくなる、なんて言われていますね。 そこで最近ではLSHに代表されるような、より高度な「近似」型のインデキシング手法が人気を集めているようです。 で、今回考えたLuigiも実は近似型のインデッ
Librahack ： 容疑者から見た岡崎図書館事件
出来事の詳細 3/13 新着図書データベースを作るためクローリング＆スクレイピングプログラムを作成した ちょうどその頃、市場調査を行うためにECサイトのスクレイピングプログラムを作っていた。そのついでに、前々から構想していたLibra新着図書Webサービスを作ろうと思った。市場調査プログラムの一部をカスタマイズして、新着図書データベース作成プログラムを作った。この時、市場調査プログラムと新着図書データベース作成プログラムは同じプログラム内にあり、パラメータでアクションを指定して振り分けていた。 Webサービスを作ろうと思った動機は「なぜプログラムを作ったか」の通り。 Webサービスの概要は「どんなプログラムを作ろうとしていたか」の通り。 普段読む本を入手する流れ：1. Amazonの各カテゴリの売れ筋をチェックしてレビューを確認し読むかどうか決める（または、書評ブログや新聞などのメディアで
WEBプログラマー必見！WEB脆弱性基礎知識最速マスター - 燈明日記
以下は、WEBプログラマー用のWEB脆弱性の基礎知識の一覧です。 WEBプログラマーの人はこれを読めばWEB脆弱性の基礎をマスターしてWEBプログラムを書くことができるようになっているかもです。 また、WEB脆弱性の簡易リファレンスとしても少し利用できるかもしれません。 WEBアプリケーションを開発するには、開発要件書やプログラム仕様書通りに開発すれば良いというわけにはいきません。 そう、WEB脆弱性を狙う悪意のユーザにも対処しないといけないのです。 今回、WEBアプリケーションを開発にあたってのWEB脆弱性を、以下の一覧にまとめてみました。 このまとめがWEBアプリケーション開発の参考になれば幸いです。 インジェクション クロスサイト・スクリプティング セッション・ハイジャック アクセス制御や認可制御の欠落 ディレクトリ・トラバーサル(Directory Traversal) CSRF（
UnicodeとUTF-8の違いは？ - Humanity
という2chのスレがかなり勉強になったのでまとめ。 少しでも有用だと思ったものは載せてあるので結構長いです。 Unicodeのような文字集合(符号化文字集合？)やUTF-8のようなエンコーディング方式に限らず色んな文字コードにまつわる話があります。 たびたび話が繰り替えされますがそれは確認ということで。 (元スレ) 追記：簡単にまとめました。 1 ：デフォルトの名無しさん：2007/04/30(月) 20:02:37 ビッグインディアンとかなんとかかんとか 3 ：デフォルトの名無しさん：2007/04/30(月) 20:05:48 また、頭の悪そうなスレが・・・ >>1 それは魚とマグロの違いを訊ねるようなもんだ。 4 ：デフォルトの名無しさん：2007/04/30(月) 20:06:49 魚と鮪というよりは、魚と刺身の違いのような気がする。 5 ：デフォルトの名無しさん：2007/04/
マンガで分かるLisp(Manga Guide to Lisp)
スポンジで虎を倒せるんだよ？ (you can take down a tiger with a sponge, right?)
シムシティーの仕組み
シムシティーを作り始めていちばん最初に考えたのは、街を一種の生き物のように表現できないかってことだった。 僕が街についてどう考えているかはすでに説明したけど、大事なのは街を構成する建物とか道路じゃなくって、そこでどんな活動が行なわれているかってことだと思うんだ。道路を車が走り、電車が動き、人々が動き回り、常に要素が変化し続ける“動きのある”システム。街を表現する方法っていうと誰でも地図を思い浮かべると思うけど、僕は動きがない地図じゃなくって、たとえば飛行機から眺めた街、動きのある世界をディスプレイに表現しようって考えた。それこそが僕の考える街の姿だからね。 それともう一つ考えたことは、プレイヤーに伝える情報をできるだけわかりやすく、それも“面白い”って思えるような形で表現しようってことだった。シミュレーション・ソフトっていうとたいてい数値や図表がたくさん出てくるけれど、数字が並んでいるのを
空から女の子が降ってくる - ぼくはまちちゃん！
こんにちはこんにちは！！ はてな見てたら、こんなのがありました！ 【降臨賞】空から女の子が降ってくるオリジナルの創作小説・漫画を募集します - 人力検索はてな 条件は「空から女の子が降ってくること」です。要約すると「空から女の子が降ってくる」としか言いようのない話であれば、それ以外の点は自由です。 字数制限 : 200〜1000 字程度 締め切り : 2009-01-12 18:00 で募集を止めます。 優勝賞品 : もっとも稀少な(と質問者が判断する)作品を書いてくださった方に 200 ポイントを贈ります。 面白そうですね！ さっそくぼくも応募してみたよ！ 応募した内容はこれ！ javascript:(function(){scroll(0,0);H='http://hamachiya.com/';D=document;F=Math.floor;R=Math.random;Q=new I
Webサービスを公開し、運用するために - 今日とは違う明日
会社でプログラミングはしてるけど、プライベートでWebサービスを作って公開するには、どうすればいいんだか・・・という過去の私みたいな人のために。 とりあえず、前提として。 Webサービスを構築するためのある程度のスキルはある 何を作りたいかも決まっている でも、自分でゼロからスタートして公開までの段取りがよく分からん 1.開発言語、フレームワーク、データベースを決める 何はともあれ。持ってるスキルにあっているものが良いと思うけど、新しい言語やフレームワークにチャレンジするのも楽しいかも。お好きなものをどうぞ。ただ、all in oneなフレームワークだと、色々揃えなくてもいいから楽。 言語を決めたら、それに合わせた開発環境を用意して、Hello Worldが動く程度には動作を確認しておく。 私の場合は 言語はruby フレームワークはRuby on Rails データベースはpostgre
ちょっと変わったLisp入門 － ＠IT
Lispの一種であるScheme。いくつかある処理系の中でも気軽にスクリプトを書けるGaucheでLispの世界を体験してみよう（編集部） 「Gaucheでメタプログラミング」と題して、これからGaucheを使ったプログラミングの連載を書かせていただきます吉田裕美です。よろしくお願いいたします。 Gaucheとは 今回の連載で取り上げるGaucheはハワイ在住の日本人ハッカー、川合史朗さんが作った、Lispの一種であるSchemeのオープンソース処理系です。 Gaucheの特徴は、PerlやRubyのように気軽に使える軽い処理系だということです。Perl同様に正規表現や文字列操作が行え、ちょっとしたツールの作成にも使えます。しかし、非常に強力なCommon Lisp風オブジェクトシステムを持ち、Lispならではのマクロに加え、Webやグラフィックスなどの豊富なライブラリも持っているので実用
制作会社で働く人向け「はじめての正規表現」 - あと味
制作会社で働いてると、ディレクターやライターであればライティング作業をすることがあるし、マークアップエンジニアであればHTMLやCSSを処理するし、プログラマーであればコードを書きます。 制作会社に勤めていれば全員何らかの形で、文字列を扱うことになります。 そんな時に正規表現という超強力な文字列処理のテクニックを身につければ、今以上に作業がはかどるし、いろんな問題が解決するのかなーと思い、先週1時間弱の勉強会を開催しました。 プログラマーは普段から使ってるんですけど、なかなか他の部門の人に紹介する機会がないのが現状だったので、多少なり役立ったんじゃないかと思ってます。 せっかくなので、その勉強会で使ったスライドを動画にしてニコニコ動画にアップしたので、ご紹介します。*1 ついでにウェブページ形式にもしてみました。 はじめての正規表現 って中の人が言ってました。 追記： Twitterのフォ
やたーはてなダイアリーファイルシステムできたよ＼(^o^)／ - 川o・-・）＜2nd life
はてなダイアリーが AtomPub で編集できるようになったので、早速 fuse を使ってファイルシステムを作ってみました。こんな感じに使えます。 http://rails2u.com/tmp/diary_fuse/fuse.htm (動画) /create に保存すると現在時刻で作成 /20080820101010 など、エントリーを編集可能。保存で更新。 rm するとエントリーを削除 /\d{14} 的なファイル名で保存すると、その時刻のエントリーを作成 などなど。Ruby の FuseFS を初めて使ってみましたが、結構簡単にファイルシステムをいじれて便利ですね。ちなみに本文の改行周りがおかしくなるというアレな挙動をして、全然実用できませんが、AtomPub 使うとこんな事もできるよーという例として見ていただければ。 ソースコードは以下です。
ぜんぜん知らない開発言語をてっとりばやく覚える方法 C# 編 - 帝国の野望ブログ - ものえおさむ - builder by ZDNet Japan
はじめに このブログでは Visual C# 2008 Express Edition (無償) を使用した Windows アプリケーションに作り方について説明しています。 Visual C# 2008 Express Edition (無償) の入手方法については この記事 を、プロジェクトのコンパイル方法については この記事を参照してください。 タイトルにあるとおり、今回は未経験の開発言語でとりあえずプログラムを書けるようにするための、てっとりばやい方法について書いてみたいと思います。 コードを書く仕事に携わっていると、仕事の要件や技術の革新、開発製品のディスコン、あるいは趣味嗜好、心境の変化などで新しい開発言語を使用する状況になることがあります。 しかし、開発言語の習得というのは、他人との関係を築くのに似てそう簡単ではありません。 深く理解し、心の底から分かりあえるまでにはそれなり
プログラミング未経験者が JavaScript でプログラミングを始めるまでに必要なこと - IT戦記
（執筆中） （文章の練習も兼ねてぐだぐだと執筆中、現時点で読んでも日本語になってないと思います。） （執筆途中だけど、こうしたらいい！とか、アドバイスがあれば教えてください＞＜読者みんなが編集者！とか言ってみる） （あ、はてな記法のパッチを送ってくれてもいいです＾＾） （ちょっと、 Shibuya.JS in Kyoto → PHP カンファレンスがあるので、次の更新はそれ以降になるかも） 自分の知り合いに「まったくのプログラミング未経験だけど、自分のウェブサイトを作ってみたい！」という人がいるので、プログラミングを始める前に必要な知識や心構えや準備などを書いておこうと思います。もちろん、最初に使う言語は JavaScript です。 この文章は、プログラミングまったくの未経験者が読んで分かる文章を目指しています。もし、分からない部分がある場合は指摘してください。聞いてください。自分で調べ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Googleレベルの学生が起業した「Preferred Infrastructure」 ― ＠IT
2008/03/24 検索エンジン開発の分野で有名になりつつある企業にPreferred Infrastructure（PFI、東京都文京区）がある。目を引くのは10人の社員がいずれも東京大学大学院、京都大学大学院の出身者、もしくは在学中ということ。東京大学大学院の情報系研究科出身者の多くが近年、Googleに入社していることは有名だが、PFIは、いわば、Googleに行かなかったGoogleレベルの学生たちが起業したといえる。エンジニア率100％のPFIは日本のテクノロジ・ベンチャーの姿を変えるだろうか。 PFIの代表取締役社長 西川徹氏は「ACM 国際大学対抗プログラミングコンテスト（ACM/ICPC）の世界大会に出場したメンバーと一緒に何かやりたかった」と起業の動機を話す。起業したのは2006年3月。資本金は30万円。当時の社員は6人で全員が学生だった。オフィスはなく、Skypeで話
まつもとゆきひろ×小飼弾対談 生き残るエンジニアとは？ ― ＠IT
パソナテックは3月11日、同社が提供開始したITエンジニア向けサイト「てくらぼ」のオープニングイベント「Matz×Dan×Daiji エンジニア進化論」を実施した。イベントでは、Ruby開発者のまつもとゆきひろ氏と、ブロガーでプログラマの小飼弾氏のトークセッションが開催された。会場となった東京・秋葉原のUDXギャラリーは大勢のITエンジニアで埋め尽くされ、キャンセル待ちが出るほどの盛況だった。 トークセッションは、ニューズ・ツー・ユー 取締役 平田大治氏が司会し、まつもと氏と小飼氏に質問を投げ掛けた。まつもと氏と小飼氏が質問に○か×かで答えた後、平田氏が詳しく話を聞くというスタイルだった。以下にトークセッションでの2人の発言をいくつかまとめた。
らばQ : ハッカーに憧れちゃう子供たちが知っておくべき有名ハッカー5人
ハッカーに憧れちゃう子供たちが知っておくべき有名ハッカー5人 先日、こんなニュースがありました。 上海の小学生、4割以上が「ハッカー崇拝」 中国語で「ハッカー」は黒客(ヘイクー)と言うのだと電脳コイルで言ってましたし、この記事でもやはり「黒いもの」、つまり犯罪者扱いですね。 一般的な認識でも「ハッカー」というと他人のコンピュータに侵入する人という意味で記憶されてるようです。 しかし、本物のハッカーたちの間では、そういう意味では使われてません。 さて、本物のハッカーはどういう意味で「ハック」や「ハッカー」という言葉を使うのでしょうか? そして本物のハッカーとはいったいどんな人たちなのでしょうか? ちょうど出しそびれていた本物のハッカー5人を紹介する記事がありましたので、それとあわせてご紹介します。 「ハッカー」とは、もちろん「ハック」する人のことです。さて、「ハック」とはなんでしょうか? こ
私の言語遅延学習法 - 三つのルール+1 : 404 Blog Not Found
2008年02月09日00:05 カテゴリLightweight Languages 私の言語遅延学習法 - 三つのルール+1 つっこみが遅くなりました。 新しくプログラミング言語を覚えたいときに行うべき10の練習問題 | IDEA*IDEA 404の人とかが突っ込んでくれそうな気がするので気軽にいってみます。 いい機会なので、私の言語学習法をこの際披露することにしましょう。 私の場合、一番の特徴は、「必要を感じるまで学ばない」「本当の問題に出会った時に、それを全力で解く」「学ぶ時には『原典』に当たる」ということでしょうか。私はこれを「遅延学習」と呼んでおります。実はこのことはコンピューター言語に限った事ではないのですが、コンピューター言語の場合、このことが特に顕著です。これらの特徴について一つずつ解説してみましょう。 必要を感じるまで学ばない 私の場合、長らく「プログラマー」としてより「
ゆーすけべー日記: YourAVHost その後
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
iPhoneアプリを作ってみよう：目次エントリー - もとまか日記