形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
知らないことを知る技術ー未知の分野で文献調査を導く３つの表の作り方と使い方
無知：たのもう！たのもう！ 親父：うるさい奴が来たぞ。おい、そこのバカ、口を縫いとじてやるからこっちへ来い。 無知：そうです、バカなんです。 親父：なんだ、泣き始めたぞ。見かけない顔だな。 無知：彼女のできなかった非モテ先輩からお話を聞いて、教えを請いに参りました。 親父：なんだか随分古い話だな。じゃあ友達の作り方でも訊きに来たのか？ あんなものは炭水化物と同じだ、切れると結構つらいが、無いなら無いで何とかなる。 無知：いやローカーボンダイエットの話ではなく、どうやったら教養が身につくかを教えてください。 親父：なるほど。察するにお前さんは物知らずだな？ 無知：そこまではっきり言う！……でも、おっしゃるとおりです。 親父：ものを知らない奴は「知識がある」ってことがどういうことかも知らないから、自分と真逆のイメージをこしらえるしかない。何も知らない自分←正反対→何でも知っている＝教養がある、
情報強者のおまいらが自信を持ってオススメできるブックマークてどんなん？ - ゴールデンタイムズ
1 ：名無しさん ：2014/04/16(水)12:00:22 ID:ZQg2QTaiu 期待に胸ふくらませてROMるのでよろしこ 6 ：名無しさん ：2014/04/16(水)12:02:59 ID:rl3BWPdtQ 貼れば必ずレスが付く鉄板URL http://nipponmukasibanasi.seesaa.net/ 11 ：名無しさん ：2014/04/16(水)12:08:00 ID:b8zZtmUNh >>6 なーにが鉄板だよどうせ宣伝だろとか思って開いたらガチですごくてワロッシュ 13 ：名無しさん ：2014/04/16(水)12:14:12 ID:aP5pTKOhK >>6 割とマジで感動した 教えてくれてありがとう 35 ：名無しさん ：2014/04/16(水)21:28:17 ID:gdbuiWGwE >>6 確かにこれはレスせざるをえない 14 ：名無しさん
How To Make Good Use Of Google's Search Operators
With operators, you're able to display results that pertain only to certain websites, search through a range of numbers, or even completely exclude a word from your results. When you master the use of Google's search engine, finding the answer to nearly anything you can think of is a power that you have right at your fingertips. In this article, let's make that happen. Readers like you help suppor
無料で聴けて、もう作業用BGMに困らない。ミュージックビデオを次々に流してループしてくれる個人的に超オススメサイト / Maka-Veli .com
色々あるツールの中で、僕がよく使うサイトをご紹介。 洋楽がメインなので、僕の趣味と合う方向けですが・・・ Musictonic アルゴリズムはわかりませんが、 アーティスト名などを入力すると、ミュージックビデオをひたすら流してくれます。 デザインも素敵で、シェアボタンもあるので シェアしたい時にもサクっと紹介できるのが嬉しい。 使いやすいので、一番使ってます。 例えば「Capsule」とかって入力すると・・・ 左に再生リスト。 右に関連するキーワード（例えば「きゃりーぱみゅぱみゅ」とか「中田ヤスタカ」とか）が並びます。 けっこう「あれ、次何聴こうかなー」とか悩むんですよね。こういうのって。 なので凄く助かります。 YesYesY’all これも本当オススメ！ 音楽聴こうかなって思った時、「あれ聴こう！」と出れば良いですけど、大体聴きたい曲って出て来ないんですよ。
Webサイトで全角英数字ではなく、半角英数字を採用する理由
Webで文章を掲載する際、英数字は半角表記で統一するのが「常識」です。ですが、なぜ全角英数字はダメで半角英数字に統一するべきなのでしょう。改めて聞かれるとついつい「そういうものだから」と答えてしまいがちではないですか？ また、検索してみても、ちゃんとまとめられた記事がなかなか見つけられません。ということで、全角英数字ではなく、半角英数字を採用する理由をまとめてみました。 ※本記事は技術的な検証が十分に行われておらず、誤った情報である可能性があります。あらかじめご了承ください。 全角英数字は再利用性できません たとえば、電話番号やURLが全角で表記されていると、Office製品やメーラーでリンクとして認識されません。ブラウザのアドレスバーにコピーアンドペーストしても開けず大変不便です。 全角英数字は禁則処理が行われません ブラウザでは英単語が途中で改行されないよう折り返しが行われます（禁則処
PHP で Google 第二回 サイト収集ツール（クローラ）と本文情報抽出を PHP で実装 - 横転プログラミング
前回に引き続き検索エンジンについて勉強中です。今回は少し PHP だと気軽に出来るかもしれない、出来ないかもしれないサイトの情報収集ツールつまるところのクローラを構築してみました。 Google や Yahoo などの検索エンジンは、いくら検索アルゴリズムを良くして、ランキングの精度をあげても、収集したサイトの情報あってこそで、元の情報が少なかったり、精度が悪いと、良い情報を提示することは出来ません。そんなわけでサイト情報を頑張って収集するクローラが必要です。 流れとしては 1. 起点のサイトを決めて、そこからリンクを再帰的に巡り情報を収集する 2. 収集したサイトから本文を抽出する となります。 まず 2. のフェーズは、検索を行った際に、広告情報などでヒットされては困る（精度が悪くなる）ので、必要になってきます。 サイボウズラボの nakatani さんが実装されたものを PHP に移
三月うさぎのティールーム～情報検索コラム～
ＨＯＭＥ ｜ 事務所概要 ｜ サーチャー紹介 ｜ 情報検索ご依頼の流れ ｜料金表 ｜ 講習会・講演会・執筆 ｜ 情報検索コラム ｜リンク集 ｜ お問合せ ｜ 注意：内容は執筆時点での情報です コラム第８０号（2009/9/8UP） 「情報検索するときに知っておきたい考え方 －再現率・適合率－」 情報検索するときの考え方として、 「広くモレ無く網羅的にヒットさせる」 という点を重視して検索するのか、それとも 「適切な情報のみをヒットさせる」 という点を重視して検索するのか、という “２つの方向のどちらを重視するか” を考慮して、検索戦略を考える方法があります。 検索をするときは当然ながら、どのようにすれば自分の必要とする情報がヒットするかを 考えながら検索するわけです。 その際、情報検索用の「考え方」を知っておくと、検索方法や検索式が立てやすくなります。 今、上に書
超適合率と超再現率：ナレッジ！？情報共有・・・永遠の課題への挑戦：オルタナティブ・ブログ
myrmecoleonさんの『ニコニコのタグ検索の「精度」の話』『ニコニコのタグ検索の「精度」の話」の反省』という２つの記事での再現率と精度（適合率）を使った分析と解説が興味深い。映像共有システムとしてのニコニコ動画のタグは、精度でははてブのそれを凌駕するが、再現率でははてブのほうが優秀だという意見には私も感覚的には同意。 自分の普段の検索シーンで考えてみても、実際に「同じようなものを見たいなぁ」という時には、映像共有システム内のタグの絞り込み機能で捜しているし「この分野の作品をしらみつぶしに見たいなぁ」なんて思うときには、外部のタギングシステムや検索システムで捜す行動を取る。 タグ/タギングのシステムの一部は情報探索を支援する機能と言って良いと私も思う。だからこうした適合率や再現率のような従来の考え方を使って分析するのは妥当だし、この視点で見ると改めていろいろ気づくなぁというのが今の率直
検索における適合率 (Precision) と再現率 (Recall)
検索における適合率 (Precision) と再現率 (Recall) 2008-01-17-1 [IIR] 「Introduction to Information Retrieval」[1] の輪講の第一回[2008-01-12-1]でちらっと話しましたが、第一章の 1.1 に Precision と Recall の説明があります（第八章でも出てきます）。 若干混乱しやすくややこしい話なので、ここで改めて解説します。 § Precision (適合率) とは、 全検索結果に対しての、 検索要求 (information need) を満たす検索結果の割合です。 例えば、 「MacBook Air の重量を知りたい」という検索要求を満たすために検索キー「MacBook Air 重さ」でウェブ検索した結果100件のうち、検索要求を満たす（重さが分かる）のが85件だとすると、 Precis
jQueryでハイライト - 新みのる日記
検索ボックスで入力中に検索文字をハイライトしてほしかったので、 jQueryでそういうプラグインないかなーとさがしてたらあった。 さすがｗ jquery.highlight でも、元々英語だったのプラス、 ハイライト時にappendchildしまくってテキストノードが分断されてしまい、 別のワードを入れた場合に検索しなくなったので、 ちょっと改変した。 デモページ 改変前 // function() jQuery.highlight内の pos = node.data.toUpperCase().indexOf(te); jQuery.fn.removeHighlight = function() { return this.find("span.highlight").each(function() { this.parentNode.replaceChild(this.firstChi
Internet Archive: Wayback Machine
An icon used to represent a menu that can be toggled by interacting with this icon.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。