Yahoo! JAPAN研究所：Yahoo! JAPAN ならではの先端技術研究を（2）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所で研究員をしております柿原です。 前回に引き続き、「japan.internet.com」にて連載中の"進化する「LIFE ENGINE」 - Yahoo! JAPAN 2010年の新技術"の第5回に掲載されたYahoo! JAPAN研究所の紹介をし たいと思います。今回は、いま研究所で取り組んでいる自然言語処理と画像処理の研究について少し詳しく紹介させていただきました。ぜひご覧ください。 ※「japan.internet.com」のご厚意により、3月10日に掲載された第5回目の記事を以下に転載します。 ------下記転載------ 前回は、Yahoo! JAPAN 研究所の概要につい
パパは何でも知っている〜「物知り博士」と「専門バカ」という二つの研究者像〜 - ハリ・セルダンになりたくて
[「専門家なのに知らないの？バカじゃないの？」] 最近、ある場所で本当にあった会話です。 ある人「矢野さんはベイズ統計学がご専門なんですよね？」 矢野「ベイズ統計学のある一分野で、モンテカルロフィルター（粒子フィルター）が専門ですが・・・」 ある人「ベイズ統計学のマルコフ連鎖モンテカルロ法で使われるDeviance Information Criterionっていいんですか？」 矢野「それは専門外なので・・・」 ある人「え？ベイズ統計学者なんでしょ！？」 矢野「・・・・」 それから数分ほど経ってから同じ人との会話 同じ人「次回は矢野さんにマルコフ連鎖モンテカルロ法のご講義をいただければ」 矢野「いや、それは専門外なので、ちょっと・・・」 同じ人「そんなこと言わずに、講義してくださいよ」 矢野「モンテカルロフィルター（粒子フィルター）との比較としてマルコフ連鎖モンテカルロ法を取り上げてある程
日々の勉強の航跡
Zoltan Gyongyi, Hector Garcia-Molina Web Spam Taxonomy In Proceedings of 1st International Workshop on Adversarial Information Retrieval on the Web 2005. May 論文の在処 概要 タイトル通りウェブスパムの分類をしている。 Term SpammingとLink Spammingと大きく二つに分けている。 スパム行為を隠すテクニックに関しても少し書いている。 他の３つの論文の３つのスパムに関するデータを用いて、スパムページの割合などを議論している。 1. Introduction 導入。 検索エンジンはWebの入り口。 検索結果に対してスパムは悪影響を。実際"Kaiser pharamcy"で検索したときの例を用いている。 次にスパムにより
産総研：ネットワーク理論を用いた組織構造解析プログラムを開発
発表・掲載日：2005/02/09 ネットワーク理論を用いた組織構造解析プログラムを開発 －産総研の成果発表から研究動向を可視化－ 独立行政法人 産業技術総合研究所【理事長 吉川 弘之】（以下「産総研」という）知能システム研究部門【部門長 平井 成興】の 小島 一浩 研究員は、最新のネットワーク理論を用いた組織構造の解析プログラムを開発した。また、実際にこれを産総研に適用し、今まで全体像をつかむことができなかった組織構造や組織連携に重要な人間関係の発見を行った。 産総研では、近年注目を集めているComplex Network理論を用いることにより、組織構造の解析、組織内外での連携状況などを把握することができる組織構造解析プログラムを開発した。またその応用として、開発したプログラムを産総研における研究成果発表データに適用し、産総研の研究者・研究分野の連携関係の解析を行った。 産総研は所属する
「膨大なデータを分析して見えてくること」ニコニコ動画データ分析研究発表会
日本最大の動画投稿サービス「ニコニコ動画」は、動画上を流れるコメントや、自由に編集できるタグ機能といった特徴を持ち、単なる動画共有サービスにとどまらず、コミュニティサイトとしての側面も持つ。多くの人がアクセスする中で「アイドルマスター」「初音ミク（VOCALOID）」「東方プロジェクト」など、いろいろなムーブメントが生まれてきた。 今も毎日多くの動画が投稿されており、各動画は「再生数」「コメント数」「マイリスト数」などの情報がわかるようになっている。すでに投稿動画数は200万本を超えるが、これら膨大なデータを分析することで、どんな現象やコミュニケーションが起きているのかを明らかにしようとするのが今回の発表会の目的である。 分析する際の2つの障壁 独自にデータ収集が必要であること しかし、そもそもニコニコ動画自体はデータを分析しやすいように広く提供しているわけではない。1つ1つの動画の再生数
自然言語処理における類似度学習(機械学習における距離学習)について - 武蔵野日記
Twitter でグラフ理論に関する話題が上がっていたので、最近調べている距離学習(distance metric learning)について少しまとめてみる。カーネルとか距離(類似度)とかを学習するという話(カーネルというのは2点間の近さを測る関数だと思ってもらえれば)。 この分野では Liu Yang によるA comprehensive survey on distance metric learning (2005) が包括的なサーベイ論文として有名なようだが、それのアップデート(かつ簡略)版として同じ著者によるAn overview of distance metric learning (2007) が出ているので、それをさらに簡略化してお届けする(元論文自体本文は3ページしかないし、引用文献のあとに表が2ページあって、それぞれ相違点と共通点がまとまっているので、これを見ると非
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
iv.xight.org - 情報視覚化
■ Information Visualization の用途 情報検索 データ解析 プログラムデバッグ ■ Information Visualization に必要な技法 必要なものだけ表示する技法 画面の表示可能領域に制限 情報を選択的に表示 ズーミング手法・フィルタリング手法・重要度計算手法・画面を歪ませて表示する手法 e.t.c. 全体と詳細を同時に見る技法 全体を概観しながら詳細も見ることが可能 ズーミングの応用 抽象データの画面へのマッピング技法 表示すべきデータがユーザ操作により変化 表示すべき情報をどのような位置，形，色で表示するか グラフの自動配置手法・階層構造の表示手法 e.t.c. 自動レイアウト技法 重なりがちゃんと見えるように グラフの自動配置手法の一つ？ インタラクション技法 直接操作によって画面を移動・拡大させたり，条件を変更して動的検索を行ったりする手法
データから「構造」を発見する：より人間に近づく人工知能 | WIRED VISION
データから「構造」を発見する：より人間に近づく人工知能 2008年7月31日 サイエンス・テクノロジー コメント： トラックバック (1) Brandon Keim 生物学者のエルンスト・ヘッケルが作成した系統樹(現在は不正確だとされている)。 Image: WikiMedia Commons コンピューターがより人間らしく考えるのに役立つかもしれない、ある新しいパターン認識モデルが登場した。 7月28日(米国時間)刊行の『米国科学アカデミー紀要』(PNAS)に掲載されたこのモデルは、生のデータセットから出現する見込みが最も高いパターンの種類を判断する。 こうした処理は、人間が周囲の世界を理解する際に無意識のうちに使っているものだが、人工的な認識ツールでは一般に難しいとされてきた。 顔認識や系統学などに使われている現行の諸モデルでは、予想されるパターンの型があらかじめ特定されている必要があ
平成２０年 ブログの実態に関する調査研究の結果 - 総務省情報通信政策研究所（ＩＩＣＰ）調査研究部
平成20年７月 総務省情報通信政策研究所（ＩＩＣＰ）調査研究部 ブログの実態に関する調査研究の結果 ～ 国内ブログの総数は約1，690万（2008年1月現在）。活発な情報発信が続く ～ IICP Institute for Information and Communications Policy １ 調査研究の概要 1 ２ 国内におけるブログのコンテンツ量（推計値） （１）現在のコンテンツ量（2008年1月現在） 3 （２）ブログ数の推移 4 （３）記事数の推移 5 ３ ブログコンテンツの多様化 （１）画像・動画ファイル等の活用状況 8 （２）コミュニケーション機能等の活用状況 9 ４ スパムブログの状況 10 ５ ブログの開設動機の傾向 11 【付録】１ ブログの実態に関する調査概要 13 ２ ブログコンテンツ量の推計モデル 14 ～目 次～ IICP Institute for In
グーグルな人はNHK、ヤフーな人は民放が好き--Eストアー調べ
Eストアーは5月29日、検索サービスのグーグルとヤフー利用者の属性や意識の違いに着目した調査結果を発表した。この調査はシリーズ化しており、今回が第9弾。テーマはテレビ番組だ。 グーグルとヤフー利用者が、朝と夜に見るテレビ番組を調査したところ、特にニュース番組を見る割合の高かった40〜60代に興味深い結果が出た。 40〜60代のグーグルユーザーが、朝最も見るニュース番組1位は「NHK」（23.9％）、2位は「めざましテレビ」（19.3％）、3位は「ズームイン!!SUPER」（18.2％）だった。 一方、同年代のヤフーユーザーが朝最も見るニュース番組1位は「めざましテレビ」（34.1％）、2位は「NHK」（19.3％）、3位は「みのもんたの朝ズバッ！」（17.3％）となった。 夜のニュース番組についても調査したところ、40〜60代のグーグルユーザーが夜最も多く見る番組1位は、朝と同様「NHK」
「検索エンジンのニーズと利用」に関する調査--明らかに異なるヤフーとグーグルのユーザー像:リサーチ - CNET Japan
Webマーケティングガイドでは、インターネット調査会社のメディアインタラクティブと共同調査のもと、定点観測として、「検索サービスの利用実態」に関する調査を実施した。 今回の調査対象者は16歳〜59歳までの男女500人。性年代別で50人ずつの均等割付けを行った。 ≪調査結果サマリー≫ 90％弱のユーザーが、1日1時間以上インターネットを利用している。 Yahoo!には、ライト・ミドルユーザー（ネット利用時間が短い）や女性、若年層が多い。 Googleには、ヘビーユーザー（ネット利用時間が長い）や男性が多い。 百度の利用率は1.2％と、日本市場でシェアを伸ばしつつある。 Q1.1日のインターネット利用時間 利用時間は「2時間〜3時間未満」が23.2％と最も多く、次いで「1時間〜2時間未満」が22.0％となった。1時間未満と回答したユーザーはわずか10％強で、この調査がインターネットリサーチであ
私のブックマーク「Web構造マイニングとWeb視覚化」
１．はじめに Webデータにおけるパターン発見をデータマイニング技術を用いて行なうこと をWebマイニングと呼ぶ。Webマイニングは、自然言語処理や機械学習、データ マイニングなどの人工知能の分野にとどまらず、情報検索やデータベースなど 幅広い分野と関連する複合的な研究分野である。 注目するWebデータの種類によって、Webマイニングは以下の3つに分類される。 1) Webページのコンテンツに注目し、自然言語処理やデータベースのアプローチを用いて、 テキストマイニングによる情報抽出や半構造データにおける検索のモデル化などを 目指すWeb内容マイニング 2) Webページ間を結ぶハイパーリンクによって構成されるグラフ構造に注目し、 関連ページの発見や重要ページのランキング、グラフ構造のモデル化などを 目指すWeb構造マイニング 3) Webページの閲覧によって生じる(サーバー側やクライアント
ゲーム内での暴力、現実世界の暴力的衝動を和らげる可能性--英調査 - GameSpot Japan
暴力的なゲームは、現実世界の暴力の原因とされることが多いが、業界に批判的な人たちはよく自分の主張を裏付けるために学術的な研究結果を引用する。ところが今回、ダブリンで開かれた英国心理学会の年次大会で、暴力的なゲームは実際には現実世界で暴力的な行動を取ろうとする衝動を和らげる可能性があるとする報告が示された。 この研究はMiddlesex UniversityのJane Barnett氏とその同僚が行ったもので、プレーヤーはゲームをしたあと、外に行って誰かの頭を蹴りたいという衝動を感じるというよりは、より冷静になるか、単に疲れるだけあることが明らかになったという。同氏らは男性と女性を含む、12歳から83歳のオンラインゲームプレーヤー292人を調査対象とし、オンラインロールプレイングゲームである「World of Warcraft」（WoW）をプレーしてもらった。被験者は2時間のゲームのセッシ
リンクスパムの分布図 - 豊田正史のSLとは関係ございません(2008-03-05)
_ [研究] リンクスパムの分布図 PageRankのようなリンクに基づく検索結果ランキング手法を騙そうとする行為をリンクスパムと呼びます。大量にドメインを確保したり、業者同士で結託したりして、密なリンク構造を構成するのが簡単な方法です。日本語ウェブアーカイブから、そのほんの一部を抽出してグラフ構造を可視化すると以下のようになります（丸はサイトの集合で、線はサイト集合間のリンク）。真中のグレーの丸は、ウェブグラフの中心にあたります。これは全サイトの3分の1くらいが含まれる巨大な強連結成分で、良いサイトも悪いサイトも山ほど含まれています（中の数字は、含まれるサイト数）。その周りに浮遊している黒い丸が、スパムサイトからなる強連結成分です。1つ1つに数百から数千の相互に強く結びついたスパムサイトが含まれています。スパムの強連結成分同士がまた密な構造を作っていてなかなか興味深い図になっています。昨
2015年、テレビは「ニコ動」化する？――NRIが示す未来像 (1/2) - ITmedia News
若年層のテレビ離れが進んでいる。野村総合研究所（NRI）の調査で「テレビがなくなっても構わない」と答えた人の割合は20～29歳で24％、15～19歳は33％と3分の1に達した。 テレビで放送されているコンテンツをリアルタイムで見るというスタイルが、HDDレコーダーや動画共有サイトの普及で大きく変わってきている。テレビの視聴率も低減傾向。DVDやCD、書籍などのコンテンツパッケージ市場も振るわず、コンテンツ産業は岐路に立っている。 「コンテンツ市場はどうすれば成長できるか」――NRIは2月5日、2015年に向けたメディアやコンテンツの変革シナリオを「こうあってほしいという理想も含めて」（同社情報・通信コンサルティング部の中村博之上級コンサルタント）提示した。そこで示した「未来のテレビの理想像」は、「ニコニコ動画」「YouTube」などネットサービスにある機能がいくつも取り込まれている。 「テ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yahoo! Research Labs
クローリングしてる暇があるなら…論文かいたら? | EDGE Datasets(研究用データセット)
Web Researchers
mixi Engineers’ Blog javascript