「Yahoo!知恵袋」の不快な投稿、見えないところへ わずか1日で6億件を処理 ヤフー社内で何が起きたのか (1/2) - ITmedia NEWS
老舗Q＆Aサービス「Yahoo!知恵袋」は、長い間あるものに悩まされてきた。規約違反ではないため削除できないが、見る人を不快にさせる内容の“グレーな投稿”である。これまで社内でパトロールを行うなど対応してきたが、同サービスの投稿は約6億件にものぼり、全てのグレーな投稿を見つけ出すことは難しかった。スーパーコンピュータ「kukai」（クウカイ）が導入されるまでは。 グレーな投稿には、中身がなく質問への回答になっていないものや、アダルトカテゴリーではないのに年齢制限が必要そうなものなどがある。ユーザー投稿型サービスだからこそ起こる問題だが「利用者から厳しい意見をいただくことも多い。どこかで線引きをする必要があった」とヤフーの丹羽達洋さんは話す。 そこで考えたのが、グレーな投稿を検出し、トップページなど人目につきやすい場所では非表示にするという対応だった。 グレーな投稿、どうやって見つける？ し
「世界最速」機械学習技術、ヤフーがOSSで公開
ヤフーは11月15日、数十万の選択肢の中から適切な解を、世界最速・高精度に予測するという機械学習技術「AnnexML」（アネックスエムエル）を開発し、オープンソースソフト（OSS）としてGitHubに公開した。 ユーザーのサービス利用情報などビッグデータと、そのユーザーがクリックした広告などの数十万の選択肢との組み合わせを効率的に学習でき、「サービス利用情報のあるユーザーに対して、どの広告がクリックされやすいか」といった有力な候補の組み合わせを世界最速・高精度に予測するという。 テキストや画像、商品データ、ユーザーデータなど、複数の特徴を持つ高次元データを、大量のデータベースの中から高速に検索・特定できる技術「NGT」（OSSで公開済み）も活用。項目数を数十に圧縮したビッグデータをグラフ構造に整理・学習することで、高い予測精度と高速化を両立させた。 同種のビッグデータ分類技術と比較したとこ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
