はてなブックマークのトピックページの裏側 - Hatena Developer Blog

こんにちは、はてなアプリケーションエンジニアの id:skozawa です。現在は、ブックマークチーム、及び、プラットフォームチームで開発をしています。 先日リリースされたはてなブックマークの新機能「トピック」の裏側について、Hatena Enginner Seminar #4で紹介しました。 Hatena Enginner Seminar #4で紹介した資料に少し加筆・修正を加えたものを公開します。 内容 「トピック」機能は、はてなブックマーク開発ブログにもある通り、これまで何人かのエンジニアが挑戦してきましたが、実現できていませんでした。その主な要因として、 トピック生成の精度が低い トピックタイトル生成が難しい という問題があり、これらを検索技術と自然言語処理技術によって解決することによりベータリリースへとこぎつけました。 トピック生成 これまでキーワードなどを用いて記事をクラスタリ

[skozawa]

Hatena Engineer Seminar #4 でお話したはてなブックマークのトピックページの裏側を公開しました！ #hatenatech

[rag_en]

えーと。まぁ、新機能もいいんですけど、マイページのタイトルが変なのとか、コメント単体ページの謎中央揃えとか、あのまま放置なんですかね…。

[nagayama]

なるほど！←わかってない

[yoko-hirom]

『発火するようなトピックを捉えることが得意』　炎上探知器なのか。

[Sediment]

すげぇなぁと思うけど、今んとこトピック見てもトピックにはなってないな。がんばってちょ。

[r_kurain]

過去に実現できなかったエンジニアとしては大変悔しくもありうれしくもあり。専門性が活かされていて大変素晴らしいですね。

[exadit]

精度とコスト考えたら人力の方がメリット高いんだろうなーと、Yahooさんの事例を見てて思います。

[bluele]

こういう資料を積極的に公開してくれるとこほんと好き

[FantaOrange]

こういうの欲しいと思ってた。でも機械的にやるのは難しいだろーと思ってたのでエンジニアの方々の努力に脱帽。実際の精度はこれから確認するｗ

[sugyan]

専門性高いものをしっかりサービスに活かしているの素晴らし

[sionsou]

自然言語処理についてさっぱりな部分が多いけど、興味ある。てか論文引っ張りだすレベルなのか…。やっぱ使いこなすには全文検索でElasticSearchなんだな。

[kentana20]

おもしろい発表だった。

[chezou]

Elasticsearch便利だ

[bochibochibocchi0095]

Elastic Searchってこんなこともできるのか。

[mirai-iro]

こんなのよりスパム排除のほうに力入れてほしい

[blueboy]

ホッテントリのブクマページのすべてに関連トピックを示す、というのであれば、有益だが。現状は、「何これ？　わけわかめ」状態。／類似度検索なら、ジャストシステムにあったよね。　[amazon:B0007N4BEQ]

[mooz]

福利厚生だ「はてなブックマークには10年にわたる大規模なデータが蓄積されています」

[zentarou]

本当に要望あったの？

[tenshiangel]

個人的にトピックはいらない

[nori_ddd]

“。”

[stanaka]

自然言語処理でいろいろ試行錯誤してました

[pcod]

セミナー本当におもしろかった

[nishidy]

LDAは使ってい"ない"ようだ

[peketamin]

ElasticSearchもすごいけど、論文の理論を実践してるのもすごい…(サービス品質としてはまた別だけど)

[psne]

10周年第1弾

[razokulover]

“これまでの自然言語処理分野での実験から記事のタイトルと本文1文目が要約において重要であることがわかっている”

[t_f_m]

あとで

[mapk0y]

わかりやすい！Elasticsearch すげえな