nishikawasasakiのブックマーク / 2017年4月20日

Akka Streams for extracting Wikipedia Articles
nishikawasasaki 2017/04/20
Wikipedia

akka-streams
リンク
Process the whole Wikidata in 7 minutes with your laptop (and Akka Streams) - Intent HQ Engineering blog
Process the whole Wikidata in 7 minutes with your laptop (and Akka Streams) How Akka Streams can be used to process the Wikidata dump in parallel and using constant memory with just your laptop. Here at Intent HQ we use Wikipedia and Wikidata as sources of data. They are very important to us because they both encode an enormous amount of information in several languages that we use to build our To
nishikawasasaki 2017/04/20
Wikipedia

akka-streams
リンク
word2vec, fasttextの差と実践的な使い方 - にほんごのれんしゅう
word2vec, fasttextの差と実践的な使い方目次 Fasttextとword2vecの差を調査する実際にあそんでみよう Fasttext, word2vecで行っているディープラーニングでの応用例具体的な応用例として、単語のバズ検知を設計して、正しく動くことを確認したので、紹介する Appendix (発表用の資料も掲載いたします,小さくて見づらいので、直リンはこちら) 原理の表面的な説明 Skip gramではある特定の単語の前後の単語の出現確率を測定することでベクトル化する図1. ある目的の単語から、周辺の単語の確率を計算してベクトル化する Word2vecとfasttextではこれを実装したものただし、fasttextにはsubwordという仕組みが入っている図2. softmaxで共起確率を計算するあそんでみよう 2017年2～3月のTwitterのデータ
nishikawasasaki 2017/04/20
nlp

fasttext

word2vec
リンク
- 2017年4月21日
- 2017年4月20日
- 2017年4月19日