はてなブックマーク

word2vecで色々な言葉をベクトルに出来たのは良いものの、それを一切活用できない宝の持ち腐れ状態だったのでpythonで色々といじくれるように頑張ってみました。 word2vecをpythonでいじれる環境を作る 依存するパッケージをpipでインストールします。 sudo -H pip install -I numpy scipy gensim matplotlib sklearn python仕様に辞書を作り直す 以前作ったモデルファイルはバイナリになっていてpythonで使うことが出来ないので(多分)、それも含めてもう一度学習をしないといけなくなりました。ので、今回はpythonでコーパスから学習するpythonのコードを。 # -*- coding:utf-8 -*- from gensim.models import word2vec files = word2vec.Text

Snowflakeとは？ SnowflakeはTwitter社がツイートを区別するIDを付与するときに使われるID生成器です。特徴としては 概ねIDが時系列になっている 高速な採番が可能 OS内時刻の精度が重要 IDとtimestamp値に相互互換がある 約69年で枯渇する などがあります。APIにGET statuses/show/:idが存在するように、IDは世界で投稿される全てのツイート同士でユニークなものでなければいけません。そのため、同じtimestamp値のツイートが投稿されても違うIDが割り振られるように以下のような構造になっています。 これにより、採番全体としてはtimestampとmachine idで、生成器内ではsequenceでそれぞれ一意性を保っていることになります。 逆算してみよう 前項のような構造であることを踏まえれば、例えばIDが「9781503334645