ツイートの時間帯をヒートマップで可視化 - 唯物是真 @Scaled_Wurm
Pythonでヒートマップを描く方法の記事を書こうかと思ったけど、細かく説明するといろいろとめんどくさそうだったのでとりあえず実際にやってみた可視化だけ書いておく Twitter APIで自分のツイートを適当に3000件ぐらい取ってきてツイートした時刻と曜日を抽出してカウント、それを可視化用のライブラリseabornのheatmap関数でグラフにした heatmap関数にはnumpyのarrayやpandasのDataFrameを渡せばよい seaborn.heatmap — seaborn 0.7.0 documentation ちなみにseabornではなくmatplotlibを使うならhist2d関数やimshow関数などを使えばよさそう matplotlib.pyplot.hist2d 結果 というわけで月から金の平日は昼と夜にツイートが多くて、土日は午後にまんべんなくツイートして
Isomapで東方キャラの関連性のデータを二次元に可視化する - 唯物是真 @Scaled_Wurm
昨日の記事で得られた東方キャラ同士の関連性の強さ(NPMI)を使って、Isomapという手法でキャラを二次元上に配置して可視化します 東方キャラの関連性の強さをニコニコ動画の動画数で測ってみた - 唯物是真 @Scaled_Wurm Isomapの概要 Isomapは非線形次元削減、あるいは多様体学習の手法の一つです Isomap - Wikipedia, the free encyclopedia 非線形次元削減では、与えられたデータの元の次元数での情報をできるだけ失わないように、より低次元に埋め込みます 多くの手法では元のデータでの近傍(近いデータ点)や距離を保存するような埋め込みを行います 最近流行りのニューラルネットワークも内部では非線形次元削減的なことをしていて、単語を密なベクトルに変換するword2vecなどは、単語同士の意味の足し算引き算がうまくいくことがあっておもしろいです
pyqueryでHTMLからデータを抽出 - 唯物是真 @Scaled_Wurm
pyqueryはjQueryと同様にHTMLの操作ができるPython用のライブラリです。 PythonでHTMLからのデータ抽出といえばBeautiful Soupの名前をよく見かけますが、jQueryを知っている人にはこっちの方が使いやすいと思います。 内部的にはlxmlを使用しているので以下の記事などでlxmlの使い方にも軽く目を通しておいたほうがいいかもしれません。 Python(lxml)でhtmlを処理する まとめ - Gentleちゃれんじ Tips "pip install pyquery"などでインストールできると思います 動かすにはlxmlが必要になります。入ってない場合にはそちらもインストールが必要かもしれません。 Python 3でも動くらしいです 使い方の簡単な例 PyQueryクラスにHTMLの文字列やURLを与えれば、jQuery風のオブジェクトとして利用でき
ニコニコ動画のコメントの投稿日時の分布 - 唯物是真 @Scaled_Wurm
下の論文が最近はてなとかTwitterとかで話題になりました CiNii 論文 - マイクロブログの投稿時間に着目したユーザの職業推定に関する研究 「そういえば昔ニコニコ動画のコメントの投稿時間を調べて下書きに放り込んでおいたなー」と思い出したので公開 例のごとくニコニコ動画のデータセットを利用して調べます 情報学研究データリポジトリ ニコニコデータセット 動画ごとに以下のような1行1コメント(JSON)の形式になっています {"date":1218555948,"no":1,"vpos":1507,"comment":"\u30d2\u30e3\u30c3\u30cf\u30a1\uff01","command":""} dateの部分が投稿時間(UNIX時間)になっています Pythonなら以下のようなコードでdatetime形式に変換できるので、あとは簡単に日時の情報を取り出せます
Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm
gensimは前に以下の記事でも使ったPython用のトピックモデルなどの機能があるライブラリです。 小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm 以前紹介した以下の論文でもgensimが使われていました 論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm deep learningで話題になったword2vecの機能も取り入れてたりして面白いライブラリです Radim Řehůřek : Deep learning with word2vec and gensim 入力の作り方がすこしわかりにくいかなぁと思ったので、メモっておきます。 コーパスの作り方 以下の公式の例で説明します この例ではリスト内のそれぞれの要素が1つの文書となります
論文紹介 “Discriminative Learning with Natural Annotations: Word Segmentation as a Case Study” (ACL 2013) - 唯物是真 @Scaled_Wurm
"Discriminative Learning with Natural Annotations: Word Segmentation as a Case Study" (pdf) 研究室で論文紹介したので以下に資料を貼っておきます。 図表は論文中から引用しています 何故か研究室での論文紹介は、資料が英語で口頭説明が日本語なので、以下では日本語の説明を加えました。 英語が間違っている部分があると思いますが、コメントで指摘なりスルーするなりしてください。 スライドはこうした方がいいとかもあったらぜひ。 論文紹介 概要 中国語の単語分割がこの論文のタスク。 中国語や日本語などの言語では、単語の区切りに空白を入れていないため、文字列を単語に分解する処理が必要になる。 これらのタスクでは人手による教師ありデータが必要になることが多いが、そのようなデータの構築や更新には大きなコストがかかる この研
小説家になろうの作品タイトルは長文化しているのか？ - 唯物是真 @Scaled_Wurm
いささか旧聞ですが「ライトノベルのタイトルが長文化しているのではないか？」という話題がありました ラノベタイトルの文字の長さ決着編 - World Digger 2013年発売のラノベタイトルの割合を出してみた - Togetter Web小説投稿サイトである小説家になろうは、最近作品がいくつも書籍化されて話題になっています Web小説もライトノベルからも大きな影響を受けていると考えられるので、同様にタイトルの文字数の増加が起きているのではないかと思って調べてみました データの収集方法 小説家になろうでは以下のようなAPIが公開されていて、本文などを除いた一部の情報については簡単に取得することができます なろう小説API - なろうデベロッパー なろう18禁小説API - なろうデベロッパー 例えば次のURLにアクセスするとその下のような結果が帰ってきます http://api.syose
小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm
小説家になろうというWeb小説投稿サイトがあります。 いわゆるライトノベル的な作品が多いのですが、近年書籍化される作品が多く出ていて注目を集めています。 続々と「小説家になろう」から書籍化作品が登場！ - フラン☆Skin はてな支店 小説を読もう！ || 小説ランキング[累計]の上位100件を解析して、どんな作品が多いのか調べてみました。 解析手法 トピックモデルというものを用います。 これは文書が何のトピックを含むかを推定してくれるモデルで、他にもトピックの代表的な単語などもわかります。 Pythonでトピックモデルを使えるライブラリの一つであるgensim: Topic modelling for humansを使います。 gensim gensimはLDAやLSIなど複数のトピックモデルを実装しています。 今回はLDA(Latent Dirichlet Allocation)という
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
