さて、今回はPythonによるword2vecの実践編です！ word2vecって何？？という方は、こちらの記事を一読してから本記事に入って頂くといいかと思います。 www.randpy.tokyo (こちらとても高評価頂いております。ありがとうございます！！） 上のリンク先でも書きましたが、簡単にまとめると、word2vecを使うことで単語の意味をベクトル表現化することができます。 単語の意味をベクトル表現できると、 近い意味の単語を調べる 単語同士の意味を足したり引いたり といった嬉しいことが実現できます。 ということで今回は、タイトルにもある通りJK用語の代表格である”マジ卍”という言葉の意味を、word2vecに聞いてみたいと思います。 本当は"マジ卍"の意味を直接JKに聞きたいのですが、JKの知り合いも当然いないですし……まぁここは頭を使ってデータを使えばなんか分かるっしょという

自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすことなく、また何の目的もなくブログを分析してみることにしました。今回は以前から興味のあった機械学習を用いたブログの文章の分析・可視化（テキストマイニングと呼ばれるらしいです）にチャレンジしてみることにしました。どちらかというとテキストマイニングが主で、使用する素材（学習データ）に困ったので仕方なく自分のブログを使ってみたというのが正直なところです。 ネットでコピペすりゃ簡単にできるだろと思っていたのですが、自分のやりたいことするのはそれなりに大変だったので、知見としてやり方とどんなことが分かるのかを残しておきます。 ブログのテキ

(誤字脱字が目立ったので、修正しました。。) 3つのレコメンド系アルゴリズム 協調フィルタリング fasttextでの購買時系列を考慮したアイテムベースのproduct2vec(skipgram) アイテムベースのtfidfなどの類似度計算を利用したレコメンド 1. 協調フィルタリング 協調フィルタリング自体は簡潔なアルゴリズムで、実装しようと思えば、簡単にできる類のものであるように思えるのですが、製品と製品の類似度を計算するのに、その製品を購入したユーザをベクトル列としてみなすと割と簡単に計算できます[5]。世の中のコンテンツはユーザの関連度の計算の方が多い気がしますが、今回はアイテムにひもづくユーザをベクトルにします 例えば、今回はbookmeter.comさまのユーザの読んだ本情報を用いて、一人のユーザを一つのユニークな特徴量としてみなすことで、本同士の関連度が計算可能になります A

こんにちはアドバンストテクノロジー部の@y-matsushitaです。 今回は高度な知識や大量の教師用データが不要で始めることができる、 Google Natural Language APIを使った感情解析を試してみたのでご紹介します！ Google Natural Language APIとは Googleが提供する自然言語処理の機械学習モデルです。テキストの構造と意味を解析できます。 SNSやECサイトに寄せられたコメントから製品に対するセンチメント（感情）を把握したり、顧客満足度を分析したりすることができます。 動作サンプル WEB上で動かせるサンプルがあります。 ひとまず「Try the API」の箇所に任意のテキストを入れて試してみましょう。 現在は下記の3つ、Entities, Sentiment, Syntaxが日本語で利用可能です。 （Categories（テキストのカテ

こんにちはアドバンストテクノロジー部の@y-matsushitaです。 今回は機械学習を使った取り組みとして、手始めにfastTextを使ったテキストの分類について触れたいと思います。 fasttext.cc fastTextとはFacebookが提供する単語のベクトル化とテキスト分類をサポートした機械学習ライブラリです。 fastTextという名前の通り動作が軽く早いのが特徴です。試しに使ってみたところ精度も良好で動作も軽かったのでご紹介させていただきます！ 今回は試しに様々な情報が入り混じったTwitterの投稿内容を分類して「美容系」「エンタメ系」「暮らし系」情報の3パターンに分類してみます。 なお今回の記事ではPython 3.6.1を使用します。 fastTextを使ってできること まず最初にfastTextを使った結果をお見せします。 『分類前』が処理前で『分類後』がfastT

先日、七ツ石小屋のすぐ下で、 急病で倒れた方がいらっしゃいました。 病院に運ばれましたが、残念ながら死亡が確認されました。 突然のことで、ご本人も思い残すことがたくさんおありだったでしょうし ご家族もとてもお辛いと思います。 心よりご冥福をお祈りいたします。 ここにこの日の経緯を書き残しておきたいと思います。 6月16日 13時頃、 ツアー会社のガイド付きパーティ(お客様6名、ガイド2名)のうち ガイドの方1名が、 七ツ石小屋から3分ほど下の地点で急に倒れ、意識不明。 パーティ員の方がすぐに119番に通報。 通りかかった大学生パーティの一人が小屋に知らせにきて、 小屋番がAEDを持って駆けつけました。 AEDでショックを与えましたが心拍は戻らず、 人工呼吸と心臓マッサージを実行。 この日は小雨が続き、濃いガスに包まれていたため ヘリコプターが飛べない、との知らせ。 警察の一人目の方が小袖か

はじめに 文書分類マスターを目指して修行の旅に出るために必要そうな知識を、ざっとメモしておく。(かなり雑だけど・・・) 文書分類とは テキスト分類、Text Classification あらかじめ決められたカテゴリ集合に基づき、与えられた文書に適切なカテゴリを付与する事 排他的分類 : 1つのテキストにカテゴリを1つだけ付与される場合 マルチラベル分類 : 1つのテキストに複数のカテゴリ付与を許す場合 基本的には、目的の分類をどのような分類手法に落とし込むか？を考えることになる 主なアプローチとして、以下のような流れで処理する(教師あり分類) 学習データから素性(なんらかの特徴)を抽出し、それらの規則を見つけだす 規則に基づく分類モデルを作成 未知の文書に対して素性を抽出したものにモデルを適用し、分類結果を返す 利用例 内容に関する分類 ニュースジャンル分類 SPAMフィルタ 属性に関す

テキスト分類とは、テキストとそれに対するカテゴリーや極性（ポジティブかネガティブか)があり、カテゴリーをラベルとして解く分類問題です。ここでは、テキスト分類の基本を大雑把に書き、tensorflowによるニューラルネットモデルが超かんたんに作れることを書きます。 2018/06/23: 追記 dataset.csvに"category"というカラムがないようです。おそらく、私がtypeというネーミングがデータ型みたいな感じで嫌でcategoryに変えていたのを忘れていたのだと思います。また、dataset.csvを読み込むときに、もしかしたらencodingをlatin1に指定して読み込む必要があるかもしれません。 テキスト分類の方法とそれぞれの利点 テキスト分類の従来的な方法は、テキストから素性抽出をします。特徴量設計は工夫次第で色々考えられますが、例えば素性には以下のようなものを考える

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

ブロック塀の危険性が認識されるきっかけは、１９７８年６月に発生した宮城県沖地震だ。同県によると、倒壊が相次ぎ、１８人が犠牲になった。この地震を教訓に、８１年の建築基準法改正に併せ、塀の高さの上限は３メートルから２・２メートルに下げられた。 だが、その後も対策が不十分なブロック塀は多く、２００５年３月の福岡沖地震で倒壊によって１人が死亡。１６年４月の熊本地震では益城（ましき）町で２人が下敷きになり、１人が死亡した。 教育現場での対策はどうか。文部科学省はこれまでも校舎や体育館の耐震化を促し、取り組みの状況を調査。１７年４月現在、公立小中学校の約１１万６千棟の建物のうち９８・８％が耐震化されていたほか、講堂などの「つり天井」の落下防止対策も９７・１％の建物で済んでいた。 しかしブロック塀は、この調査の対象外だった。 高槻市教委によると、倒壊した寿栄小のブロック塀は地面からの高さが全体で３・５メ

Pね。 数か月分を紹介料として寄越せとさ。 あんたらとの契約期間が終わってからやるって言ってるんだから、 あんたらもう関係ないでしょ？ 今までさんざん何もしないで間に入って甘い汁吸ってきたくせに、 最後の最後になってまだ欲かくの？ そうやって余計なコストかけることで 採用されにくくする狙いもあるんでしょ？ 飼ってるだけで吸い続けられる奴隷だもんね、 そりゃあ手放したくないよね。 ほんと奴隷商人なんだなー。 そういえば無期雇用転換の件も、 スタッフから言い出さないかぎり 何も教えないし通知しないつもりなんだってね。 Aさんとこは積極的に動いてるのにね。 あーやだやだ。

サッカーワールドカップ初出場の人口35万のアイスランドでは、初戦の視聴率が国内で99％を超えていたと、アイスランドサッカー協会が発表し、ほぼすべての国民が熱狂して試合を観戦した様子がうかがえます。 前回大会でＭＶＰのメッシ選手のペナルティーキックで得点を許さないなど、強豪相手に１対１の同点に持ち込んで初の勝ち点１を獲得し、各国のメディアでも善戦が大きく取り上げられました。 アイスランドサッカー協会は、このアルゼンチン戦の国内での視聴率が99.6％を記録したと明らかにしました。 アイスランドの人口はおよそ35万、東京・新宿区と同じ程度で、ほぼすべての国民がテレビで試合を観戦したとみられています。

ブロック塀の損傷状態を調べる東北工大の学生。災害時の倒壊リスクが懸念されている＝２０１４年、仙台市内（東北工大提供） 大阪府北部地震で、ブロック塀の倒壊による犠牲者やけが人が相次いだ。被害を防ぐ対策は１９７８年に起きた宮城県沖地震の教訓の一つだが、地震から４０年を経ても不十分なままだ。県内でもいまだ１００カ所以上で危険な塀の放置が確認されており、専門家は継続的な対策の必要性を訴える。 （報道部・小沢邦嘉） ７８年の宮城県沖地震で犠牲となった２８人のうち、ブロック塀や石塀、門柱の倒壊による死者は１８人だった。２０１１年の東日本大震災では倒壊による死者は確認されなかったが、地震の揺れで損傷した塀も多いとみられ、次に地震が起きた際の被害拡大が懸念されている。 仙台市によると、学校など災害時の避難施設の半径５００メートル内か、公道に面する住宅のブロック塀のうち、１７年度末時点で少なくとも２４カ所が