形態素解析をして単語を取り出せているつもり・・・か？ - Qiita
「MeCabで形態素解析をして単語を抽出しましょう」とはよく見る文言ですが、いつから形態素と単語が同じものと錯覚していた？というお話です。 例として、「参考人を呼んだ」という文を形態素解析してみます。 普通の感覚では「参考人/を/呼んだ」になりますが、実際に形態素解析すると以下のようになります。 参考 名詞,サ変接続,*,*,*,*,参考,サンコウ,サンコー 人 名詞,接尾,一般,*,*,*,人,ジン,ジン を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 呼ん 動詞,自立,*,*,五段・バ行,連用タ接続,呼ぶ,ヨン,ヨン だ 助動詞,*,*,*,特殊・タ,基本形,だ,ダ,ダ 「参考/人」と「呼ん/だ」で切れています。つまり、私たちが認識する「単語」と実際の形態素は、一致する場合もあれば形態素がより細かくなる場合もあるということです。 「単語」としてのまとまり: 語の統語性 何を「単語」とす
AIはバブル、汎用人工知能はまだ先——MIT教授らが指摘
人工知能（AI）分野において近年、多くの飛躍的な進歩があったにもかかわらず、現在のAIの知能は依然として人間レベルにはほど遠い。マサチューセッツ工科大学（MIT）やスタンフォード大学の研究者たちが、現在のAIの状況を定量化して評価し、問題点を指摘する報告書を作成した。 by Will Knight2017.12.04 186 57 12 0 人工知能（AI）の進歩に世間が盛り上がっているにもかかわらず、知能を持った機械が普段の生活にいまだに使われていないことを疑問に思う人もいるだろう。 人間レベルの知能がすぐにでも実現するのではないかという期待感を、大衆や政治家、投資家に抱かせるほどの重要な進展があったのは確かだ。しかし実際の進歩の評価を試みた新たな報告書で、人間レベルの知能の実現はまだ遠い先の話であることが判明した。今後数年でAIが経済や仕事にどう影響するかという議論の参考資料として、こ
jsサイトをスクレイピングするなら、seleniumよりsplash！ - Qiita
ヘッドレスブラウザsplashが便利だったので知見を共有します モチベーション jsで構成されたサイトをスクレイピングしたいなと思い立った時、seleniumがデファクトの選択肢として挙げられると思います。 しかしseleniumの含めヘッドレスブラウザはブラウジングが入ってくるので処理がそれなりに遅くなってしまいます。大量のページをスクレイピングする用途では不向きです。 そこで、サイトをしっかりブラウジングしながらもパフォーマンスを両立するヘッドレスブラウザという要件でseleniumの代わりをさがしていたところ、splashに白羽の矢が立ちました。 splashとは scrapyの開発元であるscrapinghub社が開発しているスクレイピングに特化したヘッドレスブラウザです。 splashは他のヘッドレスブラウザとは毛色が違い、Dockerで配布されるHTTP APIです。 ドキュメ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
