spaCyを使ってルールベースの記述をシンプルに！ - Qiita
この記事は自然言語処理アドベントカレンダー 2019の12日目です。 昨今自然言語処理界隈ではBERTを始めとする深層学習ベースの手法が注目されています。 一方それらのモデルは計算リソースや推論速度の観点で制約が大きく、プロダクション運用の際は留意すべき事項を多く持ちます。 （googleが検索にBERTを導入というニュースを見た時はとても驚きました） そこで本記事では自然言語処理タスクのシンプルかつ運用しやすい実装方法を考えていきます。 実装にはpythonと以降説明するspaCyとGiNZAの2つのライブラリを使います。 環境: ubuntu18.04 python 3.6.8 ライブラリインストールはpipから行います pip install spacy pip install "https://github.com/megagonlabs/ginza/releases/downlo
東ロボくんの生みの親《新井紀子》教授の間違いが明らかになった日。人間は人工知能に読解力でも負けつつある - Togetter
sangmin.eth @ChoimiraiSchool @gijigae アリババの人工知能チームが @Stanford 大学の読解力テストで人間に始めて勝ったのが、今年の1月。スコアは、 ・人：82.304 ・AI：82.44 グーグルの《BERT》でトレーニングさせた人工知能のスコアは何と、87.433！10カ月で5ポイントも上げている。人間とマシン、読解力の差は今後更に広がる🤖。 twitter.com/GoogleAI/statu… 2018-11-03 16:51:29 Google AI @GoogleAI We have released @TensorFlow code+models for BERT, a brand new pre-training technique which is now state-of-the-art on a wide array of
Python初心者が1時間以内にjanomeで形態素解析できた方法 - Qiita
Python初心者（プログラミング未経験者含む）が1時間以内に何らかの文章（複数可）をPythonのjanomeで形態素解析する方法、解析した語彙の出現頻度を調べる方法を紹介します。 準備するもの： パソコン、形態素解析したい文章・語彙の出現頻度を調べたい文章 環境： windows7,Python3.6.2, janome0.3.3 mac等でできなかったらすいません。 活用例: メルマガやブログのタイトル・本文に含まれるワードの出現頻度調査(効果が高い・低いメルマガ・ブログはどんなワードが多く含まれているか) ※今回、エクセルから文章を読み取って形態素解析します。エクセルは1列目しか使用しませんが、複数行の登録も可能です。文章の量にもよりますが、2万行くらいいけます。（1列目にばーっと下へ文章が並ぶイメージ。一文でも可） 1列目(1行目から文章をいれてください) Pythonインストー
Slackを一句BOTで風流に - pixiv inside [archive]
おはようございます。プログラマーのhakatashiです。 普段はpixivコミックやpixivノベルの開発を手伝っています。が、今回はそれとは全く関係ないSlackの話をします。 一句BOTとは みなさんSlackは使っているでしょうか。普段から業務にプライベートにと幅広くSlackを使っていると、メンバーの何気ない一言に“一句”を感じることがあります。 風流ですね。 pixivにはこのような日常に潜む和の心を大切にする風雅なエンジニアが多いので、平安貴族よろしく日常会話や業務連絡に5・7・5の形の川柳を混ぜて会話します。とても優雅ですね。 ですが、上の画像のような完全に日常に溶け込んだ野生のステルス一句は、誰にも気づかれずにログの彼方へ流れていってしまうことも多いようです。そこで、Slackのメッセージから自動で一句を検出してReactionをつけるBOT、slack-ikkuを(1時
![Slackを一句BOTで風流に - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/2b14f3e0d715d9c4f755aae52c99a90da8f109af/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhakatashi%2F20160705%2F20160705163521.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIテキストマイニング by ユーザーローカル
Cloud Natural Language | Google Cloud
python で形態素解析。Janome が簡単。pip 一発でインストール | コード７区