Pythonで始める自然言語処理の基礎の基礎 | クリエイターのための総合情報サイト CREATIVE VILLAGE
PythonはAIや機械学習領域のライブラリを豊富に持っており、近年非常に高い人気を誇っています。今回はPythonを使用して自然言語（人間が読み書きする言語）を処理する方法ご紹介します。 近年、自然言語処理の領域は急速に発展しており、機械翻訳（英語から日本語の翻訳等）の精度も年々向上しています。今回はその自然言語処理の基礎の基礎の部分をお伝えし、Pythonで処理する方法をご紹介いたします。 合田 寛都（ごうだ・かんと） 株式会社メンバーズ メンバーズデータアドベンチャー データアナリスト メンバーズに新卒入社後大手企業のWEBサイト運用やアクセス解析等に従事。メンバーズデータアドベンチャーに異動し、クライアント企業にデータアナリストとして常駐。 自然言語とは？ 自然言語とは人間が日常的に読み書きする、所謂普通の言語のことを指します。これと対比されるのが機械語やプログラミング言語で、Py
ツイート中の頻出キーフレーズと連想語から関心事を可視化する実験: Twitter Streaming API→Yahoo API→各種補完API→Gephi - NO_WAIT_FOREVER
Twitter Streaming APIを使用して自分のツイートを取得し、頻出語を調べることを思い立ちました。 Twitterアカウントを通して見た自分の関心事がどんなものであるかを調べ、 どれくらい当たっているかを見る遊びでしたが、結果は当たらずといえども遠からずといった程度でした。 既存のサービスを呼び出すだけのプログラミングであり、 簡単に実装できると思いきや、コード量は思ったより多くなり苦労しました。 この記事では、使用したライブラリやAPIの備忘録を兼ねて、プログラム例とツイートの解析結果可視化例を紹介します。 実験の概要 下記の流れで実験しました。自分のTweet中のキーフレーズだけでは面白くないので、 ちょっと血迷ってGoogleなどが提供する補完サービス(いわゆるサジェスト)の結果を 「連想語」として利用することを考えました。 Twitter Streaming APIを
人工言語で自然言語を解析する楽しみ――『入門 自然言語処理』：晴読雨読＠エンジニアライフ：エンジニアライフ
入門 自然言語処理 Steven Bird、Ewan Klein、Edward Loper （著） 萩原正人、中山敬広、水野貴明 （翻訳） オライリージャパン 2010年11月 ISBN-10: 4873114705 ISBN-13: 978-4873114705 3990円（税込） ■自然言語処理とは 「自然言語処理」（NLP：Natural Language Processing）という言葉をご存じだろうか。自然言語処理は、コンピュータの用途の1つとして、古くから研究されてきたジャンルである。 言葉を分割して考えてみよう。「言語」は自明であるとして、「自然言語」とは何か。 「自然言語」とは、人間が日常のコミュニケーションを取るために使う「言葉」である。単に「言語」といえば、一般的には英語や日本語など自然言語のことを指すことがほとんどだろう。まあ、エンジニアが「言語」という場合はRuby
入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUD
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり基本的なことからそこそこ高度なことについて解説されてあり，自然言語処理について理解が深まり過ぎる ボリュームがあるのに書き方が平易でついつい読みふけってしまう 演習問題があり，自分の理解度を確かめられたりするのもケシカラン 原著は欧米語のための言語処理について書かれた書籍なのに，日本語の形態素解析などについても解説してあって我慢できない 必要ライブラリのインストールなど環境構築に時間が取られそうでヤバい 書籍の応用でBotとか人工無能とか作ったらどうかな−，と
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析Webサービス」[2007-06-18-1] で試すことができ
第20回 日本語でおk | WIRED VISION
第20回 日本語でおk 2008年3月 3日 IT コメント： トラックバック (0) （これまでの増井俊之の「界面潮流」はこちら) DOS(プロンプト)でもWindowsでもUnixでも英語のコマンドラインが利用されていますし、ほとんどの計算機プログラムやコマンドでprintのような英単語や英語的な語順が使われています。たとえば、ある値の平方根を計算して表示するプログラムをRubyで書くと print sqrt(X) のようになります。Rubyに限らずJavaでもCでも数式や表示の指示に関しては似たような形式が使われることが多いですが、これは display the square root of X のような英文をそのままの語順で計算機言語に変換した形式になっていますし、printやsquareのような英単語がほぼそのままプログラミング言語で利用されていますから、この例で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
