結城浩とChatGPTの対話
ChatWithChatGPT.md 結城浩とChatGPTの対話 2022年12月2日 「質問」は結城浩の文章です。 「回答」はChatGPTの文章です。 質問 ChatGPTという対話するAIツールがあります。人間が質問を投げかけるとそれらしく対話して回答してくれるツールです。こういうツールに対してどんな質問を投げかけたらおもしろい対話になるでしょうかね。何かアイディアがあったら聞かせてください。具体的な質問を知りたいなあ。 回答 ChatGPTは自然言語処理能力が高いため、人間が自然に投げかける質問をそれらしく受け答えることができます。例えば、ニュースやスポーツに関する話題、人間の心理や行動、哲学的な問題、文化や歴史に関する話題など、様々なテーマについて対話することができます。また、ChatGPTを用いた対話は、人間のようなスムーズな会話のように進むことができますので、おもしろい対話
100 Must-Read NLP Papers
100 Must-Read NLP Papers This is a list of 100 important natural language processing (NLP) papers that serious students and researchers working in the field should probably know about and read. View on GitHub 100 Must-Read NLP Papers This is a list of 100 important natural language processing (NLP) papers that serious students and researchers working in the field should probably know about and rea
Google、自然言語理解（NLU）の基礎となる「SyntaxNet」をオープンソース化
米Googleは5月12日（現地時間）、機械学習システム「TensorFlow」に統合されたニューラルネットワークフレームワーク「SyntaxNet」をオープンソースで公開したと発表した。GitHubで公開されている。 自然言語理解（NLU）システムの基礎を提供するものという。SyntaxNetには、新たなモデルに学習させるのに必要なすべてのコードと、英語の文章の構文解析のためにGoogleが開発した英文解析ツールの「Parsey McParseface」が含まれる。 Parsey McParsefaceは、言語構造解析方法を学習する強力な機械学習アルゴリズム上に構築されており、文章内の各ワードの機能的役割（動詞、形容詞など）を解析できるという。Parsey McParsefaceは世界で最も正確な構文解析ツールだとGoogleは説明する。 コンピュータにとって、人間の話す自然言語はあまり
大仏がオサラギさん？間違いだらけ奈良ＨＰ （読売新聞） - Yahoo!ニュース
東大寺の大仏はミスター・オサラギ？――。 奈良市観光協会が今春更新した外国語版のホームページ（ＨＰ）に、多くの誤訳があるとの指摘を受け、協会がＨＰを一時閉鎖していたことがわかった。経費を抑えようと自動翻訳システムを使ったためで、「国際観光都市として恥ずかしい限り」と担当者は平謝り。ＨＰの再開のめどは立っていない。 寺社や伝統工芸などを紹介するＨＰは３月に模様替え。従来の英語、韓国語、中国語、フランス語のページに、スペイン語、ポルトガル語、ドイツ語、イタリア語のページを追加した。 この際、１言語で１５０万円だった翻訳の外部委託をやめて、全部で３５万円のインターネットを利用した自動翻訳システムに変え、固有名詞の読み方もあらかじめ登録していなかったことからミスが続出。確認作業も怠っていたという。 例えば英語では、東大寺の大仏を、姓の「大仏(おさらぎ)」と認識して「Ｍｒ．Ｏｓａｒａｇｉ」と
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
アイドルブログのコメント欄から見る、「君と僕の関係」 - インターネットもぐもぐ
「君と僕の関係*1」、というタイトルで、AKB48メンバーブログの“コメント欄”のテキスト分析をしました。 さながら、「ファンレター2.0」、ですよ。すごい世界。ぞくぞく。 きっかけと背景 個人的に、アイドルブログの真骨頂はコメント欄だと思ってて、わりと眺めるのがすきです。甘い愛の言葉も熱い激励の言葉も、クラスの友達かよｗってくらい軽くて近くて短すぎるコメントもまぜこぜで、あまりに混沌としていてうっとりします。すてき。距離感がめちゃくちゃ。 今、2011年（データとった当時）のアイドルとファンの関係を知りたくて、ブログの“コメント欄”だけで形態素解析をしました。あっち側の人たちの経営戦略やマネジメントの手腕は誰か偉い人がきっと分析してくれるから、わたしはもっとこっち側の、お祭に加担してる、一緒に踊らされてる人たちのことを知りたい。どんな人がいるんだろう、何を考えているんだろう、どんなことに
係り受け解析に文節の概念は必要か否か？
Zelch @zzzelch 日本語の係り受けが文節単位な件について。今やガラパゴスなんだがなぜか。京大コーパスが原因か。先行していて規模も大きいＥＤＲコーパスは単語単位だった。言語資源の設計が言語処理を決めて来たと言って良いか思案中。機械学習屋さんは興味無かろうし。 Zelch @zzzelch やっと明日の資料が出来た。言語屋さんにも機械学習屋さんにも色々できて楽しそうよ。単語単位の係り受け。文節単位はまあ、それはそれで良かったけど、不足というかサボってる感があるね。係り受けが交差したら困るとか、受身や使役の係り受けはどうすんねんとか。 Taku Kudo @taku910 @zzzelch 文節単位が妥当だと思います。かな漢字変換も単語単位より文節単位のほうが日本語の性質をよくモデル化できます。また単語単位は曖昧ですが文節は曖昧性があまりありません。単語の切り方次第でどうにでも精度を
Google Labs - Books Ngram Viewer
Here are the datasets backing the Google Books Ngram Viewer. These datasets were generated in July 2009; we will update these datasets as our book scanning continues, and the updated versions will have distinct and persistent version identifiers (20090715 for the current set). Each of the links below will directly download a fragment of the given corpus. For instance, the first hundred links below
大規模データで単語の数を数える - ny23の日記
大規模データから one-pass で item（n-gram など）の頻度を数える手法に関するメモ．ここ数年，毎年のように超大規模な n-gram の統計情報を空間／時間効率良く利用するための手法が提案されている．最近だと， Storing the Web in Memory: Space Efficient Language Models with Constant Time Retrieval (EMNLP 2010) とか．この論文では，最小完全ハッシュ関数や power-law を考慮した頻度表現の圧縮など，細かい技術を丁寧に組み上げており，これぐらい工夫が細かくなってくるとlog-frequency Bloom filter (ACL 2007) ぐらいからから始まった n-gram 頻度情報の圧縮の研究もそろそろ収束したかという印象（ちょうど論文を読む直前に，この論文の7節の
自然言語処理勉強会で「ナイーブベイズによる言語判定」を発表してきました - 木曜不足
第2回自然言語処理勉強会＠東京 にのこのこ行ってきました。 ありがとうございました＆お疲れ様でした＞各位。 今回も全然専門じゃあないのに「ナイーブベイズで言語判定」というタイトルで発表してきた。 ナイーブベイズによる言語判定 from Shuyo Nakatani 内容は、仕事で作った(←ここ重要)言語判定ライブラリの紹介。 前回の「本文抽出 using CRF」は検証プロトタイプであったわけだが、今回はオープンソースとして公開＆最終的に製品に組み込むことを目標とした代物なので、「なんか良さげな感じ〜」だと駄目。目指すのは 50言語、99.うん%。 精度を上げるためにやれることならなんでもやる、というのがミッションなので、限りなく泥臭いことの積み重ねになる。 というわけでここ2ヶ月の積み重ねを資料にしてみたら、なんか膨大になってきて、また今回もしゃべりすぎてしまった(汗 楽しんでいただけた
SimString - A fast and simple algorithm for approximate string matching/retrieval
A fast and simple algorithm for approximate string matching/retrieval SimString is a simple library for fast approximate string retrieval. Approximate string retrieval finds strings in a database whose similarity with a query string is no smaller than a threshold. Finding not only identical but similar strings, approximate string retrieval has various applications including spelling correction, fl
言語処理のための機械学習入門を読んだ - 射撃しつつ前転 改
言語処理のための機械学習入門という本が出版される、という話はtwitterで知っていたのだが、8月ぐらいに出るのだろうとばかり思っていたら、なんかもう発売されているらしい。Amazonでは早速売り切れていたので、某大学生協の書籍部まで行って購入してきた。おかげで、この週末は280円で過ごすハメになってしまった。 まだざっと眺めただけだが、 ラベルを人手でつけるのに隠れマルコフモデルと言うのは本来はちょっとおかしいんだけどNLPの分野だとそう表現する事が多いよ 対数線形モデルと最大エントロピーモデルは同じものだよ 出力変数の間に依存関係がなければCRFではなく対数線形モデルとか最大エントロピーモデルと表現するべきだよ といった、これまでの教科書にはあまり載っていなかったような事が載っているのはとても良いと感じた。こういった情報は、これまではどこかの大学の研究室で学ぶか、もしくはウェブ上の資料
テキスト解析 - Yahoo!デベロッパーネットワーク
LINEヤフーが提供するテキスト解析WebAPI 日本語形態素解析 日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。 かな漢字変換 ローマ字、ひらがなの文を文節に区切り、変換候補を提示します。短い文字列から変換候補を推測するモードも提供します。VJEと同じ方式のかな漢字変換です。 ルビ振り 漢字かな交じり文に、ひらがなとローマ字のふりがな（ルビ）を付けます。 校正支援 日本語文の校正作業を支援します。文字の入力ミスや言葉の誤用がないか、わかりにくい表記や不適切な表現が使われていないかなどをチェックします。 日本語係り受け解析 日本語文の係り受け関係を解析する機能を提供します。 キーフレーズ抽出 日本語文を解析し、特徴的な表現（キーフレーズ）を抽出します。 自然言語理解 日本語文を解析し、情報の抽出を行う機能を提供します。 固有表現抽出 日本語文を解析し
第1回 機械学習 ことはじめ | gihyo.jp
次のサービスや製品はどれも身近にありますが、これらに共通していることはなんでしょう。 Amazonの「この商品を買った人はこんな商品も買っています」 はてなブックマークの「関連エントリー」 Google 翻訳 Google 日本語入力 メールクライアントのスパムフィルタ デジタルカメラの自動顔認識 ニンテンドーDSの手書き文字認識 買い物履歴、ユーザが書いたコメントやタグ、Webに無数にあるページ、メール、画像や動画と対象はそれぞれ異なっていますが、どれも「データから有益な情報を取り出す」ということを行っています。 これらは「機械学習」という技術を使って実現されているのです。 機械学習の応用範囲 機械学習は冒頭で挙げた以外にも、様々な分野で使われています。 例えば、ノイズ除去や特徴の抽出を目的とした利用パターンがあります。音声認識や画像認識、文字認識（OCR）などはその代表格です。それらも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック 2015
GitHub - takuyaa/kuromoji.js: JavaScript implementation of Japanese morphological analyzer
Amazon.co.jp: 自然言語処理の基礎: 学,奥村: 本
Google Code Archive - Long-term storage for Google Code Project Hosting.
http://aaatxt-gae.appspot.com/soramegraph
Baidu Japan（バイドゥ株式会社）