自然言語系AIサービスと著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
第1 はじめに 自然言語処理技術の発展に伴い、自然言語AIを利用したサービスが大変盛り上がっています。 たとえば、検索、要約、翻訳、チャットボット、文章の自動生成、入力補完などのサービスで、近いところで有名なのは、2020年にOpenAIが発表した「GPT-3」ですかね。これは約45TBにおよぶ大規模なテキストデータを学習し、あたかも人間が書いたような文章を自動で生成することが可能な自然言語モデルです。 【参考リンク】 自然言語処理モデル「GPT-3」の紹介 進化が止まらない自然言語処理技術ですが、事業者が自然言語AIを利用したサービス（＊ここでは、データの処理がクラウド上で自動的に行われるサービスを前提とします）を提供する際に検討しなければならないことは、大きく分けると、学習済みモデルの構築フェーズの問題と、モデルを利用したサービス提供フェーズに関する問題に分かれます。 このうち、モデル
言語コーパスガイダンス コーパス開発センター -Center for corpus development-
コーパスのつくり方 構築するコーパスの目的や用途により、つくり方はいろいろありますが、ここでは『現代日本語書き言葉均衡コーパス』を例につくり方を紹介します。 1. サンプリングの方法 コーパスに採録するサンプルは無作為に選ばれます。 例えば書籍の場合、1986年から2005年の間に出版された書籍を対象として、そこから無作為に約30,000サンプルを選び出しました。 実際にサンプリング作業を行うと、ある本のあるページのある文字が選ばれます。これをサンプリング点と言います。 コーパスには、サンプリング点を含む２種類のサンプルを格納します。 2. サンプルの作成 １）コーパスに採録する部分を確定します サンプリング点が決まったら、実際に採録するサンプルの範囲を確定します ２）著作権処理を行います 各サンプルについて、著作権処理を行います。使用許諾が得られなかったものは、採録されません。 ３. サ
概要 国語研日本語ウェブコーパス（NWJC）
データの構築手法について ウェブアーカイブの構築で用いられる Heritrix クローラを運用することで1年間にわたって3か月おきに、固定した約1億URLのウェブページを収集しました。 得られたウェブページはnwc-toolkitを用いて、日本語文抽出と正規化を行いました。 コピーサイトの問題を緩和するために、文単位の単一化（文の異なりをとること）を行いました。 形態素解析器MeCab-0.996 と形態素解析用辞書UniDic-2.1.2を用いて形態素解析を行い、 さらにUniDic 主辞規則に基づく係り受け解析器CaboCha-0.69により係り受け解析を行っています。 参考文献について 『国語研日本語ウェブコーパス』 国際論文誌： Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, Hikari Konishi (20
情報学研究データリポジトリ ： 「Yahoo!知恵袋データ（第2版）」
「Yahoo! 知恵袋データ（第2版）」 国立情報学研究所がヤフー株式会社から提供を受けて研究者に提供しているデータセットです。 【お知らせ】 「Yahoo!知恵袋データ（第2版）」の利用申請は2018年10月31日をもって受付を終了いたしました。 現在提供中の「Yahoo!知恵袋データ（第3版）」については，こちらのページをご覧ください。 2018/10/31 現在 データ概要 「Yahoo!知恵袋」とは，質問したい人と回答したい人をむすび，知恵と知識を参加者同士で共有することを目的として，2004年4月からヤフー株式会社が提供している日本最大の知識検索サービスです。 本データは，「Yahoo!知恵袋」において下記の期間に解決済みとなった質問と回答を，ヤフー株式会社が「ヤフー知恵袋」のデータベースから抽出したものです。 期間：2004年4月－2009年4月 質問数：約1600万 回答数：
Wikipediaを元にした単語辞書に頒布義務はあるのか？ キュレーションサービスを巡る法的論争。 - Qiita
結論 頒布義務があるようです。形態素解析用の単語辞書をご提供いただき、ありがとうございました。 考察 キュレーションサービス（ニュースアプリ。Webコンテンツを集めてユーザーにオススメするサービス）は、Webコンテンツを分類する為に内部で辞書を持っています。その辞書をもとにコンテンツの文章を単語に分け、その単語群からそのコンテンツの特徴を把握します。この辞書はキュレーションサービスにとって、ビジネスの要であると言えます。なぜならば、正確に単語を分ける事ができるのならば、後は定番の機械学習アルゴリズム（ex.Complement Naive Bayes）にかけるだけである程度の精度の分類は行えるからです。先の辞書は秘伝のタレに比喩される事も多いです。 さて、その辞書ですが、世の中で最も多く使われているのはWikipediaのデータセットを元にしたものです。Wikipediaの記事のタイトルは
コーパス言語学 - Wikipedia
実際に使用された言語資料の集成を『コーパス』と呼ぶが、最近では特に電子化された言語資料のことを指す。そのコーパスを利用して、より実際的な言語の仕組みを探る学問がコーパス言語学である。 チョムスキーの生成文法が言語能力[1]を調査対象とするのに対し、コーパス言語学は言語運用[2]に焦点を当てる。ある言語事象をリサーチクエスチョン（仮説）として設定し、それをコーパスデータに基づいて記述する。その後、その仮説を検証し、それに基づいて新たなリサーチクエスチョンを設定するという研究サイクルが一般的である。 コーパス言語学の発展によって、人間が使用する言語の殆どが「決まり文句の組み合わせである」ことが分かってきた[3]。 日本においては、日本語研究（日本語学）の分野においては、コーパスという名称を使わないものの、コンピュータ利用による言語資料の研究は、比較的早くから行われてきた。一方、ヨーロッパ系の言
概要 現代日本語書き言葉均衡コーパス（BCCWJ）
ホーム 現代日本語書き言葉均衡コーパス（BCCWJ） 概要 概要 Introduction to BCCWJ 『現代日本語書き言葉均衡コーパス』(BCCWJ)は、現代日本語の書き言葉の全体像を把握するために構築したコーパスであり、現在、日本語について入手可能な唯一の均衡コーパスです。書籍全般、雑誌全般、新聞、白書、ブログ、 ネット掲示板、教科書、法律などのジャンルにまたがって１億430万語のデータを格納しており、各ジャンルについて無作為にサンプルを抽出しています。 すべてのサンプルは長短ふたつの言語単位を用いて形態素解析されており、さら に文書構造に関するタグや精密な書誌情報も提供されています。著作権処理も施されていますので、安心して使っていただけます。 『現代日本語書き言葉均衡コーパス』はオンラインおよびDVDにて二通りの方法で公開しています。商業目的での利用をご希望の場合は、個別に検討
日本語話し言葉コーパス（CSJ）
2020.06.01 有償版コーパスの契約及び問合せ対応を再開しました。... 2020.04.07 【重要】有償版コーパスの契約及び問合せ対応を一時停止します。再開は6月を予定しています。... 2018.01.17 『日本語話し言葉コーパス』第6刷の受付を開始しました。... 2017.02.15 検索アプリケーション『中納言』での一般公開を開始しました。... 2016.09.01 検索アプリケーション『中納言』での試験公開を開始しました。... 2016.06.22 『日本語話し言葉コーパス』第5刷の受付を開始しました。... 2015.05.27 『日本語話し言葉コーパス』第4刷の受付を開始しました。... 2015.01.16 【重要】CSJの利用申請受付を一時中断いたします。年度内に入手を希望される方は、1月30日（金）【必着】までにお申し込みください。... 2014.02
Penn Treebank Project
The Penn Treebank Project annotates naturally-occuring text for linguistic structure. Most notably, we produce skeletal parses showing rough syntactic and semantic information -- a bank of linguistic trees. We also annotate text with part-of-speech tags, and for the Switchboard corpus of telephone conversations, dysfluency annotation. We are located in the LINC Laboratory of the Computer and Infor
Bank of English - Wikipedia
This article relies largely or entirely on a single source. Relevant discussion may be found on the talk page. Please help improve this article by introducing citations to additional sources. Find sources: "Bank of English" – news · newspapers · books · scholar · JSTOR (April 2018) The Bank of English (BoE) is a representative subset of the 4.5 billion words COBUILD corpus, a collection of English
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sign in - Google Accounts
http://bonten.ninjal.ac.jp/
258億語の日本語コーパスをウェブで公開～国立国語研究所 言語研究や自然言語処理技術開発での基礎資料
自然言語データに関する情報 - NAIST Computational Linguistics
https://www.anlp.jp/proceedings/annual_meeting/2013/pdf_dir/X1-2.pdf
SpiderLing – Corpus tools
jpTenTen – Sketch Engine
nezuq on Twitter: "某ハッカドールの形態素辞書のライセンスが興味深い。Wikipediaを元にした場合、辞書のライセンスはCC-BY-SAになる。SAは頒布した時の条件で頒布義務はない？ 義務あったら歓喜。/捗るリコメンドシステムの裏事情（ハッカドール） http://t.co/vxmLsHncSy"
http://www2.nict.go.jp/out-promotion/techtransfer/EDR/J_index.html
Switchboard-1 Release 2 - Linguistic Data Consortium