サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ノーベル賞
www.jaist.ac.jp/~kshirai
1 自然言語処理論I 4.文法2(構文解析) その1 2 構文解析 syntactic analysis, parsing 文の構文的な構造を決定すること 句構造文法が使われることが多い 文法による構文木は一般に複数ある 構文木の違い=解釈の違い 構文解析の目的 句構造文法の規則を使って,文を生成できる構文 木を全て見つけだすこと 文法が入力文を生成できるかどうかを調べるだけではない 3 構文解析とは 構文木の違い=解釈の違い NP PP NP NP VP NP S pron I I broke broke v det a a n desk desk prep with with det a a n drawer drawer (hammer) (hammer) NP PP NP VP NP S pron I I broke broke v det a a n desk desk prep
1 11. テキスト処理 (コーパスの処理) 自然言語処理論 I 2 例文集 実際に使用されている例文を大量に集めたもの テキストコーパス 文章を集めたもの 新聞記事、雑誌、小説、辞書など 音声コーパス 音声データを集めたもの 対話、インタビュー、講演など コーパス(corpus)とは? 3 昔 機械可読データを集めること自体が困難 コーパスの量が重視された 今 電子化文書の普及 新聞記事、レポート、ウェブ文書、blog コーパスにどのような付加的な情報をつけるかと いうことに重点が置かれている 注釈付きコーパス(annotated corpus) 量から質へ 4 コーパスに情報を付加したコーパス 主なもの (平文コーパス) 品詞タグ付きコーパス 単語の品詞 単語境界 構文構造付きコーパス 文の構文木 文節の係り受け関係 注釈付きコーパス 5 主なもの 語義タグ付きコーパス 単語の語義 パ
1 自然言語処理論I 4.文法2(構文解析) その2 2 一般化LR法(GLR法) LR法 決定的な構文解析アルゴリズム プログラミング言語などの解析 LR(k)文法 k語の先読みにより,決定的になる文法 全てのLR(k)文法はLR(1)文法に変換できる CFGはLR(k)文法ではない 一般化LR法(generalized LR Method) LR法を非決定的アルゴリズムに拡張 3 LR法による構文解析の流れ LR表の作成 FIRST関数,FOLLOW関数の計算 gotoグラフの計算 gotoグラフをLR表に変換 構文解析前に事前に行う LRパーザによる構文解析 4 準備 以後、入力は前終端記号列とする 辞書規則は用いない 文法の修正 入力文の一番最後に特別な前終端記号$を加える 文法規則に Sʼ→S $ という規則を追加する S S' $ 5 FIRST関数 FIRST(X) Xは非終
1 自然言語処理論I 6.文法4(格文法と格フレーム) 2 格文法(case grammar) Fillmoreが提唱 語と語の間の意味的関係をどのように表現 するか 文の意味構造を動詞を中心とした格構造に よって表現する 3 格(case) 単語間の意味的な関係 特に,動詞と名詞の間の意味的関係を指す 2種類の格 表層格(surface case) (構文木から)表層的に決まる格 英語: 主格,目的格,所有格 日本語: ガ格,ヲ格,ニ格 深層格(deep case) 表層だけでは決まらない、真の格 深層格の例 動作主格 動作を引き起こすもの John broke the stick 対象格 動作が作用する対象となるもの John broke the stick 場所格 動作が起こる場所や位置を表すもの Mary ate breakfast in her room 時間格 動作が起こる時間
シラバス 日本語 English 講義資料 講義で使用した資料を公開します。 個人の学習に使う範囲において、自由に利用していただいて構いません。 但し、講義資料には誤りが含まれる可能性がありますので、 御利用はあくまで自己責任でお願いします。 また、誤りの指摘を歓迎いたします。 下記の電子メイルアドレスに御連絡下さい。 講義資料(2006年度, PDFファイル) 第1回 概要 第2回 オートマトンと言語(正規文法、文脈自由文法) 第3回 文法1 (文脈自由文法と句構造文法) 第4回 文法2 (構文解析) 前半 後半 補足資料 第5回 文法3 (素性構造と単一化) 第6回 文法4 (格文法と格フレーム) 第7回 形態素解析1 (日本語の単語分割) 補足資料 第8回 形態素解析2 (英語の品詞のタギング) 第9回 辞書と概念階層 第10回 言語の統計モデル 第11回 テキスト処理1 (コーパス
このページを最初にブックマークしてみませんか?
『www.jaist.ac.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く