句法分析句法分析的任務(wù)就是識別句子的句法結(jié)構(gòu)。通過局法樹的形式表示出來類型:一.短語結(jié)構(gòu)分析:1.完全句法分析:整個句子生成完整的分析樹2.局部句法分析:對句子中某一部分生成分析樹名詞短語、動詞短語、分塊二.依存句法分析:目標(biāo):實現(xiàn)高正確率,高魯棒性,高速度的自動句法分析過程困難:自然語言中存在大量的復(fù)雜的結(jié)構(gòu),歧義基于CFG規(guī)則的分析方法:線圖分析法CYK算法Earley(厄爾利)算法LR算法/Tomita算法-自頂向下-自底向上基于統(tǒng)計的方法——基于PCFG的分析方法概率上下文無關(guān)文法三種策略:自底向上從上到下從上到下和從下到上結(jié)合給定一組規(guī)則
復(fù)雜特征集的特點:
1.允許利用多個特征描述同一個語言單位
2.從結(jié)構(gòu)上看,復(fù)雜特征集是一個嵌套的結(jié)構(gòu),可以有效地表示復(fù)雜詞組或句子結(jié)構(gòu)
3.特征名的定義及其相互關(guān)系具有明顯的層次性,而所有自然語言的結(jié)構(gòu)都是就有層次性的,有利于對語言的層次分析。
復(fù)雜特征集便于運算,兩個復(fù)雜特征集通過合一運算可以產(chǎn)生另一個復(fù)雜特征集,這與句法分析中詞組和句子的產(chǎn)生是一致的。
合一運算:
復(fù)雜特征集相容的定義
如果a,b都不可在拆分(都是原子),如果a=b,則a合一b=a,否則a合一b=空集
合一運算的作用:合并原有的特征信息,構(gòu)造新的特征結(jié)構(gòu)
檢查
一個語言單位(如句子或詞組等)所負(fù)載的信息可以分布在各個成分中,每個成分所負(fù)載的可以只是部分的信息。
通過合一運算,在小的成分組成大的成分過程中,效成分所負(fù)載的信息也可以同時被傳遞或累加為大的成分所負(fù)載的信息,在合一運算過程中,信息只會增加而不會減少。
句法和語義分析都以合一作為基本運算,不僅句子的合法性可以通過語義的手段來判斷,而且,還可以把句子的句法結(jié)構(gòu)和語義表示用合一運算這種方式更加自然地銜接起來。
對不同的復(fù)雜特征集進行合一運算,其結(jié)果運算所進行的先后次序無關(guān),合一的結(jié)果都是相同的。合一運算的這種無序性非常便于并行處理。
復(fù)雜特征集和合一運算的方法是現(xiàn)代計算語言學(xué)研究的重要方法之一。
自然語言處理在某一階段某種方法非常流行,不代表其他方法完全不行。。
詞匯功能語法:R.Kaplan和J.Bresnan提出的
基本觀點:
句子由兩個相對獨立的層次來描述:
1.成分結(jié)構(gòu)層次:描述句子成分的結(jié)構(gòu)關(guān)系(名詞短語,動詞短語)
2.功能結(jié)構(gòu)層次:描述句子主語,謂語,賓語之間的關(guān)系
要點:
1.突出詞匯的作用:
LFG認(rèn)為:
動詞,形容詞,和一部分名詞在句子中的語法結(jié)構(gòu)作用,相當(dāng)于數(shù)理邏輯中的謂詞邏輯。
它們的詞義決定它們擁有哪些論元
如果知道了謂詞的意義,那么就可以知道以該謂詞為中心的句子還會有哪類詞出現(xiàn),它們的語法語義功能是什么。
名詞作謂語:魯迅紹興人
01 緒論(一)
02 緒論(二)
03 緒論(三)
04 數(shù)學(xué)基礎(chǔ)(一)
05 數(shù)學(xué)基礎(chǔ)(二)
06 數(shù)學(xué)基礎(chǔ)(三)
07 數(shù)學(xué)基礎(chǔ)(四)
08 數(shù)學(xué)基礎(chǔ)(五)
09 形式語言與自動機及其在NLP中的應(yīng)用(一)
10 形式語言與自動機及其在NLP中的應(yīng)用(二)
11 形式語言與自動機及其在NLP中的應(yīng)用(三)
12 形式語言與自動機及其在NLP中的應(yīng)用(四)
13 形式語言與自動機及其在NLP中的應(yīng)用(五)
14 形式語言與自動機及其在NLP中的應(yīng)用(六)
15 語料庫與語言知識庫(一)
16 語料庫與語言知識庫(二)
17 語料庫與語言知識庫(三)
18 語料庫與語言知識庫(四)
19 語料庫與語言知識庫(五)
20 語言模型(一)
21 語言模型(二)
22 語言模型(三)
23 語言模型(四)
24 語言模型(五)
25 隱馬爾柯夫模型(一)
26 隱馬爾柯夫模型(二)
27 隱馬爾柯夫模型(三)
28 隱馬爾柯夫模型(四)
29 隱馬爾柯夫模型(五)
30 隱馬爾柯夫模型(六)
31 詞法分析與詞性標(biāo)注(一)
32 詞法分析與詞性標(biāo)注(二)
33 詞法分析與詞性標(biāo)注(三)
34 詞法分析與詞性標(biāo)注(四)
35 詞法分析與詞性標(biāo)注(五)
36 語法理論(一)
37 語法理論(二)
38 語法理論(三)
39 語法理論(四)
40 句法分析(一)
41 句法分析(二)
42 句法分析(三)
43 句法分析(四)
44 句法分析(五)
45 句法分析(六)
46 句法分析(七)
47 句法分析(八)
48 句法分析(九)
49 句法分析(十)
50 句法分析(十一)
51 語義計算(一)
52 語義計算(二)
53 語義計算(三)
54 機器翻譯(一)
55 機器翻譯(二)
56 機器翻譯(三)
57 機器翻譯(四)
58 機器翻譯(五)
59 機器翻譯(六)
60 機器翻譯(七)
61 機器翻譯(八)
62 機器翻譯(九)
63 機器翻譯(十)
64 機器翻譯(十一)