代码之家 › 专栏 › 技术社区 › OTZ

英语单词的真正定义?

nlp regex

OTZ · 技术社区 · 15 年前

英语单词的最佳定义是什么?

英语单词的其他情况是什么 \w+ ? 有些可能包括 \w+-\w+ 或 \w+'\w+ \b[0-9]+\b . 但我没见过对那些案子有什么普遍共识。我们对此有正式的定义吗?

(编辑:拓宽问题范围,使其不依赖于regexp。)

6 回复 | 直到 15 年前

Lazarus 15 年前

Jay Askren 15 年前

检查一个单词是否是英语的最好方法是查字典。如果它出现在英语单词词典中,那么它就是一个英语单词。在英语词典里也可以是法语单词。例如“me”是法语和英语单词。

English version of Wikipedia 假设所有找到的单词都是英语单词。你可以也可以不过滤掉数字。

正则表达式不会告诉你一个单词是否是英语。例如,xyvfg与您的模式“w”匹配,但肯定不是英语单词。

编辑:

OTZ 15 年前

Is 'word' an English word?  YES

49th?  YES

NYSE?  YES

RÃ©sumÃ©?  YES

Haight-Ashbury? YES/NO?

good-looking?  YES/NO?

P&G?  YES/NO?

1023?  YES/NO?

304-392-9999?  YES/NO?

3.14?  YES/NO?

Tommy Herbert 15 年前

http://www.sussex.ac.uk/linguistics/documents/essay_-_what_is_a_word.pdf

Will A 15 年前

一个真实的英语单词will 永远不要包含重音符号或外国字符-因此\w+可能会捕捉到比您想要的更多的内容,尽管英语中有许多我们从其他语言中借用的单词-我们大多数人可能没有时间或倾向于费心去强调它们。我甚至懒得把“尽管”写在那里-\w+“\w+无法捕捉到这一点。一般来说,只要您的\w+正确地捕获了您的单词,我想不出在单词中间可能会遇到的任何其他标点符号。