python regex匹配unicode属性

你试过了吗? Ponyguruma ,一个绑定到 Oniguruma 正则表达式引擎?在那个引擎里你可以简单地说 \p{Armenian} 以匹配亚美尼亚字符。 \p{Ll} 或 \p{Zs} 也要工作。

这个 regex 模块(替代标准 re 模块)支持具有 \p{} 语法。

您可以在每个字符上刻意使用unicodedata:

import unicodedata

def strip_accents(x):
    return u''.join(c for c in unicodedata.normalize('NFD', x) if unicodedata.category(c) != 'Mn')

说到本土的解决方案,前一段时间我写了一篇 program 为此-转换一个Unicode类别 \p{...} 从Unicode中提取的一系列值 specification (5.5.0)。仅支持类别(例如: L , Zs ,并且仅限于BMP。我把它贴在这里,以防有人发现它有用(尽管Oniguruma确实是一个更好的选择)。

示例用法:

>>> from unicode_hack import regex
>>> pattern = regex(r'^\\p{Lu}(\\p{L}|\\p{N}|_)*')
>>> print pattern.match(u'疂_1+2').group(0)
疂_1
>>>

这里是 source . 还有一个 JavaScript version ,使用相同的数据。

python regex解析器不支持unicode属性类是正确的。

如果你想做一个不错的黑客,这通常是有用的,你可以创建一个预处理器来扫描一个字符串来获取类标记。( \p{M} 或者其他)并用相应的字符集替换它们,例如, \p{M} 将成为 [\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F] 和 \P{M} 将成为 [^\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F] .

人们会感谢你的。:)

注意,同时 \p{Ll} 在python正则表达式中没有等价的, \p{Zs} 应该包括 '(?u)\s' . 这个 (?u) 如文档所说,make \w、\w、\b、\b、\d、\d、\s和\s依赖于Unicode字符属性数据库。 \s 表示任何间隔字符。