代码之家 › 专栏 › 技术社区 › landyman

测试字符串中的日语/中文字符

language-detection unicode string

landyman · 技术社区 · 16 年前

我有一个程序,它读取一堆文本并对其进行分析。文本可以是任何语言,但我需要专门测试日语和汉语,以便以不同的方式分析它们。

我读过,我可以测试每个字符的Unicode编号,以确定它是否在CJK字符范围内。这很有用,但是如果可能的话,我想将它们分开,以便根据不同的词典处理文本。有没有办法测试一个字符是日语还是汉语?

6 回复 | 直到 8 年前

Elijah 16 年前

Jonathan Leffler 16 年前

Don Kirkby 16 年前

si28719e 16 年前

soycamo 15 年前

hippietrail 14 年前

推荐文章

M - · 为什么两个相同的表情符号不相等?

3 年前

Andrei Cleland · 在长正则表达式中包含unicode字符

3 年前

Mohsen · 将字符串从Windows 1256转换为UTF-8

7 年前

jpantina · 如何使用Python 3导入带有保存为Unicode文本的CSV扩展名的Excel文件?

7 年前

Bao Thai · 使用pandas数据帧在python中将utf转换为ascii

7 年前

AMINA ARSHAD · 从字符转换为Unicode数字时出错

7 年前

Maverick · VS2017 C++编译器错误C2664无法转换参数

7 年前

Ivan Bilan · Python 2字符串以某种方式保存为纯Unicode

7 年前

Taqwa · 在C#[已关闭]中将上标转换为Unicode

7 年前

ecjb · 无法在Jupyter的PDF输出中显示Unicode字符(如)

7 年前