博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
繁简中文转换
阅读量:6764 次
发布时间:2019-06-26

本文共 1809 字,大约阅读时间需要 6 分钟。

OpenCC

 是跨平台、多语言的开放中文转换库,除了基本的简繁转换功能外,用户还可以选择对不同用词习惯和异体字的处理方式。
OpenCC 还提供方便的 。

OpenOffice.Org的转换功能

OpenOffice.Org提供简繁功能,使用很方便(在
工具->语言->中文简繁转换)。

Google翻译功能

也可以做简繁转换,效果分析见后面。

使用cconv转换

建立在iconv之上,增加了词语转换能力,效果分析见后面。
Ubuntu用户可以用命令
sudo apt-get install cconv安装。
使用cconv进行简繁转换的方法为:
cconv -f UTF8-CN -t UTF8-HK jian.txt -o fan.txt

使用iconv转换

iconv是用来转换编码的小工具。现在的iconv在执行编码从gb2312到big5的转化时,实现了简繁转换。
使用iconv进行简繁转换的方法为:
iconv -f gb2312 -t big5 gb_input.txt > big5_output.txt
如果原来的文件是 编码的,则需要使用命令:
iconv -f utf8 -t gb2312 jian.txt | iconv -f gb2312 -t big5 | iconv -f big5 -t utf8 > fan.txt
注意一定要先转化成gb2312,再由gb2312转成big5。
繁简转换则类似:
iconv -f utf8 -t big5 fan.txt | iconv -f big5 -t gb2312 | iconv -f gb2312 -t utf8 > jian.txt
如果有zh-autoconvert,则可以用它代替中间的iconv,如
iconv -f utf8 -t big5 fan.txt | autogb | iconv -f gbk -t utf8 > jian.txt
iconv -f utf8 -t gbk jian.txt | autob5 | iconv -f big5 -t utf8 > fan.txt

测试样例

为了方便比较,选取下面一段话做测试:
中华人民共和国是工人阶级领导的、以工农联盟为基础的人民民主专政的社会主义国家。 干活 干杯  西太后   后天
正确的转换结果是:
中華人民共和國是工人階級領導的、以工農聯盟為基礎的人民民主專政的社會主義國家。 幹活 乾杯  西太后   後天
测试样例中第一句话很普通,用来检测能否完成转换的基本功能;第二行“干活”与“干杯”两个词的“干”对应的繁体字不一样,这可以检测程序是否进行了语义分析;“西太后”的“后”简繁相同,同样用于检测简繁转换的准确性。
另外,第二句话中有空格若干,用来判断转换程序是否能保留原格式。

测试结果

OpenCC

中華人民共和國是工人階級領導的、以工農聯盟爲基礎的人民民主專政的社會主義國家。 幹活 乾杯  西太后   後天

OpenOffice.Org

中華人民共和國是工人階級領導的、以工農聯盟為基礎的人民民主專政的社會主義國家。 干活 干杯  西太后   后天

Google翻译

中華人民共和國是工人階級領導的、以工農聯盟為基礎的人民民主專政的社會主義國家。 幹活乾杯西太后後天

iconv

中華人民共和國是工人階級領導的、以工農聯盟為基礎的人民民主專政的社會主義國家。 幹活 幹杯  西太後   後天

cconv

中華人民共和國是工人階級領導的、以工農聯盟為基礎的人民民主專政的社會主義國家。 幹活 乾杯  西太后   後天
不难发现,对于多解的字,OpenOffice.Org未转换,
iconv按单一规则转换,而
cconv
OpenCC和Google翻译则能正确转换。
但是Google翻译未能保持原格式,而OpenOffice.Org、
iconv
cconv则很好地保留了原格式。
另外,
iconv不能处理混合编码的文件。
使用
cconv转换20M含部分乱码的文本文件耗时仅数秒,且效果非常理想,不会像iconv一样遇到“ә”等非常规字符或乱码字符时报错停止转换。(推荐使用)

转载于:https://www.cnblogs.com/MagicLetters/archive/2012/10/31/4382809.html

你可能感兴趣的文章
linux 下动态链接库的制作与使用
查看>>
关于hadoop配置hosts文件的问题
查看>>
计算机操作系统发展历史
查看>>
scp
查看>>
java项目中logger一般使用 static final
查看>>
Java设计模式百例 - 策略模式
查看>>
iOS中cell自适应高度
查看>>
打印杨辉三角型
查看>>
关于素数判定的算法优化
查看>>
双向链表的C++实现
查看>>
0726日作业
查看>>
蒲京博士为第七届环海南岛国际大帆船赛创造历史
查看>>
百花园传媒创始人辛东方:创业者面临三大瓶颈
查看>>
rh124-15(2)之桥接和NAT
查看>>
记一次负载均衡+NFS博客站点搭建的总结
查看>>
华为PAT端口地址映射配置详解(二)
查看>>
我不再像两年前那样勇敢
查看>>
用 Weave Scope 监控集群 - 每天5分钟玩转 Docker 容器技术(175)
查看>>
linux 安装apache服务器
查看>>
SQL Server基础(二)
查看>>