这是一个创建于 3584 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近需要高性能处理一些文本数据，多语言（有些还是 GBK 编码。。。
以前玩 C 的时候处理的不是二进制就是纯 ASCII ，所以不了解相关知识。
我项问一下，使用 C 语言处理 Utf-8 字符编码方便吗？（原谅我是 C++ 一生黑 ~）
# 另外，有没有用 Rust 对接 Python 的，会不会有些坑？（我只是好奇想尝试一下）
 | 1 lianz 2015-12-21 20:06:07 +08:00 在 C 的世界里只有 bytes 数组，什么 UTF8 、 GBK 编码都是上层建筑，自己处理或者用第三方库处理。 |
 | 2 huodon 2015-12-21 20:12:35 +08:00 用 icu4c ? |
 | 3 ffffwh 2015-12-21 20:22:47 +08:00 via Android utf-8 、 gbk 这种变长的 char s[]直接放，但有非 ascii 的话 s[i]可不是第 i 个字符，第 i 个字符恐怕只能一个个解析。 utf-16 这种定长（似乎并不是，详不明）双字节的又是另一回事， wchar_t []或者 char []一次跳两个。 |
 | 4 xufang 2015-12-21 20:30:27 +08:00  1 |
 | 5 jhaohai 2015-12-21 20:51:46 +08:00 c 只认识 ansi |
| 6 xufang 2015-12-21 20:53:43 +08:00 1 诸位大发宏论的之前，请先看下我的 #4 的连接，无意冒犯诸位哦，谢谢。 |
 | 7 northisland 2015-12-21 21:06:42 +08:00 c 语言确实很高性能， 但也“烫烫烫烫烫”， 2333 楼主找到什么好库记得分享一下～ |
 | 9 YuJianrong 2015-12-21 23:35:01 +08:00 @ffffwh utf-16 并不是定长的，和 utf-8 一样变长，所以也一样不能确切认为 s[i]就是地 i 个字符，所幸大部分使用的字符都在 BMP （ Basic Multilingual Plane ，基本多语言平面），这一区域的字符 utf-16 是两字节的。 BMP 之外主要是一些很不常用的汉字和其他语言以及表情符号等。 @xufang 这个基本没用，也就是 unicode 文本能写进源代码和几个简单的 API 而已。 直接说结论的话， C 语言处理 Utf-8 字符编码一点都不方便，不过其实如果你是需要高性能的话，也只有 C 语言这一个解决方案了吧，毕竟没有接近汇编的控制能力怎么写高性能的处理程序…… |
| 10 xufang 2015-12-22 00:10:56 +08:00 @YuJianrong 呵呵，我是针对一些对 C 语言有成见的观点才发这个。 |
Select Language