目录
- 一、字符集
- 二、ASCII码(字符编码)
- 三、ISO-8859-1(字符集)
- 四、GBxxx(字符集)
- 五、Unicode码(字符集)
- 六、UTF-8(字符编码)
- 总结
一、字符集
- 编码与解码
- 计算机中储存的信息都是用
二进制数表示的 - 而我们在屏幕上看到的数字、英文、标点符号、汉字等字符是二进制数转换之后的结果
- 按照某种规则，将字符转为二进制数，称为
编码 - 反之，将二进制数转为认识的字符，称为
解码
- 计算机中储存的信息都是用
- 字符编码（Character Encoding）
- 就是一套自然语言的
字符与二进制数之间的对应规则
- 就是一套自然语言的
- 字符集
- 也叫编码表。是一个系统支持的
所有字符的集合，包括各国家文字、标点符号、图形符号、数字等
- 也叫编码表。是一个系统支持的
二、ASCII码(字符编码)
- 上个世纪60年代，美国制定了一套
字符编码，对英语字符与二进制位之间的关系，做了统一规定。这被称为ASCII码 - ASCII码用于显示现代英语，主要包括控制字符（回车键、退格、换行键等）和可显示字符（英文大小写字符、阿拉伯数字和西文符号）
- 基本的ASCII字符集，使用7位（bits）表示一个字符（最前面的1位统一规定为0），共
128个字符。比如：空格“SPACE”是32（二进制00100000），大写的字母A是65（二进制01000001） - 缺点：不能表示所有字符
三、ISO-8859-1(字符集)
- 拉丁码表，别名Latin-1，用于显示
欧洲使用的语言，包括荷兰语、德语、意大利语、葡萄牙语等 - ISO-8859-1使用
单字节编码，兼容ASCII编码
四、GBxxx(字符集)
- GB就是国标的意思，是为了
显示中文而设计的一套字符集 - GB2312：简体中文码表
- 一个小于127的字符的意义与原来相同，即向下兼容ASCII码
- 两个大于127的字符连在一起时，就表示一个汉字，这样大约可以组合了包含
7000多个简体汉字 - 此外数学符号、罗马希腊的字母、日文的假名们都编进去了
- 这就是常说的"全角"字符，而原来在127号以下的那些符号就叫"半角"字符了
- GBK：最常用的中文码表
- GBK是一种字符编码，也是一种字符集
- 在GB2312标准基础上的扩展规范，使用了
双字节编码方案，共收录了21003个汉字 - 完全兼容GB2312标准，同时支持
繁体汉字以及日韩汉字等
- GB18030：最新的中文码表
- 收录汉字
70244个，采用多字节编码，每个字可以由1个、2个或4个字节组成 - 支持中国国内少数民族的文字，同时支持繁体汉字以及日韩汉字等
- 收录汉字
五、Unicode码(字符集)
- Unicode编码为表达
任意语言的任意字符而设计，也称为统一码、标准万国码 - 常用字符用
2个字节表示，一共可以表示65536个字符，附加扩展字符编码采用4个字节来表示，这样最多可以定义1048576个字符 - 为每个字符设定唯一的二进制编码，但没有规定二进制编码如何存储
- 用十六进制4位表示一个编码，如下码表
- A的十六进制0041转为十进制是65，与ASCII码值一致
- 所以Unicode码值兼容ASCII码值
- Unicode 的缺点：这里有三个问题：
- 第一，英文字母只用一个字节表示就够了，如果用更多的字节存储是
极大的浪费 - 第二，如何才能
区别Unicode和ASCII？计算机怎么知道两个字节表示一个符号，而不是分别表示两个符号呢？ - 第三，如果和GBK等双字节编码方式一样，用最高位是1或0表示两个字节和一个字节，就少了很多值无法用于表示字符，
不够表示所有字符
- 第一，英文字母只用一个字节表示就够了，如果用更多的字节存储是
- Unicode在很长一段时间内无法推广，直到互联网的出现
- 为解决Unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现
- 具体来说，有三种编码方案，
UTF-8、UTF-16和UTF-32
六、UTF-8(字符编码)
- Unicode是字符集，UTF-8、UTF-16、UTF-32是三种
将数字转换到程序数据的编码方案 - 互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码
- UTF-8 是一种
变长的编码方式 - 可以使用 1-4 个字节表示一个符号它使用一至四个字节为每个字符编码，编码规则：
- 128个US-ASCII字符，只需一个字节编码(兼容ASCII码值)
- 拉丁文等字符，需要二个字节编码
- 大部分常用字（含中文），使用三个字节编码
- 其他极少使用的Unicode辅助字符，使用四字节编码
UTF-8编码规则
- 对于单个字节的字符，第一位设为 0，后面的 7 位对应这个字符的 Unicode 码点
- 对于需要使用 N 个字节来表示的字符（N > 1）
- 第一个字节的前 N 位都设为 1，第 N + 1 位设为0
- 剩余的 N - 1 个字节的前两位都设位 10
- 剩下的二进制位则使用这个字符的 Unicode 码点来填充
| Unicode编码(十六进制) | UTF-8 字节流(二进制) |
|---|---|
| 000000-00007F | 0xxxxxxx |
| 000080-0007FF | 110xxxxx 10xxxxxx |
| 000800-00FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
| 010000-10FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
例如：
- “汉”字的Unicode编码是0x6C49
- 0x6C49在0x0800-0xFFFF之间，使用3字节模板：1110xxxx 10xxxxxx 10xxxxxx
- 将0x6C49写成
16位二进制数字（模板x的数量，不足16位在前面补0）：0110 1100 0100 1001 - 将二进制数字填充进模板得到：11100110 10110001 10001001
- 转为16进制即E6 B1 89。这个就是被存到计算机中的字节序列
- 16进制转为byte数组[-26,-79,-119](数值是补码形式存在)；
byte[] bytes = "汉".getBytes()的由来
UTF-8解码规则
- UTF-8 解码规则也很简单。如果一个字节的第一位是0，则这个字节单独就表示一个字符
- 如果第一位是1，则连续有多少个1，就表示当前字符占用多少个字节
总结
- 不同字符编码在内存中的字符对应磁盘中的byte数组数值
@Test
public void test() throws UnsupportedEncodingException {
byte[] bytes1 = "A".getBytes();
System.out.println(Arrays.toString(bytes1)); // [65]
byte[] bytes2 = "中".getBytes("GBK");
System.out.println(Arrays.toString(bytes2)); // [-42, -48]
byte[] bytes3 = "中".getBytes("UTF-8");
System.out.println(Arrays.toString(bytes3)); // [-28, -72, -83]
}
注意： 在中文操作系统上，ANSI编码即为GBK；在英文操作系统上，ANSI编码即为ISO-8859-1
