参考资料
- UTF8のBOM無しとBOM付きの違い
- BOMなしUTF-8によってWindowsでもたらされる困惑
- 文字コードをUTF-8 BOMなし(UTF-8N)でファイル保存をする方法
目录
- 一. 前提
- 二. BOM
- 三. CSV文件中的表现
一. 前提
在使用Windows自带的记事本编辑.csv文件
的时候,准备保存为UTF-8编码
时,发现了有如下两个选项
- UTF-8
- 带有 BOM 的 UTF-8
😵这两种格式有什么区别?BOM到底是啥?
二. BOM
🤔在网上找到了张图,如下图所示EF BB BF
就是BOM标记。
YUTF8.txt
和 YUTF8BOM.txt
两个文本文件的内容相同,都是1,2,3,4
⏹BOM(Byte Order Mark),字节顺序标记,出现在文本文件头部,是一个不可见的隐藏字符。
一般用来帮助一些应用程序识别文件的编码,尤其是在处理包含非ASCII字符的文本文件时。
含BOM的文本文件和不含BOM的文本文件的唯一区别就是文件开头是否带不可见的隐藏字符,除此之外没有区别。
⏹2018年末之前的Win10自带的记事本,保存的时候会自动给文本文件添加BOM,随着2018年末的Win10升级,终于给记事本添加了是否带BOM保存的选项。
⏹在日本,UTF-8 不含BOM叫 UTF-8 BOMなし
,也叫 UTF-8N
。
⏹一般保存代码文件之类的,都不会带BOM。
三. CSV文件中的表现
⏹有两个CSV文件,csv1.csv 和 csv2.csv,文件内容如下:
贾飞天,哈哈,你好
AAA,BBB,CCC
⏹其中csv1.csv用UTF-8保存,而csv2.csv用UTF-8 BOM保存,2个文件的磁盘占用如下所示
🤔可以看到csv1.csv占用了36个字节,明明是相同的内容,而csv2.csv却占用了39个字节,多出来的3个字节就是BOM所占用的。
😅可以看到,用纯UTF-8
编码保存的CSV文件用Excel文件打开会乱码,但是用UTF-8 BOM
编码保存事务CSV文件却不会乱码。