该文章主要记录在windows平台用go语言使用gozstd包时,遇到的错误及处理过程(踩坑之旅)!
一、gozstd简介
gozstd是一个针对Zstandard(简称Zstd)的Go语言包装器,它提供了简单且高效的API,使得开发者能够在Go程序中便捷地进行数据压缩和解压操作。
gozstd可用于数据存储和传输、日志处理、实时流处理、云服务等场景。
gozstd 包的具体详情见:https://pkg.go.dev/github.com/valyala/gozstd#section-readme
二、使用方法及报错处理
1、使用方法
在window10系统中,使用 gozstd 包进行数据压缩,方法如下:
- 下载 gozstd 包
go get -u github.com/valyala/gozstd
- 引入 gozstd 包
import "github.com/valyala/gozstd"
- 调用压缩及解压数据的方法
package main
import (
"fmt"
"log"
"github.com/valyala/gozstd"
)
func main() {
data := []byte("hello world")
// 压缩数据
compressedData := gozstd.Compress(nil, data)
// 解压数据
decompressedData, err := gozstd.Decompress(nil, compressedData)
if err != nil {
log.Fatalf("cannot decompress data: %s", err)
}
fmt.Printf("经过 zstd 压缩及解压后的数据: %s\n", decompressedData)
}
更多用法见:https://pkg.go.dev/github.com/valyala/gozstd#section-readme
2、编译错误处理
在 windows 系统下编译报错:
D:\...\main>go run main.go
# github.com/valyala/gozstd
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:14:48: undefined: DefaultCompressionLevel
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:31:59: undefined: CDict
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:35:64: undefined: CDict
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:47:20: undefined: Writer
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:56:22: undefined: NewWriterLevel
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:101:61: undefined: DDict
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:110:6: undefined: Reader
C:\Users\Administrator\go\pkg\mod\github.com\valyala\gozstd@v1.21.1\stream.go:117:8: undefined: NewReader
如下图所示:
经查,在 gozstd 的官方问题列表中,遇到类似的错误,于是尝试着到gozstd包的路径下重编译libzstd.a
cd ../../go/pkg/mod/github.com/valyala/gozstd && make clean libzstd.a
但编译提示 make[2]: cc: No such file or directory,如图:
经查,发现原因是windows系统中没有安装gcc编译器,于是用 cygwin (之前用cygwin安装了make命令)安装相应版本的gcc,结果可以成功 make clean libzstd.a了,如图:
但问题又来了,真是刚踩完一个坑又遇到另一个坑,这次在编译main.go程序时,提示:
# runtime/cgo
gcc_libinit_windows.c: In function '_cgo_beginthread':
gcc_libinit_windows.c:143:27: error: implicit declaration of function '_beginthread'; did you mean '_cgo_beginthread'? [-Werror=implicit-function-declaration]
143 | thandle = _beginthread(func, 0, arg);
| ^~~~~~~~~~~~
| _cgo_beginthread
cc1: all warnings being treated as errors
于是,又开始漫长的搜索之旅,找到别人之前踩过类似的坑,文章地址为:runtime/cgo: gcc_libinit_windows.c:136:27: error: implicit declaration of function '_beginthread' · Issue #59490 · golang/go · GitHub
有人建议删除其他gcc环境,改用tdm-gcc。
于是抱着试一试的态度,下载并安装 tdm-gcc(tdm-gcc), 参考了文章:Windows最好用的gcc/g++编译器Tmdgcc_tdm-gcc-CSDN博客
安装完tdm-gcc后,编译main.go,成功,如图:
分析原因:原来gozstd用了c编写,GO项目引用gozstd包后,编译会用到 c 语言编译器,即gcc,之前估计安装的gcc版本问题,导致各种报错。
最终解决方法:安装 tdm-gcc 编译工具!
注:为了测试这个问题,我专门在虚拟机中的centos7系统下安装了go环境,引入gozstd包,在linux环境下编译,一切正常。