54.grpc实现文件上传和下载

文章目录

  • 一：简介
    • 1. 什么是grpc
    • 2. 为什么我们要用grpc
  • 二：grpc的hello world
    • 1、 定义hello.proto文件
    • 2、生成xxx_grpc.pb.go文件
    • 3、生成xxx.pb.go结构体文件
    • 4、编写服务代码service.go
    • 5、编写客户端代码client.go
  • 三、服务端流式传输：文件下载
    • 文件下载
  • 四、客户端流式传输：文件上传
    • 文件上传
  • 五、双向流：聊天

代码地址：https://gitee.com/lymgoforIT/golang-trick/tree/master/32-grpc

一：简介

1. 什么是grpc

gRpc 是一个高性能、开源和通用的 RPC 框架，面向移动和 HTTP2 设计。目前提供 C、Java 和 Go 语言版本，分别是：grpc, grpc-java, grpc-go. 其中 C 版本支持C, C++, Node.js, Python, Ruby, Objective-C, PHP和 C# 支持.
gRPC 基于 HTTP2 标准设计，带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好，更省电和节省空间占用。
参考： grpc官方文档中文版

2. 为什么我们要用grpc

  • 生态好：背靠Google。还有比如nginx也对grpc提供了支持
  • 跨语言：跨语言，且自动生成sdk
  • 性能高：比如protobuf性能高过json, 比如http2.0性能高过http1.1
  • 强类型：编译器就给你解决了很大一部分问题
  • 流式处理（基于http2.0）：支持客户端流式，服务端流式，双向流式

二：grpc的hello world

在这里插入图片描述

1、 定义hello.proto文件

syntax = "proto3"; // 指定proto版本，不指定时默认是proto2
package hello_grpc; // 指定默认包名

// 指定golang包名，当编译为pb.go时，这个包名会替换上面package指定的名字
option go_package = "/hello_grpc";

message HelloRequest {
  string  name = 1;
  string message = 2;
}

message HelloResponse {
  string  name = 1;
  string message = 2;
}

// 定义rpc服务
service HelloService {
    // 定义函数
    rpc SayHello(HelloRequest) returns (HelloResponse) {}
}

2、生成xxx_grpc.pb.go文件

 protoc --proto_path=32-grpc/grpc_proto --go-grpc_out=32-grpc/grpc_proto 32-grpc/grpc_proto/hello.proto

解释：

  1. protoc为我们安装的protocol buffer 的命令
  2. --proto_path选项为指定proto文件所在的路径，可以换为-I
  3. --go-grpc_out指明要生成的是grpc文件，且指明了生成后文件要放在哪个目录
  4. 最后的参数为proto文件，可以写多个，也可以写.，表示当前目录下所有proto文件

执行后如下：报红的地方为找不到对应的结构体，所以我们还需要生成结构体的pb.go文件
在这里插入图片描述

3、生成xxx.pb.go结构体文件

 protoc --proto_path=32-grpc/grpc_proto --go_out=32-grpc/grpc_proto 32-grpc/grpc_proto/hello.proto

命令和生成gprc文件几乎一致，只是--go-grpc_out选项换成了--go_out选项而已

在这里插入图片描述

注意：

  1. 2和3两个生成pb.go的命令也可以写成一个命令，如下
 protoc --proto_path=32-grpc/grpc_proto --go_out=32-grpc/grpc_proto --go-grpc_out=32-grpc/grpc_proto 32-grpc/grpc_proto/hello.proto
  1. pb描述和rpc⽅法之前旧版⽣成是在⼀个⽂件中，⽬前新版本pb和⽅法已经分离⽣成的⽂件格式特征如下：
    在这里插入图片描述

4、编写服务代码service.go

在这里插入图片描述

package main

import (
	"context"
	"fmt"
	"golang-trick/32-grpc/grpc_proto/hello_grpc"
	"net"

	"google.golang.org/grpc"
	"google.golang.org/grpc/grpclog"
)

type HelloService struct {
	hello_grpc.UnimplementedHelloServiceServer
}

func (h HelloService) SayHello(ctx context.Context, request *hello_grpc.HelloRequest) (*hello_grpc.HelloResponse, error) {
	fmt.Println(request)
	return &hello_grpc.HelloResponse{
		Name:    "lym",
		Message: "ok",
	}, nil
}

func main() {
	// 监听端口
	listen, err := net.Listen("tcp", ":8080")
	if err != nil {
		grpclog.Fatalf("Failed to listen err:%v", err)
	}

	// 创建一个grpc服务器实例
	s := grpc.NewServer()
	server := HelloService{}

	// 将server结构体注册为grpc服务
	hello_grpc.RegisterHelloServiceServer(s, &server)
	fmt.Println("grpc server running:9090")

	// 开始处理客户端请求
	err = s.Serve(listen)
}

解释：
HelloService 是我们自定义的结构体，需要实现hello_grpc中的HelloServiceServer 接口，但是该接口包含一个私有的mustEmbedUnimplementedHelloServiceServer方法，导致无法实现该接口，目前解决办法就是让我们的结构体包含hello_grpc.UnimplementedHelloServiceServer，从而实现hello_grpc中的HelloServiceServer 接口

// HelloServiceServer is the server API for HelloService service.
// All implementations must embed UnimplementedHelloServiceServer
// for forward compatibility
type HelloServiceServer interface {
	// 定义函数
	SayHello(context.Context, *HelloRequest) (*HelloResponse, error)
	mustEmbedUnimplementedHelloServiceServer()
}

运行服务端

在这里插入图片描述

5、编写客户端代码client.go

package main

import (
	"context"
	"fmt"
	"golang-trick/32-grpc/grpc_proto/hello_grpc"
	"log"

	"google.golang.org/grpc"
)

func main() {
	addr := ":8080"
	//使用grpc.Dial 创建一个到指定的地址的 grpc 连接
	conn, err := grpc.Dial(addr, grpc.WithInsecure())
	if err != nil {
		log.Fatalf(fmt.Sprintf("grpc connect adddr[%s] failed,err:%v", addr, err))
	}

	defer conn.Close()

	// 初始化客户端
	client := hello_grpc.NewHelloServiceClient(conn)

	// 调用远程服务端方法
	resp, err := client.SayHello(context.Background(), &hello_grpc.HelloRequest{
		Name:    "lym",
		Message: "我是客户端",
	})
	fmt.Println(resp, err)

}

运行客户端

成功收到服务端的响应
在这里插入图片描述
且服务端也打印出了客户端发来的请求
在这里插入图片描述

三、服务端流式传输：文件下载

grpc共有四种传输方式：

  • 普通交互：如上面hello world示例，客户端发送一次请求，服务端响应一次。
  • 服务端流式：客户端发送一次请求，服务端响应多次
  • 客户端流式：客户端发送多次请求，服务端响应一次
  • 双向流式：客户端和服务端有问有答一样

而上面四次方式proto文件写法上区别就在于stream关键字的有无以及所在位置

如普通式：

// 定义rpc服务
service Service {
    // 定义函数
    rpc SayHello(Request) returns (Response) {}
}

服务端流式：

// 定义rpc服务
service ServiceStream {
    // 定义函数
    rpc SayHello(Request) returns (stream Response) {}
}

文件下载

因为要下载的文件可能很大，服务端不能一次就把整个文件响应回去，因此需要用到服务端流式，多次发送,目录结构以及文件大致如下：
在这里插入图片描述

1、首先编写stream.proto文件，注意响应多了stream关键字

syntax = "proto3"; // 指定proto版本，不指定时默认是proto2
package stream; // 指定默认包名

// 指定golang包名，当编译为pb.go时，这个包名会替换上面package指定的名字
option go_package = "/stream";


message Request {
    string name = 1;
}

message FileResponse {
    string file_name = 1;
    bytes content = 2;
}

service ServiceStream {
    rpc DownLoadFile(Request) returns (stream FileResponse){};
}

2、生成pb.go文件，这个就不赘述了

 protoc --proto_path=32-grpc/grpc_proto --go_out=32-grpc/grpc_proto --go-grpc_out=32-grpc/grpc_proto 32-grpc/grpc_proto/stream.proto

3、服务端代码stream_service.go。看代码注释即可， 不难

package main

import (
	"fmt"
	"golang-trick/32-grpc/grpc_proto/stream"
	"io"
	"net"
	"os"

	"google.golang.org/grpc"
	"google.golang.org/grpc/grpclog"
)

type ServiceStream struct {
	stream.UnimplementedServiceStreamServer
}

func (s ServiceStream) DownLoadFile(request *stream.Request, resp stream.ServiceStream_DownLoadFileServer) error {
	fmt.Println(request)
	// 获取要下载的文件
	file, err := os.Open("32-grpc/static/prometheus+granfana企业级监控实战v5.pdf")
	if err != nil {
		return err
	}
	defer file.Close()

	for {
		buf := make([]byte, 1024)
		_, err := file.Read(buf)
		if err == io.EOF {
			break
		}

		if err != nil {
			break
		}

		// 可以通过接口上的resp对象的Send方法不断给客户端响应
		resp.Send(&stream.FileResponse{
			Content: buf,
		})
	}
	// return 后表明本次响应结束，不会再Send
	return nil

}

func main() {
	// 监听端口
	listen, err := net.Listen("tcp", ":8080")
	if err != nil {
		grpclog.Fatalf("Failed to listen err:%v", err)
	}

	// 创建一个grpc服务器实例
	s := grpc.NewServer()
	server := ServiceStream{}

	// 将server结构体注册为grpc服务
	stream.RegisterServiceStreamServer(s, &server)
	fmt.Println("grpc server running:8080")

	// 开始处理客户端请求
	err = s.Serve(listen)
}

4、客户端代码client.go，请求下载文件

package main

import (
	"bufio"
	"context"
	"fmt"
	"golang-trick/32-grpc/grpc_proto/stream"
	"io"
	"log"
	"os"

	"google.golang.org/grpc"
)

func main() {
	addr := ":8080"
	//使用grpc.Dial 创建一个到指定的地址的 grpc 连接
	conn, err := grpc.Dial(addr, grpc.WithInsecure())
	if err != nil {
		log.Fatalf(fmt.Sprintf("grpc connect adddr[%s] failed,err:%v", addr, err))
	}

	defer conn.Close()

	// 初始化客户端
	client := stream.NewServiceStreamClient(conn)

	resp, err := client.DownLoadFile(context.Background(), &stream.Request{Name: "下载文件"})
	if err != nil {
		log.Fatalln(err)
	}

	file, err := os.OpenFile("32-grpc/static/下载的pdf文件.pdf", os.O_CREATE|os.O_WRONLY, 0600)
	if err != nil {
		log.Fatalln(err)
	}
	defer file.Close()

	writer := bufio.NewWriter(file)

	for {
		// 客户端从服务端得到的响应是一个stream，所以可以通过Recv不断接收，直到遇到io.EOF表明服务端响应完毕了
		recv, err := resp.Recv()
		if err == io.EOF {
			break
		}
		fmt.Println(fmt.Sprintf("写入数据 %d 字节", len(recv.Content)))
		// 将每轮接收到的内容写入到文件中
		writer.Write(recv.Content)
	}

	writer.Flush()
}

测试：运行服务端和客户端后，如下，接收到了文件
在这里插入图片描述

四、客户端流式传输：文件上传

文件上传

实际上，客户端流式和服务端流式思路基本是完全一致的，就是在request前加stream关键字即可，然后文件上传和文件下载也是类似的，只是发送方变为了客户端，然后服务端不断的接收，知道收到io.EOF时，响应给客户端接收成功的消息。文件结构大致如下：

1、proto文件，注意包名修改，以及request前加了stream关键字

syntax = "proto3"; // 指定proto版本，不指定时默认是proto2
package client_stream; // 指定默认包名

// 指定golang包名，当编译为pb.go时，这个包名会替换上面package指定的名字
option go_package = "/client_stream";


message FileRequest {
    string file_name = 1;
    bytes content = 2; // 对应go的[]byte类型
}

message Response {
    string text = 1;
}

service ClientStream {
    rpc UploadFile(stream FileRequest) returns (Response){};
}

2、生成pb.go文件

 protoc --proto_path=32-grpc/grpc_proto --go_out=32-grpc/grpc_proto --go-grpc_out=32-grpc/grpc_proto 32-grpc/grpc_proto/client_stream.proto

3、服务端代码file_upload_service.go

注意方法上响应只有error，response没有写在方法上，而是通过req.SendAndClose返回的响应结果

package main

import (
	"bufio"
	"fmt"
	"golang-trick/32-grpc/grpc_proto/client_stream"
	"io"
	"log"
	"net"
	"os"

	"google.golang.org/grpc"
	"google.golang.org/grpc/grpclog"
)

type FileUploadService struct {
	client_stream.UnimplementedClientStreamServer
}

func (f FileUploadService) UploadFile(req client_stream.ClientStream_UploadFileServer) error {
	// 这里文件名我们写死了，实际应该用客户端传过来的
	file, err := os.OpenFile("32-grpc/static/上传的png文件.png", os.O_CREATE|os.O_WRONLY, 0600)
	if err != nil {
		log.Fatalln(err)
	}
	defer file.Close()

	writer := bufio.NewWriter(file)

	for {
		recv, err := req.Recv()
		if err == io.EOF {
			break
		}
		fmt.Println(fmt.Sprintf("写入数据 %d 字节", len(recv.Content)))
		writer.Write(recv.Content)
	}

	writer.Flush()

	// 注意方法上响应只有error，response是从这里返回的，而没有写在方法上
	req.SendAndClose(&client_stream.Response{Text: "服务端接收完成啦！"})
	return nil
}

func main() {
	// 监听端口
	listen, err := net.Listen("tcp", ":8080")
	if err != nil {
		grpclog.Fatalf("Failed to listen err:%v", err)
	}

	// 创建一个grpc服务器实例
	s := grpc.NewServer()
	server := FileUploadService{}

	// 将server结构体注册为grpc服务
	client_stream.RegisterClientStreamServer(s, &server)
	fmt.Println("grpc server running:8080")

	// 开始处理客户端请求
	err = s.Serve(listen)
}

4、客户端代码file_upload_client.go

注意：全部上传完成后，才告知服务端发送结束了，并通过resp, err := stream.CloseAndRecv()接收服务端的响应

package main

import (
	"context"
	"fmt"
	"golang-trick/32-grpc/grpc_proto/client_stream"
	"io"
	"log"
	"os"

	"google.golang.org/grpc"
)

func main() {
	addr := ":8080"
	//使用grpc.Dial 创建一个到指定的地址的 grpc 连接
	conn, err := grpc.Dial(addr, grpc.WithInsecure())
	if err != nil {
		log.Fatalf(fmt.Sprintf("grpc connect adddr[%s] failed,err:%v", addr, err))
	}

	defer conn.Close()

	// 初始化客户端
	client := client_stream.NewClientStreamClient(conn)

	stream, err := client.UploadFile(context.Background())
	if err != nil {
		log.Fatalln(err)
	}

	file, err := os.Open("32-grpc/static/21.png")
	if err != nil {
		log.Fatalln(err)
	}
	defer file.Close()

	for {
		buf := make([]byte, 1024)
		_, err := file.Read(buf)
		if err == io.EOF {
			break
		}

		if err != nil {
			break
		}

		stream.Send(&client_stream.FileRequest{
			Content: buf,
		})
	}

	// 全部上传完成后，在这里告知服务端发送结束了，并接收服务端的响应
	resp, err := stream.CloseAndRecv()
	fmt.Println(resp, err)

}

启动服务端和客户端，可以看到上传成功
在这里插入图片描述

五、双向流：聊天

双向流能想到的最简单的场景就是聊天，一来一回的，就是在proto文件的接口上request和response前都加上stream，具体如何使用就要用的时候再查下吧，哈哈哈

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/232178.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

pycharm安装

pycharm安装

1.先去官网下载pycharm 2.下载python3.8 3.修改pip镜像 4.如果有环境变量没加的加一下
阅读更多...
一加 12 Pop-up快闪活动来袭，十城联动火爆开启

一加 12 Pop-up快闪活动来袭，十城联动火爆开启

12 月 9 日，一加 12 Pop-up 快闪活动在北京、深圳、上海、广州等十城联动开启，各地加油欢聚快闪现场，抢先体验与购买一加 12。作为一加十年超越之作，一加 12 全球首发拥有医疗级护眼方案和行业第一 4500nit 峰值亮度的 2K 东方屏、…
阅读更多...
我尝试用 AI 来做数据分析，结果差强人意！

我尝试用 AI 来做数据分析，结果差强人意！

大家好，我是木川 工作中经常会需要分析数据 1、统计分析，计算某项指标的均值、分位数、标准差等 2、相关性分析，比如分析销售额与顾客年龄、顾客性别、促销活动等的相关性 3、可视化分析，比如绘制柱状图、折线图、散点图等 有了 A…
阅读更多...
Java网络编程——对象的序列化与反序列化

Java网络编程——对象的序列化与反序列化

当两个进程进行远程通信时，彼此可以发送各种类型的数据，如文本、图片、语音和视频等。无论是何种类型的数据，都会以二进制序列的形式在网络上传送。当两个Java进程进行远程通信时，一个进程能否把一个Java对象发送给另一个进程呢&a…
阅读更多...
本地部署语音转文字（whisper，SpeechRecognition）

本地部署语音转文字（whisper，SpeechRecognition）

本地部署语音转文字 1.whisper1.首先安装Chocolatey2.安装3.使用 2.SpeechRecognition1.环境2.中文包3.格式转化4.运行 3.效果 1.whisper 1.首先安装Chocolatey https://github.com/openai/whisper 以管理员身份运行PowerShell Set-ExecutionPolicy Bypass -Scope Process -…
阅读更多...
自动化测试框架性能测试报告模板

自动化测试框架性能测试报告模板

一、项目概述 1.1 编写目的 本次测试报告，为自动化测试框架性能测试总结报告。目的在于总结我们课程所压测的目标系统的性能点、优化历史和可优化方向。 1.2 项目背景 我们公开课的性能测试目标系统。主要是用于我们课程自动化测试框架功能的实现，以及…
阅读更多...
记录 | ubuntu监控cpu频率、温度等

记录 | ubuntu监控cpu频率、温度等

ubuntu监控cpu频率、温度等 采用 i7z 进行监控，先安装： sudo apt install i7z -ysudo i7z
阅读更多...
基于51单片机的多模式智能闹钟系统【代码+仿真+论文+PPT等16个文件资料】

基于51单片机的多模式智能闹钟系统【代码+仿真+论文+PPT等16个文件资料】

一、项目功能简介 整个设计系统由STC89C52单片机LCD1602显示模块DS1302模块温度模块存储模块矩阵按键模块组成。 具体功能： 1、智能闹钟正常模式显示阳历年、月、日、星期、小时、分、秒； 2、可设置时间和日期； 3、 LCD显示当前温度&…
阅读更多...
游戏玩家升级不伤手之选，光威龙武系列超强性能

游戏玩家升级不伤手之选，光威龙武系列超强性能

得益于国产存储芯片的崛起，现在的内存条价格太香了。要放在前几年，购买内存条时都会优先考虑国际一线品牌。随着内存条行业发生巨变，国产品牌光威GLOWAY，是全球前三的内存模组厂商嘉合劲威旗下品牌，它推出的内存条产品…
阅读更多...
十八、FreeRTOS之FreeRTOS任务通知

十八、FreeRTOS之FreeRTOS任务通知

本节需要掌握以下内容： 1、任务通知的简介（了解） 2、任务通知值和通知状态（熟悉） 3、任务通知相关API函数介绍（熟悉） 4、任务通知模拟信号量实验（掌握） 5、任务通知…
阅读更多...
JOSEF约瑟 接触式中间继电器 JZC1-53 AC220V 导轨安装

JOSEF约瑟 接触式中间继电器 JZC1-53 AC220V 导轨安装

系列型号 JZC1-22中间继电器；JZC1-44中间继电器； JZC1-62中间继电器；JZC1-80中间继电器； JZC1-71中间继电器；JZC1-53中间继电器； JZC1-32中间继电器；JZC1-40中间继电器； JZC1-31中间…
阅读更多...
HarmonyOS4.0从零开始的开发教程10Video组件的使用

HarmonyOS4.0从零开始的开发教程10Video组件的使用

HarmonyOS（九）Video组件的使用 概述 在手机、平板或是智慧屏这些终端设备上，媒体功能可以算作是我们最常用的场景之一。无论是实现音频的播放、录制、采集，还是视频的播放、切换、循环，亦或是相机的预览、拍照等功能…
阅读更多...
【Python】翻译包translate

【Python】翻译包translate

在Python里，可以用translate包完成语言的翻译转化 import translatetrantranslate.Translator(from_lang"ZH",to_lang"JA") strtran.translate("今天的天气怎么样")print(str)
阅读更多...
四招打造完美分层自动化测试框架，让测试更高效！

四招打造完美分层自动化测试框架，让测试更高效！

写在前面 我们刚开始做自动化测试，可能写的代码都是基于原生写的代码，看起来特别不美观，而且感觉特别生硬。 来看下面一段代码： 具体表现如下： driver对象在测试类中显示 定位元素的value值在测试类中显示 定位元素…
阅读更多...
【Vue+Python】—— 基于Vue与Python的图书管理系统

【Vue+Python】—— 基于Vue与Python的图书管理系统

文章目录 🍖 前言🎶一、项目描述✨二、项目展示🏆三、撒花 🍖 前言 【VuePython】—— 基于Vue与Python的图书管理系统 🎶一、项目描述 描述： 本项目为《基于Vue与Python的图书管理系统》，项目…
阅读更多...
【出现模块node_modules里面包找不到】

【出现模块node_modules里面包找不到】

#pic_center R 1 R_1 R1​ R 2 R^2 R2 目录 一、出现的问题二、解决办法三、其它可供参考 一、出现的问题 在本地运行 npm run docs:dev之后，出现 Error [ERR_MODULE_NOT_FOUND]: Cannot find package Z:\Blog\docs\node_modules\htmlparser2\ imported from Z:\Blo…
阅读更多...
建行驻江门市分行纪检组以廉政家访助推廉洁家风

建行驻江门市分行纪检组以廉政家访助推廉洁家风

为强化员工行为管理，深入了解员工的家庭情况以及员工8小时以外的生活，近日，建行驻江门市分行纪检组组长带队对两名青年纪检员开展廉政家访。 驻行纪检组组长亲切问候并访谈了青年纪检员的家庭成员，详细了解其家庭生活情况&#x…
阅读更多...
类的生命周期

类的生命周期

加载：通过类的完全限定名，查找此类的二进制字节码文件，利用字节码文件创建Class对象 验证：验证类是否符合JVM规范，安全行检查 文件格式验证、元数据验证、字节码验证。格式检查如：文件格式是否错误、语法是…
阅读更多...
【C语言】操作符详解（二）

【C语言】操作符详解（二）

目录 移位操作符 左移操作符 右移操作符 位操作符:&、|、^、~ 一道面试题 移位操作符 <<左移操作符 >>右移操作符注:移位…
阅读更多...
IEEE期刊论文模板

IEEE期刊论文模板

一、模板下载 1、登陆IEEE作者中心Author Center 地址&#xff1a;Publish with IEEE Journals - IEEE Author Center Journals 2、点击“Download a template” 3、在弹出的模板下载页面点击IEEE模板选择器“IEEE Template Selector” 4、在弹出的模板选择器页面点击“Tran…
阅读更多...
最新文章

Copyright @ 2022~2023