gRPC(Go)入门教程(一)—Protobuf介绍及其编译原理
1. 概述
Protocol buffers 是一种语言无关、平台无关的可扩展机制或者说是数据交换格式,用于序列化结构化数据。与 XML、JSON 相比,Protocol buffers 序列化后的码流更小、速度更快、操作更简单。
Protocol buffers are a language-neutral, platform-neutral extensible mechanism for serializing structured data.
2. Protocol Compiler
protoc 用于编译 protocolbuf (.proto文件) 和 protobuf 运行时。
protoc 是 C++ 写的,比较简单的安装方式是直接下载编译好的二进制文件。
release 版本下载地址如下
https://github.com/protocolbuffers/protobuf/releases
下载操作系统对应版本然后解压然后配置一下环境变量即可。
比如windows就下载protoc-3.14.0-win64.zip 然后把解压后的xxx\protoc-3.14.0-win64\bin配置到环境变量。
linux则下载protoc-3.14.0-linux-x86_64.zip
解压
$ unzip protoc-3.14.0-linux-x86_64.zip -d protoc-3.14.0-linux-x86_64
新增环境变量
$ sudo vim /etc/profile
增加如下内容
#记得改成自己的路径 export PATH=$PATH:/home/lixd/17x/protoc-3.14.0-linux-x86_64/bin
使其生效
$ source /etc/profile
查看是否安装成功
$ protoc --version libprotoc 3.14.0
3. Go Plugins
出了安装 protoc 之外还需要安装各个语言对应的编译插件,我用的 Go 语言,所以还需要安装一个 Go 语言的编译插件。
go get google.golang.org/protobuf/cmd/protoc-gen-go
4. Demo
创建.proto 文件
hello_world.proto
//声明 protobuf 版本 只有 proto3 才支持 gRPC syntax = "proto3"; // .表示生成go文件输出在当前目录,proto 表示生成go文件包名为proto option go_package = ".;proto"; // 指定当前proto文件属于helloworld包 package helloworld; // The greeting service definition. service Greeter { // Sends a greeting rpc SayHello (HelloRequest) returns (HelloReply) {} } // // The request message containing the user's name. message HelloRequest { string name = 1; } // The response message containing the greetings message HelloReply { string message = 1; }
protoc 编译
编译命令
# Syntax: protoc [OPTION] PROTO_FILES $ protoc --proto_path=IMPORT_PATH --go_out=OUT_DIR --go_opt=paths=source_relative path/to/file.proto
这里简单介绍一下 golang 的编译姿势:
–proto_path或者-I :指定 import 路径,可以指定多个参数,编译时按顺序查找,不指定时默认查找当前目录。 .proto 文件中也可以引入其他 .proto 文件,这里主要用于指定被引入文件的位置。 –go_out:golang编译支持,指定输出文件路径
比如:下面命令会在同级目录生成一个hello_world.pb.go的文件
protoc --proto_path=proto --go_out=proto --go_opt=paths=source_relative ./proto/hello_world.proto
--proto_path=proto 表示从 proto 目录下读取 proto 文件。 --go_out=proto表示生成的 Go 代码保存的路径。 --go_opt=paths=source_relative表示输出文件与输入文件放在相同的相对目录中。proto/hello_world.proto表示在 proto 目录下的proto/hello_world.proto文件。
其他语言则替换即可,比如 –java_out 等等
–go_opt:指定参数,比如–go_opt=paths=source_relative就是表明生成文件输出使用相对路径。
path/to/file.proto :被编译的 .proto 文件放在最后面
$ protoc --go_out=. hello_word.proto
编译后会生成一个hello_word.pb.go文件。
到此为止就ok了。
5. 编译过程
可以把 protoc 的编译过程分成简单的两个步骤:
1)解析 .proto 文件,编译成 protobuf 的原生数据结构保存在内存中;
2)把 protobuf 相关的数据结构传递给相应语言的编译插件,由插件负责将接收到的 protobuf 原生结构渲染输出为特定语言的模板。
具体过程如图所示:
protoc 中原生包含了部分语言(java、php、python、ruby等等)的编译插件,但是没有 Go 语言的,所以需要额外安装一个插件。
具体原生支持见源码https://github.com/protocolbuffers/protobuf/blob/master/src/google/protobuf/compiler/main.cc
同样的,后续讲到的 gRPC Plugins、gRPC-Gateway 也是一个个的 protoc 编译插件,将 .proto 文件编译成对应模块需要的源文件。