Thrift是Facebook于2007年开发的跨语言的rpc服框架,提供多语言的编译功能,并提供多种服务器工作模式;用户通过Thrift的IDL(接口定义语言)来描述接口函数及数据类型,然后通过Thrift的编译环境生成各种语言类型的接口文件,用户可以根据自己的需要采用不同的语言开发客户端代码和服务器端代码。
例如,我想开发一个快速计算的RPC服务,它主要通过接口函数getInt对外提供服务,这个RPC服务的getInt函数使用用户传入的参数,经过复杂的计算,计算出一个整形值返回给用户;服务器端使用java语言开发,而调用客户端可以是java、c、python等语言开发的程序,在这种应用场景下,我们只需要使用Thrift的IDL描述一下getInt函数(以.thrift为后缀的文件),然后使用Thrift的多语言编译功能,将这个IDL文件编译成C、java、python几种语言对应的“特定语言接口文件”(每种语言只需要一条简单的命令即可编译完成),这样拿到对应语言的“特定语言接口文件”之后,就可以开发客户端和服务器端的代码了,开发过程中只要接口不变,客户端和服务器端的开发可以独立的进行。
Thrift为服务器端程序提供了很多的工作模式,例如:线程池模型、非阻塞模型等等,可以根据自己的实际应用场景选择一种工作模式高效地对外提供服务;
Thrift的官方网站:http://thrift.apache.org/
Thrift是一种c/s的架构体系。TServer主要任务是高效的接受客户端请求,并将请求转发给Processor处理。
下载thrift编译软件:
brew install thrift
golang下载: go get github.com/apache/thrift/lib/go/thrift
python下载: sudo pip install thrift
thrift 采用IDL(Interface Definition Language)来定义通用的服务接口,并通过生成不同的语言代理实现来达到跨语言、平台的功能。在thrift的IDL中可以定义以下一些类型:基本数据类型,结构体,容器,异常、服务
基本类型中基本都是有符号数,因为有些语言没有无符号数,所以Thrift不支持无符号整型。
binary: Blob (byte array) a sequence of unencoded bytes
这是string类型的一种变形,主要是为Java使用,目前我主要使用C++的语言,所以java的这个类型没有用过
thrift中struct是定义为一种对象,和面向对象语言的class差不多.,但是struct有以下一些约束:
数字标签作用非常大,但是随着项目开发的不断发展,也许字段会有变化,但是建议不要轻易修改这些数字标签,修改之后如果没有同步客户端和服务器端会让一方解析出问题。
struct Report {
1: required string msg, //改字段必须填写
2: optional i32 type = 0; //默认值
3: i32 time //默认字段类型为optional
}
规范的struct定义中的每个域均会使用required或者 optional关键字进行标识。如果required标识的域没有赋值,Thrift将给予提示;如果optional标识的域没有赋值,该域将不会被序列化传输;如果某个optional标识域有缺省值而用户没有重新赋值,则该域的值一直为缺省值;如果某个optional标识域有缺省值或者用户已经重新赋值,而不设置它的__isset为true,也不会被序列化传输。
Thrift容器与目前流行编程语言的容器类型相对应,有3种可用容器类型:
list: 元素类型为t的有序表,容许元素重复。对应c++的vector,java的ArrayList或者其他语言的数组(官方文档说是ordered list不知道如何理解?排序的?c++的vector不排序)
set:元素类型为t的无序表,不容许元素重复。对应c++中的set,java中的HashSet,python中的set,php中没有set,则转换为list类型了
map
容器中元素类型可以是除了service外的任何合法Thrift类型(包括结构体和异常)。为了最大的兼容性,map的key最好是thrift的基本类型,有些语言不支持复杂类型的key,JSON协议只支持那些基本类型的key。
容器都是同构容器,不失异构容器。
例子
struct Test {
1: map<Numberz, UserId> user_map,
2: set<Numberz> num_sets,
3: list<Stusers> users
}
很多语言都有枚举,意义都一样。比如,当定义一个消息类型时,它只能是预定义的值列表中的一个,可以用枚举实现。说明:
编译器默认从0开始赋值
可以赋予某个常量某个整数
允许常量是十六进制整数
末尾没有分号
给常量赋缺省值时,使用常量的全称
注意,不同于protocal buffer,thrift不支持枚举类嵌套,枚举常量必须是32位的正整数
enum EnOpType {CMD_OK = 0, // (0)
CMD_NOT_EXIT = 2000, // (2000)
CMD_EXIT = 2001, // (2001)
CMD_ADD = 2002 // (2002)
}
struct StUser {
1: required i32 userId;
2: required string userName;
3: optional EnOpType cmd_code = EnOpType.CMD_OK; // (0)
4: optional string language = “english”
}
Thrift允许定义跨语言使用的常量,复杂的类型和结构体可使用JSON形式表示。
const i32 INT_CONST = 1234; const EnOpType myEnOpType = EnOpType.CMD_EXIT; //2001
说明:分号可有可无。支持16进制。
Thrift支持C/C++类型定义。
typedef i32 MyInteger // a
typedef StUser ReU // b
typedef i64 UserId
说明:a.末尾没有逗号。b. Struct也可以使用typedef。
Thrift结构体在概念上类似于(similar to)C语言结构体类型—将相关属性封装在一起的简便方式。Thrift结构体将会被转换成面向对象语言的类。
异常在语法和功能上类似于结构体,差别是异常使用关键字exception,而且异常是继承每种语言的基础异常类。
exception Extest {
1: i32 errorCode,
2: string message,
3: StUser userinfo
}
服务的定义方法在语义(semantically)上等同于面向对象语言中的接口。Thrift编译器会产生执行这些接口的client和server stub。具体参见下一节。
在流行的序列化/反序列化框架(如protocal buffer)中,Thrift是少有的提供多语言间RPC服务的框架。这是Thrift的一大特色。
Thrift编译器会根据选择的目标语言为server产生服务接口代码,为client产生stubs。
service SeTest { void ping(), bool postTweet(1: StUser user);
StUser searchTweets(1:string name);
oneway void zip()
}
Thrift中的命名空间类似于C++中的namespace和java中的package,它们提供了一种组织(隔离)代码的简便方式。名字空间也可以用于解决类型定义中的名字冲突。
由于每种语言均有自己的命名空间定义方式(如Python中有module), thrift允许开发者针对特定语言定义namespace:
namespace go com.example.test
namespace py com.example.test
namespace php com.example.test
Thrift支持C多行风格和Java/C++单行风格。
/*
* This is a multi-line comment.
* Just like in C.
*/
// C++/Java style single-line comments work just as well.
便于管理、重用和提高模块性/组织性,我们常常分割Thrift定义在不同的文件中。包含文件搜索方式与c++一样。Thrift允许文件包含其它thrift文件,用户需要使用thrift文件名作为前缀访问被包含的对象,如:
include "test.thrift"
...
struct StSearchResult {
1: in32 uid;
...
}
thrift文件名要用双引号包含,末尾没有逗号或者分号
参数:
描述:
TBinaryProtocol
二进制格式
TCompactProtocol
压缩格式
TJSONProtocol
JSON格式
TSimpleJSONProtocol
提供JSON只写协议, 生成的文件很容易通过脚本语言解析
TDebugProtocol
使用易懂的可读的文本格式,以便于debug
参数:
描述:
TSocket
阻塞式socker
TFramedTransport
以frame为单位进行传输,非阻塞式服务中使用
TFileTransport
以文件形式进行传输
TMemoryTransport
将内存用于I/O. java实现时内部实际使用了简单的ByteArrayOutputStream
TZlibTransport
使用zlib进行压缩, 与其他传输方式联合使用。当前无java实现
参数:
描述:
TSimpleServer
简单的单线程服务模型,常用于测试
TThreadPoolServer
多线程服务模型,使用标准的阻塞式IO
TNonblockingServer
多线程服务模型,使用非阻塞式IO(需使用TFramedTransport数据传输方式)
namespace go example
struct Data {
1: string text
}
service format_data {
Data do_format(1:Data data),
}
解析成go代码:thrift --out . --gen go example.thrift
解析成python代码:thrift --out . --gen py example.thrift
服务端的实现:
Handler
Processor
Protocol
Transport
TServer
/* server.go */
package main
import (
"context"
"fmt"
"log"
"test/example"
"github.com/apache/thrift/lib/go/thrift"
)
type FormatDataImpl struct{}
func (fdi *FormatDataImpl) DoFormat(ctx context.Context) (r string, err error) {
return "不好", nil
}
const (
HOST = "127.0.0.1"
PORT = "8080"
)
func main() {
handler := &FormatDataImpl{}
processor := example.NewFormatDataProcessor(handler)
serverTransport, err := thrift.NewTServerSocket(HOST + ":" + PORT)
if err != nil {
log.Fatalln("Error:", err)
}
transportFactory := thrift.NewTBufferedTransportFactory(10000000)
protocolFactory := thrift.NewTBinaryProtocolFactoryDefault()
server := thrift.NewTSimpleServer4(processor, serverTransport, transportFactory, protocolFactory)
fmt.Println("Running at:", HOST+":"+PORT)
err = server.Serve()
if err != nil {
log.Fatalln("Error:", err)
}
}
from thrift.protocol import TBinaryProtocol
from thrift.server import TServer
from thrift.transport import TSocket, TTransport
from example import format_data
__HOST = '127.0.0.1'
__PORT = 8080
class FormatDataImpl:
def do_format(self):
return "你好"
if __name__ == '__main__':
handler = FormatDataImpl()
processor = format_data.Processor(handler)
transport = TSocket.TServerSocket('127.0.0.1', 8080)
tfactory = TTransport.TBufferedTransportFactory()
pfactory = TBinaryProtocol.TBinaryProtocolFactory()
server = TServer.TSimpleServer(processor, transport, tfactory, pfactory)
print("Starting python server...")
server.serve()
print("done!")
package main
import (
"context"
"fmt"
"log"
"net"
"test/example"
"github.com/apache/thrift/lib/go/thrift"
)
const (
HOST = "127.0.0.1"
PORT = "8080"
)
func main() {
tSocket, err := thrift.NewTSocket(net.JoinHostPort(HOST, PORT))
if err != nil {
log.Fatalln("tSocket error:", err)
}
transport := thrift.NewTBufferedTransport(tSocket,10000000)
// transport, err := transportFactory.Gwt(tSocket)
// if err != nil {
// log.Fatalln("GetTransport error:", err)
// }
protocolFactory := thrift.NewTBinaryProtocolFactoryDefault()
client := example.NewFormatDataClientFactory(transport, protocolFactory)
if err := transport.Open(); err != nil {
log.Fatalln("Error opening:", HOST+":"+PORT)
}
defer transport.Close()
// data := example.Data{Text: "hello,world!as赵海宇"}
d, err := client.DoFormat(context.TODO() )
fmt.Println(d)
}
5.python客户端
from example import format_data
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
try:
# Make socket
transport = TSocket.TSocket('127.0.0.1', 8080)
# Buffering is critical. Raw sockets are very slow
transport = TTransport.TBufferedTransport(transport)
# Wrap in a protocol
protocol = TBinaryProtocol.TBinaryProtocol(transport)
# Create a client to use the protocol encoder
client = format_data.Client(protocol)
# Connect!
transport.open()
# data = format_data.Data(text="sada")
d = client.do_format()
print(d)
transport.close()
except Thrift.TException as tx:
print(tx.message)
github.com/apache/thrift/lib/go/thrift
和git.apache.org/thrift.git/lib/go/thrift
要统一用一个,不然会出问题ctx context.Context
参数.(老版本没有,网上很多的demo代码用新版的thrift会报错)参考文章:
手机扫一扫
移动阅读更方便
你可能感兴趣的文章