golang调用python
Golang调用Python
Python是时髦的机器学习御用开发语言,Golang是大红大紫的新时代后端开发语言。Python很适合让搞算法的写写模型,而Golang很适合提供API服务,而我最近碰到一个场景,在golang提供Api的服务时需要爬取别的页面的数据,而python是爬取数据最好的语言,于是我就想到了Go服务调用python模块处理数据。
原理
Python提供了丰富的C-API。而C和Go又可以通过cgo无缝集成。所以,直接通过Golang调用libpython,就可以实现Go调Python的功能了。确实没啥神奇,只要会用C调Python,马上就知道怎么用了。但问题是,如果有的选择,这个年代还有多少人愿意去裸写C和C++呢?诚心默念Golang大法好。虽然直接用cgo调用libpython也不是不可以,但是有native-binding用起来肯定要爽的多,Github上有一个现成的Binding库go-python。
准备工作
Linux
安装golang
安装python
我自己利用docker构建了一个镜像。安装了 golang,python2.7
docker pull shaynemiller/go-python
代码
将golang调用代码写成对象
package cpython import ( "fmt" python "github.com/sbinet/go-python" ) func init() { err := python.Initialize()//加载python if err != nil { panic(err.Error()) } } var PyStr = python.PyString_FromString//将golang字符串转python字符串 var GoStr = python.PyString_AS_STRING//python字符串转golang字符串 type PythonTools struct { Moudle string //模块路径 //Path string Param string //调用函数传入参数 Func string//包名(取名取错了) Name string //调用函数名 } func NewPythonTools(moudle, name, param, funcname string) *PythonTools { return &PythonTools{ Moudle: moudle, Param: param, Func: funcname, Name: name, } } func (pt *PythonTools) Do() string { //获取系统中python的包 pt.InsertBeforeSysPath() //获取模块 module := pt.ImportModule() //获取脚本中的变量(假如python中有a这个变量) a := module.GetAttrString("a") fmt.Printf("[VARS] a = %#v\n", python.PyInt_AsLong(a)) //获取函数 funcname := module.GetAttrString(pt.Func) //转换参数 列表参数使用Tuple来构建。 param := python.PyTuple_New(1) python.PyTuple_SetItem(param, 0, PyStr(pt.Param)) //调用函数 res := funcname.Call(param, python.Py_None) //将调用结果转换成golang字符串并返回 return GoStr(res) } func (pt *PythonTools) InsertBeforeSysPath() string { sysModule := python.PyImport_ImportModule("sys") path := sysModule.GetAttrString("path") //python.PyList_Insert(path, 0, PyStr("/usr/local/lib/python2.7/site-packages"))传入的是系统中python包的路径 python.PyList_Insert(path, 0, PyStr("/usr/local/lib/python2.7/site-packages")) return GoStr(path.Repr()) } // ImportModule will import python module from given directory func (pt *PythonTools) ImportModule() *python.PyObject { sysModule := python.PyImport_ImportModule("sys") // import sys path := sysModule.GetAttrString("path") // path = sys.path python.PyList_Insert(path, 0, PyStr(pt.Moudle)) // path.insert(0, dir) return python.PyImport_ImportModule(pt.Name) // return __import__(name) }
python脚本
#! -*- coding:utf8 -*- __author__ = 'zyx' a = 1 def test(param): print(param)
调用方法
pyTools := cpython.NewPythonTools("/usr/local/src/script/", "test", "test param", "test") res := pyTools.Do() println(res)
注
使用GetAttrString可以根据属性名获取对象的属性,相当于python中的.操作。调用Python函数可以采用Object.Call方法,,列表参数使用Tuple来构建。返回值用PyString_AS_STRING从Python字符串转换为C或Go的字符串。
更多用法可以参考Python-C API文档。