本文使用「署名 4.0 国际 (CC BY 4.0)」许可协议，欢迎转载、或重新修改使用，但需要注明来源。 [署名 4.0 国际 (CC BY 4.0)](https://creativecommons.org/licenses/by/4.0/deed.zh) 本文作者: 苏洋 创建时间: 2023年05月21日 统计字数: 6730字 阅读时间: 14分钟阅读 本文链接: https://soulteary.com/2023/05/21/run-python-code-with-golang-and-docker.html ----- # 使用 Golang 和 Docker 运行 Python 代码 本篇文章聊聊如何使用 Golang 来运行 Python 代码，用 Python 现成软件包来偷个懒儿，来少写一些代码。 ## 写在前面 最近折腾了一些“陈年项目”，不少都是使用 Python 实现的。而我在折腾的项目的代码主要是使用 Golang 实现的。改写这些项目中的基础逻辑并不麻烦，借助 ChatGPT ，都是分分钟的事情。 但是有一些项目依赖的 Python 软件包，却让我为了难： 1. Go 官方没有提供功能相等的，测试完备的替代包。 2. 开源社区没有实现功能相近的软件包，或者实现的程序缺乏测试保障。 3. 重新从零到一实现，意味着大量的时间消耗，尤其是具备大量测试用例的 Python 项目，比如：[https://github.com/derek73/python-nameparser](https://github.com/derek73/python-nameparser) 作为一个有追求的工程师，我们首先需要排除掉使用 `os/exec` 这类方式，丑陋（不可靠、不稳定）的使用 Shell 来执行 Python 代码。 完整代码开源在 [soulteary/docker-python-in-go](https://github.com/soulteary/docker-python-in-go)，你可以自取。 在折腾之前，我们先聊聊原理和场景限制。 ## 实现原理和场景限制 2018 年 11 月，DataDog 团队借鉴社区成名已久的 [sbinet/go-python](https://github.com/sbinet/go-python) 项目，创建了 [DataDog/go-python3](https://github.com/DataDog/go-python3) 项目，提供了 Go 语言和 CPython-3 API 的绑定。 但可惜的是，在 2021 年 12 月 1 日，DataDog 团队宣布存档项目。值得庆幸的是，官方宣布项目交由 [go-python/cpy3](https://github.com/go-python/cpy3) 继续维护。 不过，随着 Python 的版本迭代和变动，项目陷入了困境： - Python 3.8 中，需要[调整 Python 源码实现](https://github.com/christian-korneck/go-python3/commit/6f8fd23d06e2fa4720e79df61d86f3b694061636)，移除 `PyEval_ReInitThreads` 函数，才能够正常工作。 - Python 3.9 之后，Python C API 中更是[移除了](https://docs.python.domainunion.de/3/whatsnew/3.9.html#id3) `PyDict_ClearFreeList` 的接口支持，导致项目不能继续兼容运行。 **所以，如果我们愿意调整 Python 源码，那么我们可以使用 3.8 版本的 Python，否则方案就只能在 3.7 版本的 Python 运行。** 除了不同版本 Python 本身的“接口”限制之外，还有一个硬件相关的限制。我们身边越来越多同学购置了 M1 / M2 芯片的 Mac ，但是 Python 3.8 之前，支持 ARM 芯片，会出现比较多的编译问题。除了 Python 之外，Golang 1.17.7 及之前的版本也对 M1 / M2 芯片存在兼容性问题。 **所以，如果我们需要支持 M1 / M2 的设备，那么我们需要使用社区维护者[调整过源码的 Python 3.8](https://github.com/christian-korneck/go-python3)，以及比较新版本的 Golang。** ### 使用 Docker 解决上面的环境依赖问题 在 2023 年，许多系统、软件都产生了非常多的变化。如果我们按照网上的方式来，可能会遇到这样或者那样的问题。**好在，我们还有一条简单可靠的路：Docker。** 虽然，社区维护者 [Christian Korneck](https://github.com/christian-korneck) 提供了[一些例子](https://github.com/go-python/cpy3/discussions/18)，但其实在容器里无论是安装 Python 还是 Golang，都会引入不必要的额外变量。 我们有更好的方案，直接基于 Python 和 Golang 的官方提供的镜像，来制作构建环境和运行环境，让 Docker 容器既小巧又可靠。 ## 编程实战 好了，前置的相关知识，到这里就了解的差不多了。下面，我们来聊聊如何折腾它。 ### 准备 Python 程序 我们以前文中提到的 Python 软件包 [derek73/python-nameparser](https://github.com/derek73/python-nameparser) 为例，编写一个简单的 Python 程序片段，能够“简单快速的解析人名”。 ```python from nameparser import HumanName print(HumanName("Dr. Juan Q. Xavier de la Vega III (Doc Vega)").as_dict()) ``` 将上面的代码保存为 `app.py`，然后使用 `python app.py` 执行这个程序，验证程序能够正常运行。 ```bash # python app.py {'title': 'Dr.', 'first': 'Juan', 'middle': 'Q. Xavier', 'last': 'de la Vega', 'suffix': 'III', 'nickname': 'Doc Vega'} ``` 程序准备完毕之后，我们来完成 Golang 部分的实现。 ### 实现 Golang 程序 Golang 的程序实现也不复杂，我们可以将上面的代码直接 HardCode 到 Go 里，或者使用 `os`、`io` 包里的函数，来读取我们的 Python 程序，大概 20 行内就能解决战斗。 ```go package main import ( python3 "github.com/go-python/cpy3" ) func main() { defer python3.Py_Finalize() python3.Py_Initialize() code := ` from nameparser import HumanName print(HumanName("Dr. Juan Q. Xavier de la Vega III (Doc Vega)").as_dict()) ` python3.PyRun_SimpleString(code) } ``` 这部分代码的备份，你在 [soulteary/docker-python-in-go/app/main.go](https://github.com/soulteary/docker-python-in-go/blob/main/app/main.go) 可以找到。 ### 使用 Docker 完成程序构建 这里，我们先来实现一个最简的 Docker 配置： ```Docker # Base Images FROM golang:1.20.4-alpine3.18 AS go-builder FROM python:3.7-alpine3.18 AS builder # Base Builder Env COPY --from=go-builder /usr/local/go/ /usr/local/go/ ENV PATH="/usr/local/go/bin:${PATH}" RUN python -m pip install --upgrade pip RUN apk add build-base pkgconfig ENV PKG_CONFIG_PATH=/usr/local/lib/pkgconfig/ ENV CGO_ENABLED=1 # Copy source code COPY app /app WORKDIR /app # Install deps RUN pip install nameparser && \ go mod init human-name && \ go mod tidy # Build the binary RUN go build -o HumanName # Run Image FROM python:3.7-alpine3.18 # Copy Python Deps COPY --from=builder /usr/local/lib/python3.7/site-packages/nameparser /usr/local/lib/python3.7/site-packages/nameparser # Copy binary COPY --from=builder /app/HumanName /HumanName CMD ["/HumanName"] ``` 将上面的内容保存为 `Dockerfile`，然后使用下面的命令构建镜像： ```bash docker build -t soulteary/python-in-golang . ``` 镜像构建过程中，我们将看到类似下面的日志： ```bash # docker build -t soulteary/python-in-golang . [+] Building 2.5s (18/18) FINISHED => [internal] load build definition from Dockerfile 0.0s => => transferring dockerfile: 37B 0.0s => [internal] load .dockerignore 0.0s => => transferring context: 2B 0.0s => [internal] load metadata for docker.io/library/python:3.7-alpine3.18 2.4s => [internal] load metadata for docker.io/library/golang:1.20.4-alpine3.18 1.5s => [auth] library/python:pull token for registry-1.docker.io 0.0s => [builder 1/8] FROM docker.io/library/python:3.7-alpine3.18@sha256:f48c5f6a8a22a73558ea93eb26d2c7928d23f2acb2bb9270be9a08 0.0s => [go-builder 1/1] FROM docker.io/library/golang:1.20.4-alpine3.18@sha256:ee2f23f1a612da71b8a4cd78fec827f1e67b0a8546a98d25 0.0s => [internal] load build context 0.0s => => transferring context: 56B 0.0s => CACHED [builder 2/8] COPY --from=go-builder /usr/local/go/ /usr/local/go/ 0.0s => CACHED [builder 3/8] RUN python -m pip install --upgrade pip 0.0s => CACHED [builder 4/8] RUN apk add build-base pkgconfig 0.0s => CACHED [builder 5/8] COPY app /app 0.0s => CACHED [builder 6/8] WORKDIR /app 0.0s => CACHED [builder 7/8] RUN pip install nameparser && go mod init human-name && go mod tidy 0.0s => CACHED [builder 8/8] RUN go build -o HumanName 0.0s => CACHED [stage-2 2/3] COPY --from=builder /usr/local/lib/python3.7/site-packages /usr/local/lib/python3.7/site-packages 0.0s => CACHED [stage-2 3/3] COPY --from=builder /app/HumanName /HumanName 0.0s => exporting to image 0.0s => => exporting layers 0.0s => => writing image sha256:8c4e43d26afff57ef65cc8431d3c0a01e57ad43e2acbe3f90ac5a5b6c5edab12 0.0s => => naming to docker.io/soulteary/python-in-golang ``` 镜像构建完毕，执行下面的命令，就能够验证程序是否正常了： ```bash docker run --rm -it soulteary/python-in-golang ``` 不出意外，程序将输出下面的内容： ```bash # docker run --rm -it soulteary/python-in-golang {'title': 'Dr.', 'first': 'Juan', 'middle': 'Q. Xavier', 'last': 'de la Vega', 'suffix': 'III', 'nickname': 'Doc Vega'} ``` 好了，在 Golang 中运行 Python 程序，到这里就基本搞定啦。 当我们观察构建好的镜像，能够看到，我们构建的镜像仅仅比官方原始镜像增加了 1.9 MB，是不是非常“环保”。 ```bash # go-name docker images | grep python soulteary/python-in-golang latest 8218d4d4b16b About a minute ago 48.9MB python 3.7-alpine3.18 e4fbc12a05a9 11 days ago 47MB ``` ### 使用镜像加速构建过程 为了能够让镜像构建速度加快，我们可以为 Python 和 Golang ，以及我们所使用的系统 Alpine 添加软件源镜像。 ```Docker # Base Images FROM golang:1.20.4-alpine3.18 AS go-builder FROM python:3.7-alpine3.18 AS builder # Base Builder Env COPY --from=go-builder /usr/local/go/ /usr/local/go/ ENV PATH="/usr/local/go/bin:${PATH}" # Set Alpine Mirror RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.tuna.tsinghua.edu.cn/g' /etc/apk/repositories RUN python -m pip install --upgrade pip # Set PyPi Mirror RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple RUN apk add build-base pkgconfig ENV PKG_CONFIG_PATH=/usr/local/lib/pkgconfig/ ENV CGO_ENABLED=1 # Set Golang Mirror ENV GOPROXY="https://goproxy.cn" # Copy source code COPY app /app WORKDIR /app # Install deps RUN pip install nameparser && \ go mod init human-name && \ go mod tidy # Build the binary RUN go build -o HumanName # Run Image FROM python:3.7-alpine3.18 # Copy Python Deps COPY --from=builder /usr/local/lib/python3.7/site-packages/nameparser /usr/local/lib/python3.7/site-packages/nameparser # Copy binary COPY --from=builder /app/HumanName /HumanName CMD ["/HumanName"] ``` ## 最后 其实在 Golang 中运行 Python 除了本文的方法，以及在文章前面我们避免的方法之外，还有两种方案，有机会我们再展开聊聊。 好了，这篇文章，就先写到这里啦。 --EOF