Python使用ctypes实现与C++互相调用的实践教程_Python

背景

小h上次使用了pybind11来调用c++的方法，这次同样是在项目中遇到了需要在py层调用c++方法的情况，现在对于性能的需求更加敏感，所以需要使用c++的底层方法来获得结果（当然也可能只是因为c++有这个方法，直接拿来用比较方便），选择ctypes应该也是因为这个比较方便吧。

示例

在c++侧，我们需要实现一个函数，然后导出一个动态库方法，这里楼主从py层传入了一个回调函数，返回了对应的字符结果。

在py侧，首先需要使用ctypes.cdll加载刚才编译出的动态库，声明对应的方法，之后实现一个回调函数进行传入。

c++动态库实现

#include <iostream>
#include <string>

// 回调类型：void callback(int, const char*)
using callbacktype = void(*)(int, const char*);

extern "c" {

// 导出函数：循环调用回调
void run_with_callback(callbacktype cb, int count) {
    if (!cb) {
        std::cerr << "[c++] callback is null" << std::endl;
        return;
    }

    std::cout << "[c++] run_with_callback start, count = " << count << std::endl;

    for (int i = 0; i < count; ++i) {
        std::cout << "[c++] before calling callback, i = " << i << std::endl;

        std::string message = "msg from c++ index = " + std::to_string(i);
        cb(i, message.c_str());  // 回调到 python

        std::cout << "[c++] after calling callback, i = " << i << std::endl;
    }

    std::cout << "[c++] run_with_callback end" << std::endl;
}

} // extern "c"

ps：c++ 默认会对函数名做 name mangling（名字改编），导致动态库中的符号名变复杂；ctypes按 c abi 去找函数名，如果不显式用 extern "c"，python 侧很难直接按名字找到

用cmake编译成动态库

cmake_minimum_required(version 3.10)
project(pyc_callback_demo languages cxx)

add_library(mycallback shared callback_lib.cpp)

set_target_properties(mycallback properties
    output_name "mycallback"
    cxx_standard 17
    cxx_standard_required yes
)

构建

mkdir -p build
cd build
cmake ..
cmake --build .

这样就得到了一个.so文件，供py侧加载。

python加载动态库并调用

用 @callback_ctype 装饰 python 函数，ctypes 会把它包装成 c 函数指针。
字符串参数在 python 中收到的是 bytes，需要手动解码

import ctypes
import pathlib
import os

# 当前文件所在目录
base_dir = pathlib.path(__file__).resolve().parent

lib_path = base_dir / "cpp_lib" / "build" / "libmycallback.so"

if not lib_path.exists():
    raise filenotfounderror(f"找不到动态库: {lib_path}. 请先在 cpp_lib 目录下用 cmake 编译生成 libmycallback.so")

# 加载动态库
lib = ctypes.cdll(str(lib_path))

# 定义 c 端回调类型
# 第二个参数用 ctypes.c_char_p（c 端是 const char*）
callback_ctype = ctypes.cfunctype(none, ctypes.c_int, ctypes.c_char_p)

# 声明 c 函数的签名：void run_with_callback(callbacktype cb, int count)
lib.run_with_callback.argtypes = [callback_ctype, ctypes.c_int]
lib.run_with_callback.restype = none


# python 侧的回调实现
@callback_ctype
def py_callback(i: int, msg: bytes) -> none:
    # msg 是 bytes，需要按合适编码解码，这里假设 utf-8
    text = msg.decode("utf-8") if msg is not none else "<null>"
    print(f"[python] in callback, i = {i}, msg = {text}")


def main() -> none:
    print("[python] before calling c function")

    # 调用 c++ 库函数，并把 python 回调传进去
    lib.run_with_callback(py_callback, 3)

    print("[python] after calling c function")


if __name__ == "__main__":
    main()