阅读 1144

Boa 是如何打通 Python 与 Node.js 世界的?

文/Yorkie

今天,给大家介绍一个 Pipcook 背后的技术—— Boa。通过它,开发者可以调用到任何 Python 的函数,当然就包括:numpy、scikit-learn、jieba 等大家熟知的 Python 库,如果想直接使用 tensorflow、pytorch、tvm 等也不在话下。

先来看一个例子:

const boa = require('@pipcook/boa');
const torchtext = boa.import('torchtext');
const { get_tokenizer } = torchtext.data.utils;
const tokenizer = get_tokenizer('basic_english');
const str = 'MEMPHIS, Tenn. – Four days ago, Jon Rahm was \
    enduring the season’s worst weather conditions on Sunday at The \
    Open on his way to a closing 75 at Royal Portrush, which \
    considering the wind and the rain was a respectable showing. \
    Thursday’s first round at the WGC-FedEx St. Jude Invitational \
    was another story. With temperatures in the mid-80s and hardly any \
    wind, the Spaniard was 13 strokes better in a flawless round. \
    Thanks to his best putting performance on the PGA Tour, Rahm \
    finished with an 8-under 62 for a three-stroke lead, which \
    was even more impressive considering he’d never played the \
    front nine at TPC Southwind.';
console.log(tokenizer(str));
复制代码

上面的代码其实理解起来很简单,通过 boa.import 来加载 Python 模块 torchtext,然后获取到 torchtext.d.utils 的 get_tokenizer 方法,接着就是将一串字符串传入这个方法中,并获得结果。

尽管 tokenizer 内部的实现非常简单,但通过这个示例,大概能知道 Boa 要做的事了,那就是让你能够无缝地使用 Python 生态中的库,我们再来看一个稍微复杂的示例:

const boa = require('@pipcook/boa');
const torch = boa.import('torch');
const torchtext = boa.import('torchtext');
const { nn, optim } = torch;
const { DataLoader, dataset } = torch.utils.data;
const { text_classification } = torchtext.datasets;
const [train_dataset] = text_classification.DATASETS['AG_NEWS'](boa.kwargs({
  root: './.data',
  ngrams: 2,
  vocab: null,
}));
class TextSentiment extends nn.Module {
  constructor(sizeOfVocab, dimOfEmbed, numOfClass) {
    super();
    this.embedding = nn.EmbeddingBag(sizeOfVocab, dimOfEmbed, boa.kwargs({
      sparse: true,
    }));
    this.fc = nn.Linear(dimOfEmbed, numOfClass);
    this.init_weights();
  }
  init_weights() {
    const initrange = 0.5
    this.embedding.weight.data.uniform_(-initrange, initrange);
    this.fc.weight.data.uniform_(-initrange, initrange);
    this.fc.bias.data.zero_();
  }
  forward(text, offsets) {
    const embedded = this.embedding(text, offsets);
    return this.fc(embedded);
  }
}
复制代码

我们通过这个例子可以看到,通过 Boa 我们 import 了 PyTorch 的模块,并使用了它在 Python 中的 ,来定义一个 TextSentiment 类,它继承自 PyTorch 中的 nn.Module。

好了,关于 Boa 更完整的用法和文档,大家可以去这里:alibaba.github.io/pipcook/#/t…


接下来,我们进入正题,来看看它背后的故事。

首先,我们要想从 Node.js 中调用到 Python,就需要知道如何将 Python 嵌入到其他运行环境,这里大家可以看一下 Python 的官方文档:docs.python.org/3/extending…

看文档的过程中,大家可能会看到一个名词:CPython,这里先为大家稍微解释解释,Python 是一种编程语言规范,而 CPython 则是官方提供的一种 Python 实现,它基于 C 实现,并且可以方便地嵌入到其他系统中。

正如上面的文档所说的,CPython 提供了丰富的操作 Python 的接口,比如:初始化、加载模块、创建对象等,大家其实可以把 CPython 看作是一个对象数据库,我们通过这些接口就能对 Python 世界(CPython)中的各种对象进行各种操作(读和写),因此最后我们要做的就是使用 N-API 和 CPython API,来把 JavaScript 中的各种函数映射到对 Python 世界中对象的操作。

比如,当我们调用 boa.import 的时候,其实是在 Node.js 的 v8 的环境中使用 CPython 的 PyImport_Import(name),当我们在调用一个 boa.import 返回的函数时,其实是调用了对应的 PyObject_Call()。感兴趣的同学可以看这里:docs.python.org/3/c-api/ind…,了解 CPython 到底提供了哪些接口。

以上,基本上解决了如何从 Node.js 调用到 Python 的问题,但是仍然有一些问题需要解决,那就是如何让我们调用 Python 函数、获取对象成员、数组的时候,看起来就像使用 JavaScript 中的函数、对象和数组一样,否则我们的代码可能看起来就是:

const torch = boa.import('torch');
const DataLoader = torch.get('utils').get('data').get('DataLoader');
复制代码

一个简单的对象访问就要手写 N 遍 get,另一个例子如下:

const { len, tuple } = boa.builtins();
len.call([]);
tuple.call([]);
复制代码

通过上面的例子又可以看到,我们在调用 Python 函数的时候,又不得不每次都要使用 .call 来显式调用。那么在 Boa 中,上述的例子是怎么表达的呢?

const torch = boa.import('torch');
const { DataLoader } = torch.utils.data;
const { len, tuple } = boa.builtins();
len([]);
tuple([]);
复制代码

可以看到,Boa 中不仅可以使用 JavaScript 的方式来进行对象访问,还能使用 ES6 Destructor 来解构对象,简化我们的写法,而在函数调用方面,也跟我们平时调用 JavaScript 的方式没有任何区别,这样看上去就大大地降低了使用门槛。那么,这究竟是如何做到的呢?

这里我们依赖于 ES6 Proxy 特性,它允许我们创建一个新的对象,然后我们可以监听这个对象上的一些事件,比如对象访问、函数调用、new 关键字等,然后在这些事件中,再使用 C++ Addon 暴露的方法去操作 Python 中的对象,对这部分实现感兴趣的同学,可以看我们的源码了解:github.com/alibaba/pip…

好了,有了以上这两个能力后,这便成为了 Boa 的“雏形”了,为什么说是雏形呢?因为其实  Boa 仍然还有很长的路要走,比如对于 Python 中的 with 语法,现在仍然需要显示地声明 boa.with() 来使用,对于 Python 中的一些表达式,也只能通过 boa.eval() 来调用。

另一方面,在 Boa 中始终存在两个虚拟机,这样造成的一个最大的问题就是双倍的 GC,如何通过更好的方式,打通两个世界的对象树,从而能高效地管理整个运行时,也是 Boa 之后重要的课题之一。

最后,希望看到这里,仍然有兴趣来想参与 Boa 或 Pipcook 的人,就不要犹豫,欢迎来我们 GitHub 贡献你的想法和代码吧!

关注下面的标签,发现更多相似文章
评论