Google宣布推出TensorFlow Serving 1.0

512 阅读2分钟
发布人:软件工程师 Kiril Gorovoy

TensorFlow Serving 是一个针对生产环境设计的高性能机器学习模型维护系统,自从我们在 2016 年 2 月发布其初始开放源代码版本以来,已对其进行了很大的改进。今天,我们很高兴地宣布推出 TensorFlow Serving 1.0。1.0 版本是基于 TensorFlow 的初始版本而构建的,后续版本将与 TensorFlow 版本保持相同的次要版本。

如需详细了解此系统,请观看 Noah Fiedel 在 Google I/O 2017 大会上所作的演讲



我们最初宣布此项目时,它只是一组用于管理模型生命周期和响应推理请求的核心功能库。后来,我们引入了一个 gRPC Model Server 二进制文件和 Predict API,并给出了一个如何在 Kubernetes 中部署它的示例。自此以后,我们努力扩展它的功能,以适应不同的用例,并使此 API 趋于稳定,以满足用户需求。目前,Google 内部已有 800 多个项目将 TensorFlow Serving 投入生产环境。我们对服务器和 API 进行了严格测试,使得其实现稳定、可靠并且高效。

我们听取了开放源代码社区的意见,并提供可通过 apt-get install 获取的预生成二进制文件,对此我们感到非常兴奋。现在,您只需安装并运行,即可开始使用 TensorFlow Serving,而无需在编译上浪费时间。和往常一样,仍然可以在非 Linux 系统中使用 Docker 容器来安装此服务器二进制文件。

在此版本中,TensorFlow Serving 还正式弃用并停止支持旧版 SessionBundle 模型格式。现在,SavedModel 是正式支持的格式,它是 TensorFlow 在 TensorFlow 1.0 中引入的模型格式。

在开始操作前,请查阅项目文档和我们的教程。尽情体验 TensorFlow Serving 1.0 吧!