IOS 平台 TensorFlow 实践:实际应用教程(附源码)(二)

2,889 阅读13分钟
原文链接: click.aliyun.com

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud

 

作者简介:

1ade0f07bb4ebf3abbcb0fe6bf011337d5b397e3

MATTHIJS HOLLEMANS

荷兰人,独立开发者,专注于底层编码,GPU优化和算法研究。目前研究方向为IOS上的深度学习及其在APP上的应用。

推特地址:twitter.com/mhollemans

邮件地址:mailto:matt@machinethink.net

github地址:github.com/hollance

个人博客:machinethink.net/

 

  上一节中,我们介绍了在如何用TnesorFlow创建一个逻辑斯蒂回归分类器,接下来介绍如何将这个分类器运用在实际的app中。

在IOS上安装 TensorFlow

   前面已经训练好模型,下面创建一个利用TensorFlow C++ 库和这个模型的app。坏消息是你不得不从源构建TensorFlow,还需要使用Java环境;好消息是这个过程相对简单。完整的指导在这里,但是下面几步很重要(测试环境为TensorFlow 1.0)。

      首先你得安装好Xcode 8,确定开发者目录指向你安装Xcode的位置并且已经被激活。(如果你在安装Xcode之前已经安装了Homebrew,这可能会指向错误的地址,导致TensorFlow安装失败):

sudo xcode-select -s /Applications/Xcode.app/Contents/Developer

我们将使用名为bazel的工具来安装TensorFlow。先使用Homebrew安装所需要的包:

brew cask install java
brew install bazel
brew install automake
brew install libtool

完成之后,你需要克隆TensorFlow GitHub仓库。注意,一定要保存在没有空格的路径下,否则bazel会拒绝构建。我是克隆到我的主目录下:

cd /Users/matthijs
git clone https://github.com/tensorflow/tensorflow -b r1.0
  -b r1.0表明克隆的是 r1.0分支 。当然你也可以随时获取最新的分支 或者主分支。

Note:在MacOS Sierra 上,运行下面的配置脚本报错了,我只能克隆主分支来代替。在OS X EI Caption 上使用r1.0分支就不会有任何问题。

一旦GitHub仓库克隆完毕,你就需要运行配置脚本(configure script):

cd tensorflow
./configure

这里有些地方可能需要你自行配置,比如:

Please specify the location of python. [Default is /usr/bin/python]:	

我写的是/usr/local/bin/python3,因为我使用的是Python 3.6 。如果你选择默认选项,就会使用Python 2.7来创建TensorFlow 。

Please specify optimization flags to use during compilation [Default is 
-march=native]:

这里只需要按Enter键。后面两个问题,只需要选择n(表示 no)。当询问使用哪个Python库时,按Enter键选择默认选项(应该是Python 3.6 库)。剩下的问题都选择n。随后,这个脚本将会下载大量的依赖项并准备构建TensorFlow所需的一切。


构建静态库

有两种方法构建TensorFlow:1.在Mac上使用bazel工具;2.在IOS上,使用Makefile。我们是在IOS上构建,所以选择第2种方式。不过因为会用到一些工具,也会用到第一种方式。

在TensorFlow的目录中执行以下脚本:

tensorflow/contrib/makefile/build_all_ios.sh

这个脚本首先会下载一些依赖项,然后开始构建。一切顺利的话,它会创建三个链入你的app的静态库:libtensorflow-core.a, libprotobuf.a , libprotobuf-lite.a。

还有另外两个工具需要构建,在终端运行如下两行命令:

bazel build tensorflow/python/tools:freeze_graph
bazel build tensorflow/python/tools:optimize_for_inference

Note: 这个过程至少需要20分钟,因为它会从头开始构建 TensorFlow(本次使用的是bazel)。如果遇到问题,请参考 官方指导


在Mac上构建 TensorFlow

这一步是可选的,不过因为已经安装了所有需要的包,在Mac上构建TensorFlow就没那么困难了。使用pip包代替官方的TensorFlow包进行安装。

现在你就可以创建一个自定义的TensorFlow版本。例如,当运行train.py脚本时,如果出现“The TensorFlow library wasn’t compiled to use SSE4.1 instructions”提醒,你可以编译一个允许这些指令的TensorFlow版本。

在终端运行如下命令来构建TensorFlow:

bazel build --copt=-march=native -c opt //tensorflow/tools/pip_package:build_pip_package

bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
-march=native选项添加了对SSE,AVX,AVX2,FMA等指令的支持(如果这些指令能够在你的CPU上运行)。然后安装包:
pip3 uninstall tensorflow
sudo -H pip3 install /tmp/tensorflow_pkg/tensorflow-1.0.0-XXXXXX.whl

更多详细指令请参考TensorFlow网站


固化计算图

我们将要创建的app会载入之前训练好的模型,并作出预测。之前在train.py中,我们将图保存到了 /tmp/voice/graph.pb文件中。但是你不能在IOS app中直接载入这个计算图,因为图中的部分操作是TensorFlow C++库并不支持。所以就需要用到上面我们构建的那两个工具。

freeze_graph将包含训练好的w和 b的graph.pb和检查点文件合成为一个文件,并移除IOS不支持的操作。在终端运行TensorFlow目录下的这个工具:

bazel-bin/tensorflow/python/tools/freeze_graph \
--input_graph=/tmp/voice/graph.pb --input_checkpoint=/tmp/voice/model \
--output_node_names=model/y_pred,inference/inference --input_binary \
--output_graph=/tmp/voice/frozen.pb

最终输出/tmp/voice/frozen.pb文件,只包含得到y_pred和inference的节点,不包括用来训练的节点。freeze_graph 也将权重保存进了文件,就不用再单独载入。

optimize_for_inference工具进一步简化了可计算图,它以frozen.pb作为输入,以/tmp/voice/inference.pb作为输出。这就是我们将嵌入IOS app中的文件,按如下方式运行这个工具:

bazel-bin/tensorflow/python/tools/optimize_for_inference \
--input=/tmp/voice/frozen.pb --output=/tmp/voice/inference.pb \
--input_names=inputs/x --output_names=model/y_pred,inference/inference \
--frozen_graph=True


IOS app

     你可以在VoiceTensorFlow 文件夹下找到这个app。用Xcode打开这个项目,有几处需要注意:

            1. App是用C++写的(源文件后缀名为.mm),因为TensorFlow没有Swift API,只有C++的;

           2.inference.pb文件已经包含在项目中,如果有需要的话,你可以用你自己的inference.pb文件替换掉;

           3.这个app使用了Accelerate框架;

           4.这个app使用了已经编译好的静态库。

     在项目设置界面打开构建参数标签页,在Other Linker Flags,你会看见如下信息:

/Users/matthijs/tensorflow/tensorflow/contrib/makefile/gen/protobuf_ios/lib/
libprotobuf-lite.a 

/Users/matthijs/tensorflow/tensorflow/contrib/makefile/gen/protobuf_ios/lib/
libprotobuf.a 

-force_load /Users/matthijs/tensorflow/tensorflow/contrib/makefile/gen/lib/
libtensorflow-core.a

      除非你的名字也是“matthijs”,否则需要用你克隆的TensorFlow存放的路径进行替换。(TensorFlow出现了两次,所以文件名为tensorflow/tensorflow/...)。

      Note: 你也可以将这3个文件拷贝到项目文件夹中,就不必担心路径出错了。我之所以没有这样做,是因为libtensorflow-core.a 文件有440MB大。

     再检查Header Search Paths,目前的设置是:

~/tensorflow
~/tensorflow/tensorflow/contrib/makefile/downloads 
~/tensorflow/tensorflow/contrib/makefile/downloads/eigen 
~/tensorflow/tensorflow/contrib/makefile/downloads/protobuf/src 
~/tensorflow/tensorflow/contrib/makefile/gen/proto

     然后你还要将这些路径更新到您克隆仓库的位置,还有些build settings我也做了修改:

        1.Enable Bitcode: No

        2.Warnings / Documentation Comments: No

        3.Warnings / Deprecated Functions: No

     目前TensorFlow并不支持字节码,所以我禁用了这个功能。我也关闭了警告功能,否则你编译app时会遇到很多问题。(虽然你还是会遇到值转换问题的警告,禁止这个警告功能也没毛病)。

     完成Other Linker Flags和 the Header Search Paths的设置之后,就可以构建并运行app了。下面看一下这个使用TensorFlow的IOS app是如何工作的。


使用 Tensorflow C++ API

IOS上的TensorFlow使用C++写的,不过需要你写的C++代码有限,通常,你只需要做下面几件事:

1.从.pb文件中载入计算图和权重;

2.使用图创建会话;

3.将数据放入输入张量;

4.在图上运行一个或多个节点;

5.得到输出张量结果。

在演示的APP中,这些都是写在ViewController.mm中。首先载入图:

- (BOOL)loadGraphFromPath:(NSString *)path
{
    auto status = ReadBinaryProto(tensorflow::Env::Default(), 
                                  path.fileSystemRepresentation, &graph);
    if (!status.ok()) {
        NSLog(@"Error reading graph: %s", status.error_message().c_str());
        return NO;
    }
    return YES;
}

Xcode项目包含在  graph.pb上运行freeze_graph 和optimize_for_inference工具得到的inference.pb图。如果你试图载入graph.pb,会报错:

Error adding graph to session: No OpKernel was registered to support Op 
'L2Loss' with these attrs.  Registered devices: [CPU], Registered kernels:
  <no registered kernels>

[[Node: loss-function/L2Loss = L2Loss[T=DT_FLOAT](model/W/read)]]

      这个C++ API 支持的操作要比Python API少。这里他说的是损失函数节点中L2Loss操作在IOS上不支持。这就是为什么我们要使用 freeze_graph简化图。

在载入图之后,创建会话:

- (BOOL)createSession
{
    tensorflow::SessionOptions options;
    auto status = tensorflow::NewSession(options, &session);
    if (!status.ok()) {
        NSLog(@"Error creating session: %s", 
                status.error_message().c_str());
        return NO;
    }

    status = session->Create(graph);
    if (!status.ok()) {
        NSLog(@"Error adding graph to session: %s", 
                status.error_message().c_str());
        return NO;
    }
    return YES;
}

会话创建好之后,就可以进行预测了。predict:方法需要一个包含20 个浮点数的元组,代表声学特征,然后传入图中,该方法如下所示:

- (void)predict:(float *)example {
    tensorflow::Tensor x(tensorflow::DT_FLOAT, 
                         tensorflow::TensorShape({ 1, 20 }));

    auto input = x.tensor<float, 2>();
    for (int i = 0; i < 20; ++i) {
        input(0, i) = example[i];
    }

首先定义张量x作为输入数据。这个张量维度为{1, 20},因为它一次接收一个样本,每个样本有20个特征。然后从float * 数组将数据拷贝至张量中。

接下来运行会话:

    std::vector<std::pair<std::string, tensorflow::Tensor>> inputs = {
        {"inputs/x-input", x}
    };

    std::vector<std::string> nodes = {
        {"model/y_pred"},
        {"inference/inference"}
    };

    std::vector<tensorflow::Tensor> outputs;

    auto status = session->Run(inputs, nodes, {}, &outputs);
    if (!status.ok()) {
        NSLog(@"Error running model: %s", status.error_message().c_str());
        return;
    }

运行如下代码:

pred, inf = sess.run([y_pred, inference], feed_dict={x: example})

这条代码看起来并没有Python版的简洁。我们创建了feed字典,运行的节点列表,以及保存结果的向量。最后,打印结果:

    auto y_pred = outputs[0].tensor<float, 2>();
    NSLog(@"Probability spoken by a male: %f%%", y_pred(0, 0));

    auto isMale = outputs[1].tensor<float, 2>();
    if (isMale(0, 0)) {
        NSLog(@"Prediction: male");
    } else {
        NSLog(@"Prediction: female");
    }
}

本来只需要运行inference节点就可以得到男性/ 女性的预测结果,但我还想看计算出来的概率,所以后面运行了y_pred节点。


运行 app

你可以在iphone模拟器或者设备上运行这个app。在模拟器上,你可能会得到诸如 “The TensorFlow library wasn’t compiled to use SSE4.1 instructions”的消息,但是在设备上则不会报错。

app会做出来两种预测:男性/女性。运行这个app,你会看到下面的输出,它先打印出图中的节点:

Node count: 9
Node 0: Placeholder 'inputs/x-input'
Node 1: Const 'model/W'
Node 2: Const 'model/b'
Node 3: MatMul 'model/MatMul'
Node 4: Add 'model/add'
Node 5: Sigmoid 'model/y_pred'
Node 6: Const 'inference/Greater/y'
Node 7: Greater 'inference/Greater'
Node 8: Cast 'inference/inference'

这个图只包含进行预测的节点,并不需要训练相关的节点。然后就会输出结果:

Probability spoken by a male: 0.970405%
Prediction: male

Probability spoken by a male: 0.005632%
Prediction: female

如果用Python脚本测试同样的数据,会得到相同的答案。


IOS上TensorFlow的优缺点

优点:

1. 一个工具搞定所有事。你可以使用TensorFlow训练模型并进行预测。不需要将计算图移植到其他的 API,如 BNNS或者Metal。另一方面,你只需要将少量 Python代码移植到C++代码;

2.TensorFlow有比BNNS和Metal 更多的特性;

3.你可以在模拟器上运行。Metal总是要在设备上运行。

缺点:

1.目前不支持GPU。TensorFlow使用  Accelerate 框架能够发挥CPU向量指令的优势,原始速度比不上 Metal;

2.TensorFlow API使用C++写的,所以你不得不写一些C++代码,并不能直接使用Swift 编写。

3.相比于Python API,C++ API有限。这意味着你不能在设备上进行训练,因为不支持反向传播中用到的自动梯度计算。

4.TensorFlow静态库增加了app包大概40MB的空间。通过减少支持操作的数量,可以减少这个额外空间,不过这很麻烦。而且,这还不包括模型的大小。

目前,我个人并不提倡在IOS上使用TensorFlow。优点并没有超过缺点,作为一款有潜力的产品,谁知道未来会怎样呢?

Note: 如果决定在你的IOS app中使用 TensorFlow,那你必须知道别人很容易从app安装包中拷贝图的.pb 文件窃取你的模型。由于固化的图文件包含模型参数和图定义,反编译简直轻而易举。如果你的模型具有竞争优势,你可能需要做出预案防止你的机密被窃取。


使用Metal在GPU上训练

        IOS app上使用TensorFlow的一个弊端是他是运行在CPU上的。对于数据和模型较小的项目,TensorFlow能够满足我们的需求。但是对于更大的数据集,特别是深度学习,你就必须要使用GPU代替CPU,在IOS上就意味着要使用Metal。

  训练后,我们需要将学习到的参数w和b保存成Metal能够读取的格式。其实只要以二进制格式保存为浮点数列表就可以了。

下面的Python脚本export_weights.py和之前载入图定义和检查点的test.py很相似,如下:

    W.eval().tofile("W.bin")
    b.eval().tofile("b.bin")

W.eval()计算w目前的值,并以返回Numpy 数组(和sess.run(W)作用是一样的)。然后使用tofile()将 Numpy数组保存为二进制文件。

你可以在源码的VoiceMetal 文件夹下发现Xcode项目,使用Swift编写的。

之前我们使用下面的公式计算逻辑斯蒂回归:

y_pred = sigmoid((W * x) + b)

这和神经网络中全连接层进行的计算相同,为了实现Metal版分类器,我们只需要使用MPSCNN Fully Connected 层。首先将W.bin 和b.bin载入到Data对象:

let W_url = Bundle.main.url(forResource: "W", withExtension: "bin")
let b_url = Bundle.main.url(forResource: "b", withExtension: "bin")
let W_data = try! Data(contentsOf: W_url!)
let b_data = try! Data(contentsOf: b_url!)

然后创建全连接层:

let sigmoid = MPSCNNNeuronSigmoid(device: device)

let layerDesc = MPSCNNConvolutionDescriptor(
                   kernelWidth: 1, kernelHeight: 1, 
                   inputFeatureChannels: 20, outputFeatureChannels: 1, 
                   neuronFilter: sigmoid)

W_data.withUnsafeBytes { W in
  b_data.withUnsafeBytes { b in
    layer = MPSCNNFullyConnected(device: device, 
               convolutionDescriptor: layerDesc, 
               kernelWeights: W, biasTerms: b, flags: .none)
  }
}

因为输入是20个数字,我设计了作用于一个1x1的有 20个输入信道(input channels)的全连接层。预测结果y_pred 是一个数字,所以全连接层只有一个输出信道。输入和输出数据放在MPSImage 中:

let inputImgDesc = MPSImageDescriptor(channelFormat: .float16, 
                       width: 1, height: 1, featureChannels: 20)
let outputImgDesc = MPSImageDescriptor(channelFormat: .float16, 
                       width: 1, height: 1, featureChannels: 1)

inputImage = MPSImage(device: device, imageDescriptor: inputImgDesc)
outputImage = MPSImage(device: device, imageDescriptor: outputImgDesc)

和app上的TensorFlow一样,这里也有一个 predict 方法,这个方法以组成一条样本的20个浮点数作为输入。下面是完整的方法:

func predict(example: [Float]) {
  convert(example: example, to: inputImage)

  let commandBuffer = commandQueue.makeCommandBuffer()
  layer.encode(commandBuffer: commandBuffer, sourceImage: inputImage, 
               destinationImage: outputImage)
  commandBuffer.commit()
  commandBuffer.waitUntilCompleted()

  let y_pred = outputImage.toFloatArray()
  print("Probability spoken by a male: \(y_pred[0])%")

  if y_pred[0] > 0.5 {
    print("Prediction: male")
  } else {
    print("Prediction: female")
  }
}

和运行session的结果是一样的。convert(example:to:) 和toFloatArray()方法加载和输出MPSImage 对象的辅助函数。

你需要在设备上运行这个app,因为模拟器不支持Metal 。输出结果如下:

Probability spoken by a male: 0.970215%
Prediction: male

Probability spoken by a male: 0.00568771%
Prediction: female

注意到这些概率和用TensorFlow预测到的概率不完全相同,这是因为 Metal使用16位浮点数,但结果相当接近。


版权许可

本文所用的数据集是 Kory Becker制作的,在 Kaggle.com下载,也参考了Kory的博文源码。其他人也写过IOS上TensorFlow相关的一些东西。从这些文章和代码中我受益匪浅:

1.Getting Started with Deep MNIST and TensorFlow on iOS by Matt Rajca

2.Speeding Up TensorFlow with Metal Performance Shaders also by Matt Rajca

3.tensorflow-cocoa-example by Aaron Hillegass

4.TensorFlow iOS Examples in the TensorFlow repository


以上为译文

本文由北邮@爱可可-爱生活  老师推荐,阿里云云栖社区组织翻译。

文章原标题《Getting started with TensorFlow on iOS》,由Matthijs Hollemans发布。

译者:李烽 ;审校:董昭男

文章为简译,更为详细的内容,请查看原文。中文译制文档见附件。