阅读 834

「 知识小集 」2019 · 第 1 期

2019 年,我们尝试一下新的方式来发我们文章。每周我们会围绕一个主题,挑选 2 ~ 3 篇相关的文章来介绍这个主题。文章的内容会有入门、进阶等不同深度。当然,每周的文章也会有主题之外的内容,要不会显得太单调了👻。如果您有想了解的主题或不错的文章,可以在公众号给我们留言。我们会收集信息,以备后续整理。🙏

本周主题:Core ML

近几年来,机器学习发展的如火如荼,各大公司都开始在这方面发力。Apple 当然也不想落后。随着硬件性能的提升,Apple 也适时推出了适合于移动平台的机器学习框架 Core ML,让我们能在手机上更方便地体验机器学习这项技术。

本周内容

本期公众号的主要内容有:

这周小集的内容有:

  • 在 UILabel 中渲染 HTML
  • iOS App 异常捕获相互覆盖问题
  • Aspects hook 类方法的正确姿势
  • Debug Memory Graph 检查内存异常

更多内容可以查看我们的小程序,或者 Github

文章

Core ML 人工智能快速上手

作者对 Core ML 的初步观感是定位为一个易用的 AI 库,把 AI 的使用做到了非常简便。通过首先,Core ML 需要使用扩展名为 .mimodel 的文件作为 AI 模型。 这个模型相当于大多数 AI 所建立的模型一样,可以是神经网络,线性模型等等。对于纯粹的使用者来说这些细节可以不用深究。

Core ML 入门:构建一个简单的图像识别应用

SwiftGG 团队的译文。

Core ML 使得开发者能够将各种各样的机器学习模型集成到应用程序中。它除了支持超过 30 层类型的广泛深度学习,还支持如树集成、SVMs 和广义线性模型等标准模型。Core ML 建立在像 Metal 和 Accelerate 这样的底层技术之上,因此它能够无缝地充分利用 CPU 和 GPU 以实现性能最大化。机器学习模型可直接运行在设备上,以至于数据被分析时不需要脱离设备。

本文的示例程序很简单,让用户拍摄或者从相册中选择一张照片,然后机器学习算法将会尝试预测照片中的物体。虽然预测结果可能并不完美,但你将借此了解到如何将 Core ML 应用到应用程序上。

Apple’s Core ML 2 vs. Google’s ML Kit: What’s the difference?

在Apple的2018年全球开发者大会上,Cupertino 公司宣布推出 Core ML 2。而 Google 也在同一年的 I/O 2018 推出了适用于 iOS 和 Android 两个平台的 ML Kit。本文分别简单介绍了两个框架,并做了一个简单的评价。两者各有优点和短板,最大的区别可能是各自平台对两者的支持。Core ML 自然不能在 Android 上使用,而 Google 则提供了大量预先构建的机器学习模型和API供您选择,包括用于上下文消息回复和条形码扫描的 API。选择使用哪个框架,更多的是取决的开发者。

What’s New in Core ML 2

这篇文章总结了 Core ML 2.0 中的所有新变化。Core ML 2.0旨在使模型更小,更快,更可定制。我们看到了如何通过权重量化来减小 Core ML 模型的大小,通过新的 Batch API 提高模型的性能,以及我们可能需要为模型编写自定义层的示例。

开源代码

CoreML-in-ARKit

这个小应用是用于检测对象并通过 AR 在物体上方显示 3D 标签来标识物体名称。物体的识别则是使用 Core ML 的 Vision 来实现,可以体验一下。

CoreMLHelpers

这个库封装了 Core ML 的一些功能,提供一些类型和函数,让我们可以更方便地使用 Core ML。

CoreMLHelpers 提供了以下功能:

  • 将图像转换为CVPixelBuffer对象并返回
  • MLMultiArray到图像转换
  • 一些简便的功能,如获得前 5 个预测、argmax,等等
  • 对边界框的非最大抑制
  • 一个更加友好的 MLMultiArray

MobileNet with CoreML

这是使用 Apple 的 Core ML 实现的针对 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 一文提出的 MobileNet 神经网络框架。同时包含两个 Demo 来演示框架的使用。

视频

Apple 在 WWDC 2017 推出了 Core ML,并且在 WWDC 2018 推出了升级版本 Core ML。在这两次 WWDC 上,Apple 都花了不少时间来推广这个框架,主要的视频有:

WWDC 2017

WWDC 2018

资源

Awesome CoreML Models

Github 上的 Awesome 系列。

自 iOS 11 以来,Apple 发布了Core ML框架,以帮助开发人员将机器学习模型集成到应用程序中。在这个 repo 中,收录了大量的 Core ML 格式的机器学习模型,以 以帮助 iOS、macOS、tvOS 和 watchOS 开发人员尝试机器学习技术。同时还有一个相关的网站 CoreML.Store,以可视化的形式来展示这些模型。(不好意思,我没有打开😂)

我们以Core ML格式提供了最大的机器学习模型集合,以帮助iOS,macOS,tvOS和watchOS开发人员尝试机器学习技术。 我们已经创建了一个具有更好的CoreML.Store模型可视化的站点,并且正在开发更多高级功能。

tfcoreml

将 TensorFlow (TF) 模型转换为 CoreML 模型的 python 工具。

职位

最近各种裁员新闻,让很多小伙伴成了受害者。我们希望能做一些力所能及的事。所以在 老司机周报 团队的组织下,和 老司机周报、SwiftGG 团队一起,收集整理一些招聘内推信息,分享给大家,希望对失业的小伙伴有所帮助。

关注我们

欢迎关注我们的公众号:iOS-Tips,也欢迎加入我们的群组讨论问题。可以公众号留言 iosflutter 等关键词获取入群方式。

关注下面的标签,发现更多相似文章
评论