Skip to content

awesome-fc/cat-dog-classify

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

28 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Dog-Cat Classifier

Dog and cat image classifier with deep learning.

Example:

Dog: 0.9634414
Cat: 0.01574309
Cat: 0.9599058
Dog: 0.0357831

http://sz.mofangdegisn.cn

Test Picture

dog.jpg | cat.jpg

基于Serverless Devs的函数计算部署

准备工作

免费开通函数计算 ,按量付费,函数计算有很大的免费额度。

免费开通文件存储服务NAS, 按量付费

1. clone 该工程

git clone https://github.com/awesome-fc/cat-dog-classify.git

2. 安装最新版本的 Serverless Devs 并完成配置

  1. 针对 Mac/Linux 用户, 直接使用如下命令安装即可:

    $ curl -o- -L http://cli.so/install.sh | bash
    

    更多请参考 s 安装手册

  2. s 配置

3. s 安装依赖

  • 如果开发机器没有安装docker,请先安装docker以拉取函数计算环境的镜像

  • 根据代码导入的包,构建 Python 依赖安装文件 requirements.txt

  • 执行 s build --use-docker (s 工具自动进行相关的依赖包的安装, 将第三方库下载到 .s/build/artifacts/cat-dog/classify/.s/python 目录下)

从这里我们看出, 函数计算引用的代码包解压之后已经超过 100M 代码包限制, 解决方案是 NAS, 我们将大体积的依赖和相对较大的模型参数文件放入 NAS,从而达到减少代码包体积的目的。

4. 将下载的依赖的代码包上传到 NAS

  • 由于我们使用了 auto 的 NAS 配置,在上传文件前我们需要先初始化 NAS
s nas init
s deploy service
  • 分别将依赖和模型上传到 NAS,并查看 NAS 远程目录:
s nas upload -r .s/build/artifacts/cat-dog/classify/.s/python/ /mnt/auto/python
s nas upload -r src/model/ /mnt/auto/model
s nas command ls /mnt/auto/

5. 部署函数到指定的region

s deploy

之后就可以使用部署产生的自定义域名的 url 在浏览器中访问:

使用预留消除冷启动毛刺

预留操作视频教学示例

函数计算具有动态伸缩的特性, 根据并发请求量,自动弹性扩容出执行环境来执行环境。在这个典型的深度学习示例中,加载依赖和模型参数消耗的时间很长 , 在我们设置的 1 G 规格的函数中, 并发访问的时候时间10s左右, 有时甚至20s+

注:一般加载模型时间长, 本示例中模型较小, 但是也可以体现深度学习使用场景的中初始化过程时间很长

因此这个会不可避免出现函数调用毛刺情况出现(冷启动时间10s+),在这种情况下,我们使用设置预留的方式来避免冷启动。利用 s 工具中,只需要简单地执行:

s provision put --target 10 --qualifier LATEST

以下函数计算执行环境进行公网压测的一个压测报告:

压测参数:

压测结果:

函数执行详情:

从上面图中我们可以看出,当函数执行的请求到来时,优先被调度到预留的实例中被执行, 这个时候是没有冷启动的,所以请求是没有毛刺的, 后面随着测试的压力不断增大(峰值TPS 达到 1184), 预留的实例不能满足调用函数的请求, 这个时候函数计算就自动进行按需扩容实例供函数执行,此时的调用就有冷启动的过程, 从上面我们可以看出, 函数的最大 latency 时间甚至达到了 32s,如果这个 web API 是延时敏感的,这个 latency 是不可接受的。

结论

  1. 函数计算具有自动伸缩扩容能力
  2. 预留模式很好地解决了冷启动中的毛刺问题
  3. 开发简单易上手,只需要关注具体的代码逻辑, s 工具助您一键式部署运用
  4. 函数计算具有很好监控设施, 您可以可视化观察您函数运行情况, 执行时间、内存、调用次数等信息

Releases

No releases published

Packages

No packages published