建设背景


  当前,随着人工智能浪潮地不断掀起,越来越多的用户会接触到AI技术的研发与使用,其中必然涉及大量AI模型(训练完成的算法模型,他人可调用输入后获得输出结果,类似程序中的算法模块)的生产部署。然而,每个不同的AI模型由于输入输出没有标准化的参考依据,定义不清只能依靠使用者的猜测与尝试,通常需要经过2-3天的调试和测试才能部署上线,而面向大量的AI模型时,在调试的同时还需要进行统一管理,其难度可想而知。

  用户不论作为人工智能的技术设计者或是应用开发者,都希望可以轻松调用第三方的AI模型,实现轻松对接与推理部署,进行高效的资源调度和模型管理,缩短业务上线周期。云创大数据AIRack人工智能一体机因此孕育而生,它主要由人工智能云平台和人工智能服务器两部分组成。

产品简介


  人工智能云平台是云创大数据自主研发的人工智能部署云平台,针对视频等输入源,依托人工智能服务器和cVideo视频监控平台,面向深度学习场景,整合计算资源以及AI部署环境,实现计算资源统一分配调度、模型流程化快速部署,为AI部署构建敏捷高效的一体化云平台。通过平台定义的标准化输入输出接口,用户仅需几行代码就可以轻松完成AI模型部署,标准化输入获取输出结果,大大减少因为异构模型带来的部署和管理的困难。

  人工智能平台支持TensorFlow、Caffe、PyTorch等主流框架的模型推理,同时内嵌多种已经训练好的模型可供调用。


人工智能云平台


  人工智能云平台能够构建物理分散、逻辑集中的GPU资源池,实现资源池统一管理,通过自动化、可视化、动态化的方式,以资源即服务的交付模式,向用户提供服务,并实现平台智能化的运维。平台采用分布式架构设计,部署在云创大数据自主研发的人工智能服务器上,形成一体机集群共同对外提供服务,每个节点都可以提供相应的管理服务,任何单一节点故障都不会引起整个平台的管理中断,平台具备开放性的标准化接口。


人工智能云平台管理界面


  人工智能云平台主要包括统一接入服务、TensorFlow推理服务、PyTorch推理服务、Caffe推理服务等模块。


人工智能云平台架构


技术优势


  1.模型快速部署上线

  实现模型从开发环境到生产部署的快捷操作,省去繁杂的部署过程,模型部署从几天缩短到几分钟。

  2.多种输入源支持

  人工智能云平台内嵌cVideo视频监控云平台,支持GB/T28181协议、Onvif协议、RTSP、各大摄像头厂商SDK等多种视频源。

  3.分布式架构,服务资源统一、高效分配

  分布式架构统一分配GPU资源,可根据模型的不同调整资源的配给,支持突发业务对资源快速扩展的需求,实现资源的弹性伸缩。

平台功能


  1.模型部署

  (1)模型弹性部署

  网页直接上传模型文件,一键发布模型,同一模型下有不同版本的模型文件,看实现推理服务的在线升级、弹性QPS扩容。

  (2)加速执行推理任务

  人工智能云平台通过自研的cDeep-Serving,不仅同时支持PyTorch、Caffe,推理性能更是TF Serving的2倍以上。

  2.可视化运维

  (1)模型管理

  每个用户都有专属的模型空间,同一模型可以有不同的版本,用户可以随意升级、切换,根据QPS的需求弹性的增加推理节点,方便用户同时调用。

  (2)设备管理

  提供丰富的Web可视化图形界面,可直观展示服务器(GPU、CPU、内存、硬盘、网络等)的实时状态。

  (3)智能预警

  在设备运行中密切关注设备运行状态的各种数据,智能分析设备的运行趋势,及时发现并预警设备可能出现的故障问题,提醒管理人员及时排查维护,将故障排除在发生之前,避免突然出现故障导致宕机,保证系统能够连续、稳定提供服务。

  3.人工智能应用软件

  人工智能云平台内置多种已经训练好的模型文件,提供REST接口调用,方便用户直接实时推理的需求。

  提供多种深度学习算法模型:

  (1)人脸识别

  (2)车牌识别

  (3)人脸关键点检测

  (4)火焰识别

  (5)人体检测

  以上软件资源用户可一键启动,通过网页或REST 接口调用,助力用户轻松进行深度学习的推理工作。


更多下载

联系方式    总机:400-8855-360



市场部

区域/行业
销售人员
分 机
手机号
邮 箱
腾讯QQ
政法事业部负责人
左  赛
8033
18017566211
zuosai@cstor.cn
教育事业部负责人
王  军
8035
13851877991
wangjun2@cstor.cn
智慧城市事业部负责人
张先生
8027
18602548008
zhengxuwenxin@cstor.cn
云创智学负责人
张 伟
8028
15805157345
zhangwei@cstor.cn








分享到: 微信 QQ空间 人人网 更多
阅读:918次


版权所有 © 2011-2021 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-大数据存储与智能处理高新技术企业