3.2版本的Sophon通过以数据和模型为中心,提供“六易三仓两中心”的功能服务,让用户能够基于自身需求构建紧密贴合其业务场景的新一代AI应用。 一、六易——实现新一代AI平民化 Sophon 3.2从数据接入获取、模型构建训练、模型运维管理、模型发布迭代等AI应用全生命周期的相关流程出发,考虑用户可能遇到的问题后,从样本管理、场景开发、模型获得、模型管理、效果迭代及系统运维六大方面降低用户使用的门槛,实现新一代AI平民化。 图:Sophon智能分析工具 v3.2架构图 * 样本“易”管理:提供样本仓库,让数据资产易管理 * 场景“易”开发:提供Vlab、Discover、AutoCV多个模块,通过可视化、编程式、流程式的建模服务,以及内置的开源建模框架、自研的Sophon ZenGraph图计算框架、Sophon TS 时间序列计算库及基础机器学习算法库,让建模场景易搭建; * 模型“易”获得:提供模型仓库,支持将NLP、OCR、CV、基础机器学习等多框架多源模型进行统一纳管,并在模型上线前提供静态评估,让高性能的模型服务易被挖掘; * 模型“易”管理:提供MLOps及XAI模块,支持将高性能模型进行统一可视化部署、统一全方位监控、统一多维度评估;提供一键部署以及可视化的服务推理搭建部署的模式,并从模型调用情况、模型使用资源情况、模型数据偏移情况等方面提供全方位监控,同时从模型预测性能、模型可解释、模型输入输出偏移等方面提供多维度的评估,让模型易管理,全面掌握模型服务运行状态; * 效果“易”迭代:提供MLOps模块,支持可视化持续训练pipeline,让模型迭代时,模型效果易提升; * 系统“易”运维:支持无需侵入式代码改造的分布式python机器学习计算框架Ray、基于GPU池化的GPU分组管理服务、基于Spark on K8s的资源统一调度等,让GPU资源易用、分布式能力易用、系统运维易用。 二、三仓——实现多模态数据管理 Sophon 3.2基于“三仓一平台”的框架,围绕数据开发全流程,以数据流视角分别建设“样本仓、模型仓和场景仓”,实现全流程、多模态数据的统一纳管。 * 样本仓库:新版本Sophon提供的样本仓功能模块,可实现对数据的精细化管理,输出高质量多模数据,驱动高质量模型的迭代。 图:Sophon样本仓库 样本仓库支持数据接入、智能标签和数据洞察。样本仓库支持文本、视频、图像、时间序列等多模态的数据统一接入和管理;智能标签方面,平台预置2种前沿风格迁移算法、20+多模态数据预处理算法、10+标注类型以及20+灵活的数据增强方式,支持数据准备、生成、标注及扩增等一系列过程;在快速完成原始数据的实体、关系、文本类型、图片设备状态、图片异物状况等要素提取的同时,并建立智能化标签及相关索引,便于精细化查找对应样本数据;此外,针对非机构化数据,结合预置分析模型,自动输出分析报告,帮助用户更清晰的洞察数据质量。 * 模型仓库:新版本Sophon提供的模型仓库功能模块,作为模型开发与模型应用的中间环节,统一纳管多源模型,让模型管理和应用人员能快速找到最适合业务场景的模型,实现组装与评估输出高质量模型服务。 图:Sophon模型仓库 模型仓库支持对模型的纳管、组装和评估。模型纳管功能支持NLP、结构化二维表、图像、OCR等模型以镜像或文件的镜像一键上架到模型仓库进行统一纳管;模型组装功能支持用户将两个或以上的单任务模型,自由组合形成更贴近需求的多模态模型方案;模型评估功能支持用户在模型部署上线前,在模型仓库种进行冒烟测试,并生成模型测试评估报告,并横向对比多份评估报告,保证输出部署上线高质量的模型服务。 |