AI工程化是一个实现AI模型运营化的领域，通过集成数据流水线、模型流水线和开发流水线，实现AI的持续交付，达到商业价值的闭环。

通俗的讲，AI工程化是一系列方法、工具和实践的集合，确保AI模型的高效交付，具备鲁棒性、安全性、可解释性，并持续为用户创造价值。

AI工程化有三个核心支柱，DataOps（数据工程）、MLOps（模型开发及生命周期）、DevOps（持续集成交付）。

DataOps是一种协作数据管理实践，专注于改进整个组织中数据管理者和数据消费者之间的数据流通信、集成和自动化。DataOps的目标是通过创建数据、数据模型的可预测交付和变更管理来更快地交付价值。通过自动化设计、部署和管理具有适当治理级别的数据交付，使用元数据来提高动态环境中数据的可用性和价值。

DataOps的典型流程包括：数据采集、数据预处理、数据标注、数据质量评估、数据增强等。适用于AI开发态和运行态的数据准备，其中数据质量评估和数据集版本管理是构建AI数据集的关键。

数据质量评估：基于制定的数据标准规范的评测，反馈数据质量问题，牵引数据集有目的的迭代，支撑模型效果快速提升。关于数据质量评估的方法，在之前的文章“大模型时代，如何做好数据集的质量评估”有提到。

数据集版本管理：通过数据集的变更管理，量化数据变化差异，方便用户查看数据集迭代记录，满足数据的溯源要求。

MLOps=ML+DEV+OPS，Google把它定义为一种机器学习工程文化和方法，旨在统一机器学习系统开发（dev）和机器学习系统运营（ops）,通过集成、测试、发布、部署和基础架构管理等步骤的自动化和监控实现高效的ML系统构建流程。MLOps连接模型构建团队和业务、运维团队，建立其一个标准化的模型开发、部署与运维流程，使得企业组织能更好的利用机器学习促进业务增长，实现降本增效。

MLOps的典型流程包括：模型开发、模型部署、模型推理、模型监控。

模型开发：分为AI开发态和AI运行态，AI开发态，目的是针对问题场景得到一个有效的原型模型，该过程包括从数据准备到模型训练评估多个任务，通过流水线驱动。AI运行态，通过超参调整，错误数据标注等，得到更优模型。

模型部署：将训练完成的模型经过打包、测试、发布、部署至生产环境。

模型推理：为模型消费者提供预测服务，包含在线推理、流失推理、离线推理等方式。

模型监控：监控模型的有效性和性能，验证模型表现是否劣化。

感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：