一、大模型训练与微调
适用于模型训练、行业模型微调及持续迭代等任务。评估配置时,需要结合模型规模、训练方式、计算精度、序列长度和批次大小,预留模型权重、梯度、优化器状态和中间结果所需显存。全参数训练与参数高效微调的资源需求应分别评估。
评估重点:每步耗时或样本吞吐、显存峰值、数据集读取、检查点保存,以及多卡通信和连续运行表现。
二、企业高并发 AI 推理
适用于持续部署模型服务、面向内部系统或业务用户提供 AI 能力的需求。配置评估应包含模型大小、推理精度、输入输出长度及目标并发,并核对接口访问与数据传输方式。
评估重点:目标并发下的响应时间、吞吐和错误率。文本生成任务还可记录首个输出等待时间和完整响应耗时,并使用接近真实业务的请求进行验证。
三、AIGC 内容生产
适用于 AI 生图、批量内容生成和图形渲染等任务。除显存容量外,还需考虑模型与插件兼容性、输出分辨率、单次任务规模、素材读取和成果存储空间。专用软件的许可条件应在部署前确认。
评估重点:固定模型、工作流、参数和输出规格,记录批量任务完成时间、失败情况及对应费用。
四、科研仿真&高性能计算
适用于需要专属硬件和特定软件环境的实验、仿真或计算任务。建议提供计算程序、精度要求、依赖库及预计运行时长,确认程序对目标 GPU、CPU 和多卡并行的支持情况。多机任务还需单独评估网络与通信要求。
评估重点:计算结果正确性、运行时间、CPU 与内存占用,以及数据读写和通信瓶颈。