标签【模型推理优化】文章列表
英特尔至强CPU性能调优与AMX加速大模型推理实践指南
英特尔至强CPU性能调优与AMX加速大模型推理实践指南
目录导航 一、硬件配置与基础环境准备 二、AMX技术架构与加速原理 三、性能调优关键步骤 四、大模型推理实践案例 一、硬件配置与基础环境准备 英特尔至强® CPU的高效运行需要合理的硬件搭配与系统配置,推荐配置如下: 处理器选择:建议采用第五代至强® 可扩展处理器(如铂金8480+)或支持AMX指令的Xeon Gold…
模型推理优化 2025-05-21
阅读量 422
天翼云全国最快服务器一键部署方案与模型推理性能优化
天翼云全国最快服务器一键部署方案与模型推理性能优化
目录导航 一、一键部署方案架构解析 二、模型推理性能优化实践 三、典型应用场景与价值 一、一键部署方案架构解析 天翼云通过预置镜像和函数计算服务,构建了业界领先的智能算力部署体系。其核心组件包括: 预集成环境镜像:内置DeepSeek-R1模型、vLLM推理框架及xFT加速库 弹性资源调度:支持CPU/GPU混合编排,…
模型推理优化 2025-05-21
阅读量 865
回顶部