简介面向人工智能初学者该资源针对智能计算系统实验2-2的DLP平台手写数字分类任务完整演示了多层感知器MLP在MNIST数据集上的训练与识别流程。压缩包共5个文件包含4个Python脚本与1个npy权重文件整体仅1.72MB脚本分别承担模型层定义、训练逻辑与预测演示权重文件保存了训练好的模型参数。已有2289人学习资源轻量但信息完整脚本注释清晰、结构紧凑便于二次修改。实验覆盖数据归一化、训练/测试集划分、网络结构搭建、权重初始化、交叉熵损失、Adam优化器及准确率评估等关键环节适合深度学习入门者动手实践。通过运行代码并调节超参数读者能直观理解前向传播、反向传播与梯度下降的执行过程为后续学习卷积神经网络等进阶模型奠定基础。1. 实验背景与整体设计思路1.1 为什么用 DLP 平台做手写数字分类先交代一下背景这是智能计算系统课程里一个偏综合性的实验。前面几轮实验基本都在熟悉平台操作、跑通简单的向量加法和矩阵乘法到了实验 2-2 这个阶段任务是利用 DLPDeep Learning Platform深度学习平台完整实现手写数字分类。说直白点就是让程序自己学会认 0 到 9 的手写阿拉伯数字。手写数字分类在深度学习领域就是教科书级的入门任务一般拿 MNIST 数据集来跑。每张图片 28x28 像素、灰度图、单通道总共 10 个类别。单个样本非常小整个数据集也才几万张图哪怕没有高端 GPU用 CPU 也能在合理时间内完成训练。这正是它适合做平台入门实验的原因——把数据量控制在一个“不会等太久”的量级让学习重心放在理解整个智能计算流程上。DLP 平台在这里解决的关键问题是把“数据管理、模型定义、训练调度、精度评估”这些环节打包成一套标准化流程。如果完全靠自己从零写代码来训一个图像分类模型需要处理的东西会很多数据下载的坑、图像解码的坑、梯度计算的坑、环境依赖的坑。用 DLP 平台很多底层细节被封装掉了我们可以更集中精力关注模型本身的设计逻辑和训练过程中的现象分析。不过“封装掉”不代表“不用懂”平台给你提供了底层算子的调用接口如果你想知道某个卷积层到底在做什么计算完全可以一层层把中间结果拉出来看。1.2 从任务到方案MNIST 任务的建模逻辑在动手写代码之前先梳理下手写数字分类这整个任务的建模逻辑。最朴素的想法是把一张 28x28 的图像拉直成 784 维的向量然后接一个全连接网络做分类。这个方案不是不能跑但效果有限因为图像的空间结构信息会被破坏。相邻像素之间的关系、局部的纹理特征、笔画的轮廓走向这些信息在“拉直”的过程中就丢了。更合理的方案是用卷积神经网络CNN。卷积操作天然适合图像数据它在小范围内提取局部特征再通过多层堆叠逐步扩大感受野最终得到高层次的语义特征。这个逻辑和人类识别手写数字的方式很像——我们先看笔画局部的形状横、竖、撇、捺再组合成数字的整体结构最后给出判定结果。所以实验方案选的是“卷积层 池化层 全连接层”的组合。DLP 平台对这个方案的支撑体现在算子层面卷积算子、池化算子、全连接算子、激活函数算子这些都是平台提供的标准算子。你需要做的就是按照平台定义的接口规则把模型结构用描述性配置来表达清楚平台负责在底层调度这些算子在硬件上跑起来。2. 环境准备与数据流水线搭建2.1 DLP 平台环境配置要点上手第一个容易卡住的地方是环境配置。DLP 平台一般会有配套的 Python SDK 和运行时环境建议严格按照官方文档先建一个干净的虚拟环境然后再装平台依赖。不建议直接在基础环境里硬装因为实验过程中可能需要反复切换不同版本的依赖包虚拟环境能帮你隔离掉这些麻烦。我用的环境大概是这样Ubuntu 20.04 系统、Python 3.8、DLP 平台版本是课程配套的稳定版。安装完成后验证一下平台是否正常工作可以跑一个最简单的算子调用测试比如对两个张量做加法。这一步看起来很基础但它能快速确认平台底层是否打通——如果连最基本的算子都跑不通后面模型训练时出现的任何问题都会让人分不清是代码问题还是环境问题。另外一个非常容易踩的坑是 CUDA 和 cuDNN 的版本匹配问题。虽然 DLP 平台已经帮忙封装了大部分底层调用但平台本身是依赖这些底层加速库的。如果你本机的 CUDA 版本和平台编译时用的版本不一致很可能会遇到“运行时报错但代码看起来没问题”的情况。我的经验是直接用平台推荐的一键安装脚本不要自己去配 CUDA除非你清楚知道自己在做什么。配置完成后跑一个平台自带的冒烟测试脚本看到类似“device ready”的输出再继续。数据准备的路径也很重要。手写数字分类的标准数据集是 MNISTDLP 平台一般提供数据集下载接口也可以手动下载后放在指定目录。我自己习惯手动下载因为可以顺便验证一下数据的完整性——把数据集下载下来后解压检查一下图片尺寸和格式是否符合预期。MNIST 的数据文件是 IDX 格式和常见的图片文件比如 PNG、JPG不太一样直接用图像查看器打不开需要用 Python 的 struct 模块或者 numpy 来解析。第一次接触这个格式的同学可能会觉得奇怪其实它的结构很简单前 32 个字节是文件头存储了魔数、样本数、行数、列数剩下的就是按行优先排列的像素值。2.2 数据加载与预处理细节数据流水线下一个环节是预处理。MNIST 数据集的像素值范围是 0 到 255如果直接喂给网络数值范围偏大会导致梯度更新不稳定。标准做法是归一化到 0 到 1 之间也就是每个像素值直接除以 255。更进一步的做法是用标准化Z-Score让数据分布接近标准正态分布但 MNIST 这个任务不用搞那么复杂直接归一化就能达到很好的效果。注意归一化操作只需要在训练前加载数据时做一次不要在模型内部做避免每次前向传播都重复计算拖慢速度。如果是用 DLP 平台的 Dataset 接口一般需要自定义一个数据加载器重点实现两个方法一个是获取数据集长度__len__一个是根据索引返回对应的样本和标签__getitem__。平台支持的to_tensor操作会自动把 numpy 数组转成平台张量同时完成维度顺序的调整。图像数据在 numpy 里可能是 HWC高度、宽度、通道排列但平台算子更习惯处理 NCHW批量、通道、高度、宽度排列这个维度顺序变化很多人第一次做会忽略结果模型训练时张量形状不匹配直接报错。数据增强这个环节也要聊一下。手写数字分类的 MNIST 任务传统方法一般不做复杂的数据增强因为数据集本身已经比较规范手写数字的变体主要来自书写习惯的差异而不是光照、遮挡等自然图像中常见的问题。但如果你想挑战一下更高的精度可以做轻度增强比如随机平移几个像素、轻微旋转几度。这种增强不仅能防止过拟合还能提升模型对“稍微歪一点的数字”的泛化能力。不过要控制增强强度太强的旋转反而会让模型把 6 和 9 搞混。3. 网络结构与核心实现3.1 模型结构设计思路网络结构是整个实验的核心部分直接决定了模型最终能学到什么程度。我在这次实验里采用的是经典的小型 CNN 结构具体设计如下第一层卷积层输入通道为 1因为是灰度图输出通道为 8卷积核大小 3x3步长 1填充 1。这一步负责提取低级特征比如边缘、角点。第二层ReLU 激活函数 2x2 最大池化。激活函数引入非线性池化层降低特征图分辨率减少计算量和参数量。第三层卷积层输入通道 8输出通道 16卷积核大小 3x3步长 1填充 1。开始提取更抽象的特征。第四层ReLU 激活 2x2 最大池化。第五层将卷积输出展平成一维向量送入全连接层。输入维度是 16×7×7因为 28x28 的图经过两次 2x2 池化后变成 7x7 的特征图输出维度是 64。第六层ReLU 激活。第七层全连接层输入维度 64输出维度 10对应十个数字类别。关键点输出层不要接 Softmax 激活函数。平台提供的损失函数接口普遍会在内部做 Softmax 计算如果模型输出层已经接了 Softmax再交给损失函数算交叉熵相当于做了两次归一化数值上已经变了训练时损失会非常奇怪甚至长时间不下降。在这个结构里卷积核大小为什么选 3x3 而不是 5x5 或者 7x7因为两个 3x3 的卷积堆叠其感受野等效于一个 5x5 的卷积但参数量更少非线性表达能力更强。这是现代卷积网络设计的通用经验。具体参数选择逻辑如下层输出尺寸参数说明输入1×28×28MNIST 原始图像卷积18×28×283x3 卷积输出通道 8池化18×14×142x2 最大池化卷积216×14×143x3 卷积输出通道 16池化216×7×72x2 最大池化展平78416×7×7 展平全连接164带 ReLU全连接210输出类别概率这个结构参数总量不到 4 万整个模型文件大小只有几百 KB。相比现在动辄几亿参数的 GPT 类大模型这种微型网络在单张消费级显卡上跑几个 epoch 也就几分钟的事。但是它完整覆盖了“卷积提取特征 - 池化压缩维度 - 全连接分类输出”的完整链路作为教学和入门实验再合适不过。3.2 训练参数的选择逻辑模型结构定好了接下来是训练参数的选择。这次实验我采用的配比是批量大小 64学习率 0.001训练轮数 10 个 epoch。批量大小的选择逻辑是——它决定了每次参数更新时用多少样本来计算梯度。批量太大单次更新稳定但速度慢而且容易陷入尖锐的局部极小值批量太小更新频繁但梯度噪声大收敛不稳定。64 是图像分类任务里比较折中的选择兼顾了梯度稳定性和训练速度。我在实际训练时观察过批量 64 在 10 个 epoch 内就能达到 99% 以上的验证集准确率换成 128 也能收敛但最后几个 epoch 的精度提升速度明显变慢。学习率的选择和优化器相关。我用的是 Adam 优化器它对学习率的敏感度相对较低初始学习率设置为 0.001 基本不用太操心。如果换成 SGD随机梯度下降学习率需要调大一些比如 0.01 到 0.1 之间但收敛过程会更依赖学习率衰减策略。对第一次做实验的同学我建议直接用 Adam它自带的一阶和二阶动量调整机制能在大部分任务里表现稳定。损失函数用的是交叉熵损失。手写数字分类是十类别分类问题交叉熵衡量的是预测概率分布和真实标签分布的差异它和 Softmax 配合使用构成了深度学习中分类任务的黄金组合。在 DLP 平台里可以通过softmax_cross_entropy接口直接完成这个接口在内部把模型输出的 logits没有经过 Softmax 的原始输出计算为概率分布再和真实标签计算交叉熵一步到位。训练循环的编写本身没有什么太高技术含量核心是三段式前向传播计算预测结果、计算损失、反向传播更新梯度。但有一个细节值得注意每一轮 epoch 结束后要在验证集上评估模型精度。评估的时候模型要切换到 eval 模式而不是训练模式。训练模式下Dropout 层会随机丢弃部分神经元用测试数据走训练模式得到的结果会有随机性每次跑出来的准确率都不一样。这个细节在平台里一般会提供对应的接口来切换如果不切换你可能会看到验证精度忽高忽低让人完全摸不着头脑。4. 训练过程的踩坑记录与问题排查4.1 损失不下降的排查思路实验过程中遇到的最典型问题就是“模型训练了好几个 epoch损失值一直维持在 2.3 左右怎么都不降”。这个问题其实很常见尤其在刚搭好模型第一次跑的时候。损失值稳定在 2.3 附近是有原因的。手写数字分类任务有 10 个类别随机猜的概率是 10%交叉熵损失大约等于 -ln(0.1)也就是 2.3026。如果你的损失一直停留在这个数值附近说明模型什么都没学到输出依然是均匀分布的概率和随机猜测没有区别。我排查这个问题的顺序是先检查数据标签是否对齐。比如加载数据时索引错位导致图片和标签不匹配模型一直在用错误的监督信号训练自然学不到任何有效特征。这个可以通过打印几个样本的图片和标签来验证人眼确认一下“图片显示的是数字 7标签确实是 7”。第二步检查学习率。学习率设置过大梯度更新跨越太大参数会在最优值附近来回震荡损失曲线会出现剧烈波动但整体不下降学习率设置太小参数更新太慢训练几个 epoch 损失下降幅度微乎其微。用 Adam 的话默认 0.001 通常不是问题来源但如果前面有人乱改过优化器参数就得重新确认。第三步检查数据归一化是否遗漏。如果忘了把像素值除以 255输入数值范围是 0 到 255反向传播时梯度会非常大参数更新一步就飞了。这类问题有个非常明显的特征loss 在第一个 batch 时直接从几百跳到 NaN。如果看到 NaN优先检查输入数据范围和数据预处理代码。按这个顺序排查完90% 的“训练不收敛”问题都能被定位到。4.2 过拟合与训练集精度虚高还有一个很常见的问题是训练集精度很高比如 99.5%但验证集精度明显偏低比如 96% 左右。这说明模型出现过拟合了——它把训练集样本背了下来而不是抽象出“数字的普遍特征”。MNIST 数据集本身数据量是够的训练集 60000 张单纯用 CNN 跑 10 个 epoch 一般不会有严重过拟合。但如果出现这个苗头可以从几个方向调整减少模型容量也就是减少卷积层的输出通道数从 16 降到 8增加数据增强在训练模式中手动加一条参数正则化。我在实验中尝试过给全连接层加一个丢弃率 0.2 的 Dropout效果比较明显验证集精度能提升 1 到 2 个百分点。注意加了 Dropout 之后验证集评估必须切到 eval 模式否则 Dropout 的随机丢弃也会作用于推理阶段导致验证集精度虚低。4.3 DLP 平台运行的几个细节平台特有的注意事项也值得单独列一下。第一个是数据加载的进程数设置。DLP 平台的数据加载接口一般支持多进程预读取如果设置成 0 表示主进程直接加载如果设置一个正整数表示额外启动多个子进程并行加载数据。这个参数调高能充分利用 CPU 的并行能力减少训练时等待数据的时间。但并不是越大越好子进程太多会占用大量内存而且进程间通信的消耗可能抵消掉并行加速的收益。我试了一圈进程数设置为 4 在这个实验里是性价比最高的点训练一个 epoch 的时间比单进程快了将近 40%。第二个是日志打印频率。训练过程中最好每个 batch 都打印一次损失这样能第一时间看出训练是否异常。但打印太频繁也会拖慢训练速度尤其控制台输出本身是 IO 密集操作。建议每 50 到 100 个 batch 打印一次信息量足够又不至于太啰嗦。第三个是模型保存与加载。每个 epoch 结束后要保存当前模型的权重这样就算中途训练崩溃也能从上一个保存点继续训练。DLP 平台提供的保存接口会把模型结构、权重和优化器状态都存在一个文件里便于恢复现场。我在实验里会保留精度最高的一次模型和最后一次训练的模型前者用于最终评估后者用于验证“多训几轮会不会更好”的假设。第三个细节是关于张量维度顺序的。前面在预处理部分提到过平台算子默认接受 NCHW 排列但有时候我们自己手动构造输入数据时会按照 HWC 排列导致维度不匹配。如果真的遇到了可以用平台提供的维度变换算子来处理不要傻傻地自己去 reshapereshape 会把像素顺序打乱模型看到的数据完全不是预期的样子。5. 实验结果分析与后续扩展5.1 实验数据对比与效果验证训练完成后我测试集最终准确率稳定在 99.1% 左右。这个数字在 MNIST 任务里算是一个“中规中矩偏上”的成绩。基础 CNN 结构能跑到的水平大概在 98% 到 99% 之间99.1% 说明模型设计没有大问题训练过程也正常收敛了。整理一下我跑出的几组对照数据供参考配置最终验证精度训练耗时CPU纯全连接网络784-128-1091.8%2 分钟基础 CNN8 通道 16 通道98.7%5 分钟基础 CNN Dropout0.299.1%5.5 分钟双层 CNN 数据增强99.3%8 分钟这个表格很直观地说明了卷积和正则化带来的收益。纯全连接网络因为无法有效利用图像的空间结构信息精度明显偏低CNN 的结构优势让精度直接跳到了 98% 以上再加上 Dropout 的防过拟合效果又稳住了 0.4 个百分点的提升。训练过程中我记录了每轮 epoch 在验证集上的表现。前 2 个 epoch 精度快速攀升从 90% 左右涨到 98% 附近第 3 到第 7 个 epoch 是一个平台期精度在 98.5% 到 98.8% 之间波动最后 3 个 epoch 缓慢涨到 99% 以上呈现出非常典型的“陡峭上升 - 平缓逼近”曲线。如果你在训练时看到的曲线形状不是这样可能需要回看一下数据预处理或者超参设置有没有问题。5.2 可视化验证分类效果除了精度指标还有一个很直观的验证方法把模型推理结果可视化出来。我从测试集里随机抽取了 16 张图片打印出每个数字对应的预测类别和置信度。其中 15 张预测正确1 张预测错误——那张图片真实标签是 4模型预测成了 9。我把它单独拿出来看发现这个手写“4”的写法非常潦草上半部分有个明显的开口下半部分又有拖尾确实和“9”的某些写法很像。这种错误属于“人类也可能看错”的类型模型出现这种误判是可以接受的。这个可视化环节看似简单但对理解模型的分类逻辑很有帮助。同时也能验证模型在“什么情况下会犯错”为进一步优化提供了方向。5.3 这个实验还能怎么扩展实验到这里就算完整结束了但如果你想在这个基础上继续深入有几个方向值得试试。一个方向是把模型换得更复杂一些比如加入残差连接Residual Connection、批量归一化Batch Normalization等现代网络设计技巧。MNIST 虽然简单但你把模型加深加宽之后会发现训练过程对超参数的敏感性会明显上升。学习率稍微调大一点可能就发散这本身就是很有意思的研究点。另一个方向是模型部署。DLP 平台通常提供模型导出功能可以把训练好的模型导出成平台格式或 ONNX 格式再用推理引擎加载做实际预测。你可以写一个脚本读取一张本地图片预处理后送入模型控制台输出“这个数字是 7”。到了这一步你就完成了一个从数据到训练到部署的完整闭环这种“全链路打通”的感觉和只是跑通训练是完全不同的。最后一个方向是挑战更复杂的分类数据集比如 Fashion-MNIST 或者 CIFAR-10。把 DLP 平台上的这套流程迁移到这些数据集上大部分代码都不用改只需要调整输入通道数、图像尺寸和类别数量。迁移本身就能帮你理解“哪些设计是数据集无关的哪些是针对特定任务定制的”这个关键问题。在我实际操作下来这个实验最大的收获反而不是那 99.1% 的准确率而是把数据处理、模型设计、训练调参、结果评估这条链路完完整整地走了一遍。以前看书学神经网络的时候卷积是什么、池化是什么都背得滚瓜烂熟但只有真正把数据喂进去、看着损失一点点下降、测试集精度一点点往上爬的时候才对“模型是从数据里学习规律”这件事有了切实的体感。建议做这个实验的时候不要只满足于把平台提供的示例代码跑通试着改装网络结构、调调超参、看看中间特征图这些折腾的过程才是这个实验真正有价值的地方。本文还有配套的精品资源点击获取