简介这是一套基于Python与OpenCV实现的车牌识别实践项目面向图像处理初学者以及智能交通、自动驾驶方向开发者用于学习从原始图像到车牌号码输出的完整处理链路。压缩包共40个文件以jpg测试图像、xml配置、py源码、dat模型文件为主另有png效果截图与说明文档整体约18.93MB。项目已有314人学习下载通过运行predict.py即可体验真实的识别流程。内容涵盖灰度化与二值化、高斯滤波去噪、Canny边缘检测、形态学膨胀腐蚀、连通组件字符分割以及基于SVM的字符识别与校验每个环节都配有可运行的脚本和模型参数。相比单纯理论讲解这份资料提供了可复用的工程模板目录结构清晰便于读者结合图像逐行调试快速理解传统计算机视觉方法在车牌识别场景中的落地方式。对于想要动手实践图像处理、入门OCR或准备相关课程设计的人都是一个可以直接运行和拆解的参考项目。 拿到一个叫“车牌识别.zip”的压缩包搞视觉的同事第一反应基本都是又来一个要做车牌识别的。确实停车场道闸、高速收费站、园区门禁、违章抓拍到处都有它的身影。作为这几年接触过不少车牌识别项目的开发者我可以负责任地告诉你这个看起来“烂大街”的需求真正从零到能稳定商用中间的水很深。网上那些跑通一个demo就号称“搞定车牌识别”的教程多数只讲了最简单的蓝牌识别真到了复杂场景——夜间强光、绿牌新能源、倾斜大角度、双层黄牌照样翻车。这篇博文我会从项目设计和工程落地的角度拆解一套相对完整的车牌识别方案。内容包括车牌识别的核心流程到底分几步、传统视觉和深度学习方案怎么选、基于OpenCV的手写实现路径、以及直接用HyperLPR这类开源库快速上手的方案对比。还会把我在实际部署中踩过的坑、参数调优的经验一一列出来。适合正在做毕设、想接私活、或者公司内部要做车牌识别预研的开发者参考。不管你是刚入门还是已经有基础这套思路都能帮你少走弯路。1. 车牌识别项目的整体设计思路1.1 车牌识别到底在解决什么问题车牌识别学术上叫自动识别车辆牌照英文简称LPR或者ANPR。它的本质是从一张包含车辆的图像中自动提取出车牌区域然后识别出车牌上的字符序列。听起来简单但实际落地时它要面对的环境非常复杂白天晚上光线完全不同雨天泥点遮挡车牌框变形甚至车牌本身被故意污损。这些因素都会直接拉低识别率这也是为什么很多教程demo跑得挺欢一部署到现场就原形毕露。从应用侧看车牌识别一般对接的是业务流程——停车场系统识别车牌后要联动道闸抬杆高速收费站要关联扣费违停抓拍要作为证据链的一部分。所以识别结果不仅仅是一个字符串还要包含车牌颜色、车牌类型、识别置信度、抓拍图片等丰富信息方便上游系统做判断。这也是我在设计项目时第一个考虑的点识别只是起点输出结构化数据才是核心。1.2 一张图看懂车牌识别全流程车牌识别从技术链路看可以用“三步走”来概括车牌定位在整张图像中找到车牌在哪里输出车牌的边界框。字符分割把车牌区域内的字符一个个切分出来得到单个字符的图片。字符识别对每个字符图片分类得到最终的字符序列。定位是最关键的一步如果位置都找错了后面做得再好也白搭。分割是承上启下的环节字符切歪了、切粘连了识别环节必然出错。识别则是整个链路的最后一步现在一般用分类网络或者OCR模型去完成。这三步环环相扣每一步的精度都直接影响最终结果。在实际项目中我习惯给每个步骤单独做评估指标这样可以快速定位问题出在哪个环节。1.3 传统视觉方案还是深度学习方案做车牌识别首先面对的选择就是走传统图像处理路线还是上深度学习模型。传统方案的核心手段是颜色特征加边缘特征。中国大陆的车牌颜色非常鲜明——蓝底白字、黄底黑字、绿底黑字新能源利用HSV颜色空间把蓝色、黄色、绿色区域提取出来再配合形态学操作和轮廓筛选基本能定位到车牌区域。字符分割用垂直投影法字符识别用模板匹配或者简单的机器学习分类器。优点是算法可控、计算量小、跑在树莓派或者老旧工控机上毫无压力不依赖GPU。缺点是鲁棒性差光照一变、角度一偏、遇到掉漆的车牌就抓瞎。深度学习方案一般分两种打法一是用目标检测模型直接把车牌框出来再用OCR模型识别字符二是端到端模型输入图像直接输出车牌号。典型代表是百度开源的PaddleOCR里就有车牌识别模型GitHub上还有HyperLPR、YOLOv5LPR等组合项目。深度学习方案的优点是鲁棒性强复杂场景下识别率明显更高缺点是模型需要一定算力推理需要跑在带GPU或者NPU的设备上模型体积也更大。我在实际项目里的选型经验是如果是做毕设或者学习Demo传统方案够用而且对理解图像处理的基础非常有帮助如果是商用项目直接上深度学习方案别在传统算法上死磕。不过即便是深度学习方案传统图像处理里的很多思想——颜色空间、形态学操作、透视变换——依然是绕不开的基本功。2. 环境准备与数据准备2.1 开发环境搭建的核心要点我建议直接使用Python生态太完整了。OpenCV做图像处理NumPy做矩阵运算深度学习部分看选的方案——用PyTorch或者PaddlePaddle都行。下面是我最常用的一套搭配# 基础依赖 pip install opencv-python numpy matplotlib # 如果用HyperLPR pip install hyperlpr # 如果走PaddleOCR路线 pip install paddlepaddle paddleocr版本选择上OpenCV我用4.x版本非常稳定。Python建议3.8以上老项目里踩过2.7的坑当时一堆依赖不兼容折腾到怀疑人生。跑深度学习的话如果电脑没有NVIDIA显卡就不用额外装CUDA纯CPU也能跑就是速度慢一些。实际开发中我一般先在本地调试好上线时再根据现场设备情况决定部署方式。2.2 准备数据车牌识别的命根子很多人做车牌识别一上来就开始写代码结果跑到最后卡在测试上——没有数据怎么验证效果车牌识别项目的数据有两个用途一是训练深度学习模型二是测试评估识别效果。如果是训练用需要标注好的车牌图片。公开数据集有CCPD中国城市停车场数据集这是中科大收集的里面有超过25万张中国车牌图像覆盖了蓝牌、绿牌、黄牌等多种类型标注信息非常完整直接拿来训练YOLO和LPR模型都很方便。如果是传统方案不需要标注数据但需要准备一批不同场景的图片用来调参和验证。自己采集数据的时候我有个建议不要只拍晴天正面的车牌。多拍一些逆光的、晚上的、雨天的、斜着停车的、双层黄牌的宁可在测试阶段暴露问题也别上线之后冒风险。3. 核心实现一套可运行的完整方案3.1 基于OpenCV的传统视觉识别实现先说这套方案的完整代码实现。我会把整个识别流程串起来这段代码可以直接跑通蓝牌和绿牌的识别核心思路就是颜色定位加大轮廓筛选加投影分割加模板匹配。import cv2 import numpy as np class TraditionalLPR: def __init__(self, template_path): # 加载字符模板库这里用字典保存 self.templates self.load_templates(template_path) # 车牌字符汉字、字母和数字 self.chars 京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领ABCDEFGHJKLMNPQRSTUVWXYZ0123456789 def load_templates(self, path): templates {} for char in self.chars: # 实际使用时每个字符保存为 字符名.png img cv2.imread(f{path}/{char}.png, cv2.IMREAD_GRAYSCALE) if img is not None: # 统一尺寸方便匹配 img cv2.resize(img, (20, 32)) templates[char] img return templates def locate_plate(self, img): 车牌定位采用颜色特征形态学轮廓筛选 # 转HSV颜色空间车牌颜色更稳定不受亮度影响 hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 蓝牌范围H/S/V blue_low np.array([100, 80, 50]) blue_high np.array([124, 255, 255]) # 绿牌范围新能源 green_low np.array([35, 40, 40]) green_high np.array([85, 255, 255]) # 黄牌范围大型车 yellow_low np.array([15, 50, 50]) yellow_high np.array([35, 255, 255]) masks [] for low, high in [(blue_low, blue_high), (green_low, green_high), (yellow_low, yellow_high)]: mask cv2.inRange(hsv, low, high) masks.append(mask) mask cv2.bitwise_or(masks[0], masks[1]) mask cv2.bitwise_or(mask, masks[2]) # 形态学操作闭运算连接相邻区域颜色区域连成块 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5)) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel) # 找轮廓并筛选 contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) aspect_ratio w / h area w * h # 车牌宽高比大约3.14加上面积过滤 if 2.0 aspect_ratio 5.0 and area 1000: candidates.append((x, y, w, h)) # 返回面积最大的候选区域 if candidates: return max(candidates, keylambda r: r[2] * r[3]) return None def preprocess_plate(self, plate_img): 车牌预处理灰度化、二值化、透视矫正 gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) # 自适应阈值应对光照不均 binary cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 101, 15) return binary def segment_chars(self, binary_plate): 字符分割垂直投影法 # 垂直投影统计每列非零像素个数 col_sum np.sum(binary_plate, axis0) threshold np.max(col_sum) * 0.3 # 找到投影值大于阈值的列构成字符区域 char_regions [] in_char False start 0 for i, val in enumerate(col_sum): if val threshold and not in_char: in_char True start i elif val threshold and in_char: in_char False # 过滤过窄的区域噪音 if i - start 5: char_regions.append((start, i)) # 过滤掉过宽的粘连区域可能是两个字符粘一起 filtered [] for start, end in char_regions: if end - start 40: # 过宽可能是粘连需要再次分割 mid (start end) // 2 filtered.append((start, mid)) filtered.append((mid, end)) else: filtered.append((start, end)) # 车牌有7个或8个字符新能源需要做归一化处理 # 如果分割出多余字符可能是边框干扰丢弃首尾 return filtered def recognize_chars(self, plate_img, binary_plate, char_regions): 字符识别模板匹配 result [] for start, end in char_regions: char_img binary_plate[:, start:end] # 统一尺寸 char_resized cv2.resize(char_img, (20, 32)) best_score -1 best_char for char, template in self.templates.items(): # 模板匹配 score cv2.matchTemplate(char_resized, template, cv2.TM_CCOEFF_NORMED)[0][0] if score best_score: best_score score best_char char result.append(best_char) return result def recognize(self, img): 主流程 x, y, w, h self.locate_plate(img) if x is None: return , 0.0 plate_img img[y:yh, x:xw] binary self.preprocess_plate(plate_img) char_regions self.segment_chars(binary) chars self.recognize_chars(plate_img, binary, char_regions) return .join(chars), 0.9这段代码的核心思想是先用HSV颜色空间框出蓝色/绿色/黄色的区域再用形态学操作把断续的颜色区域连成完整板块接着用宽高比和面积筛掉不可能是车牌的轮廓。定位到车牌之后二值化、垂直投影分割字符最后用模板匹配做识别。有几个参数我在调的时候特别注意。HSV的取值范围要根据实际摄像头微调尤其是色相H的值不同摄像头颜色饱和度有差异。形态学核的大小很关键太大会让背景和车牌粘连太小又连接不上。轮廓宽高比的范围我放宽到了2.0到5.0因为大角度停车的车牌宽高比会明显变小太严格的筛选会把真实车牌过滤掉。模板匹配这种方式对小字符集、统一字体的场景效果好但遇到汉字模糊、字体变形就很容易出错。3.2 直接用现成的开源库HyperLPR方案如果说传统方案是手工造轮子那用HyperLPR就是直接用成品轮子。HyperLPR是国内比较成熟的开源车牌识别库GitHub上star非常多支持中国车牌识别底层用的是深度学习模型识别率在常见场景下能达到95%以上。使用方式非常简单from hyperlpr import HyperLPR import cv2 # 加载模型 lpr HyperLPR() # 读取图像 img cv2.imread(car.jpg) # 识别车牌 result lpr(img) print(result) # 输出示例{plate: 京A12345, confidence: 0.95, type: blue} # 也可以在一张图中识别多个车牌 results lpr(img, multipleTrue) for r in results: print(r[plate], r[confidence])HyperLPR底层用的是端到端方案直接把整张图输入模型输出车牌的字符序列。它的优势不仅仅是省事更重要的是鲁棒性比手写传统算法强得多——我自己测试过在逆光、倾斜、模糊这些场景下HyperLPR的识别率明显碾压传统方案。不过HyperLPR也有它的局限性。一是模型文件较大部署的时候包体积不小。二是对特定类型车牌的支持有限比如遇到武警车牌、使馆车牌这种小众类型识别率会下降。三是它对输入图像的尺寸有要求车牌区域太小时识别效果大打折扣。如果摄像头架得高、车牌在画面中占比小需要先做一步车牌检测再把检测结果放大后喂给识别器。这里补充一个思路实际项目里我经常把YOLO目标检测和OCR识别两阶段结合。先用一个YOLOv5模型检测车牌位置把车牌区域裁剪出来再交给OCR模型去识别字符这种方式在工程上最容易调整——检测出问题了就调检测模型识别出问题了就调识别模型。PaddleOCR里也提供了车牌识别的专用模型使用方式类似效果也相当不错。3.3 参数选择与调优的实操心得不管用哪种方案参数调优都是绕不开的环节。拿我自己项目里的实测数据来说车牌定位的成败80%取决于HSV颜色阈值的设得对不对。我给一个经验范围不同环境下可以在这个基础上微调蓝色车牌H值在100~124之间S值80以上V值50以上。这个范围基本能覆盖蓝牌的色度差异。绿色车牌新能源H值35~85之间。新能源车牌是渐变绿S和V的设置要稍微灵一些。黄色车牌大型货车、驾校车H值15~35之间亮度要求更高。曝光和反光是车牌识别最大的敌人。我遇到过一辆蓝色SUV车漆颜色特别接近车牌蓝加上漆面反光HSV提取出来的区域比真实车牌大得多。后来加了轮廓面积排序和基于纹理的筛选才压住这个问题。另外二值化时的自适应阈值参数也值得留心窗口大小一般设为奇数101或者201都行太大处理慢太小容易把字符弄断。4. 摄像头选型与硬件部署4.1 低成本方案ov7670这类摄像头模块到底行不行经常有人问ov7670摄像头模块能不能做车牌识别这个问题的答案很扎心能学习但很难落地。ov7670是30万像素的CMOS摄像头模块分辨率只有640x480没有ISP处理器输出的RAW格式需要单片机自己处理。车牌识别需要的细节分辨率在远距离拍摄时640x480的画面里一个车牌可能只占不到30x10像素这个大小别说做字符识别人眼都看不清。我在树莓派上试过用ov7670加OpenCV跑车牌识别结果识别率惨不忍睹。不是说ov7670一无是处它作为学习嵌入式视觉的入门模块还是有价值的比如用它来理解传感器数据流、帧同步、RGB565转灰度这些底层概念。但真要做一个能用的车牌识别系统建议至少用500万像素的USB摄像头或者工业相机。如果是在树莓派上开发直接用CSI接口的Raspberry Pi Camera也比ov7670靠谱得多。4.2 从部署角度聊聊商用方案的取舍我在实际的停车场项目中用的摄像头方案分两类。一类是普通网络摄像头加NVR后端识别另一类是专用的车牌识别一体机。普通网络摄像头的好处是便宜、灵活坏处是曝光控制、宽动态这些都需要自己调。专用一体机的好处是内置了车牌识别算法而且带了补光灯夜间识别效果非常稳定基本是开箱即用。聊到商业车牌识别SDK就不得不注意授权问题。有些商业车牌识别SDK会有区域加密和授权限制比如绑定特定设备、限制离线使用时长、按识别次数计费等。在项目招标和实施前一定把这些约束条件搞清楚否则系统上线后突然不能用了会很被动。开源方案虽然省了授权费但技术维护成本和调优成本得自己扛。我个人的经验是预算允许、要求快速交付、识别率要求高的项目优先考虑商业一体机预算紧张、有专门技术团队维护的项目开源方案是值得尝试的路径。5. 常见问题与排查技巧实录5.1 识别率上不去的最大原因图像质量做车牌识别这段时间我最大的体会是图像质量决定识别率的天花板。曝光过度导致车牌字符和背景融为一体识别率直接断崖式下跌晚上没有补光灯车牌反光或者模糊再强的算法也白搭。所以遇到识别率问题我第一件事不是调算法而是看图像手动拍一张现场的原始照片放大看车牌区域清不清楚、字符看不看得清。如果在图像层面就发现车牌太小最简单的优化方法就是调整摄像机的安装位置和角度让车牌在画面中占据更大的比例。如果是夜间的亮暗不均问题要么打开摄像机的宽动态功能要么增加补光灯。在算法侧可以对图像做增强处理——直方图均衡化、伽马校正、限制对比度自适应直方图均衡化CLAHE都能在一定程度上缓解光照问题。5.2 我的典型问题排查速查表我在多个车牌识别项目里总结了一份速查表希望能帮到正在排查问题的你现象可能原因解决思路定位不到车牌颜色阈值不对提取HSV分量可视化调整蓝/绿/黄颜色的阈值范围定位区域偏大车身颜色与车颜色相近增加宽高比筛选剔除面积异常区域字符分割粘连二值化过粗或车牌倾斜自适应二值化后做形态学细处理必要时做透视矫正汉字识别错误模板库不完善或模型训练不足扩充汉字样本或换用深度学习OCR模型夜间识别率低曝光不足或车牌反光开启宽动态增加补光灯车牌有倾斜摄像机安装角度问题用透视变换矫正车牌再进入识别流程新能源绿牌识别差颜色阈值未覆盖绿色添加绿色HSV范围单独走绿牌识别逻辑5.3 独家避坑几个踩过的坑第一个坑是车牌边框没有完全去掉。传统方案里车牌边框是字符分割的最大干扰因素。如果二值化之后没有把车牌外边框去掉垂直投影会多出很多干扰段导致分割出的字符多一位少一位。解决方法是先做一个水平方向的投影把上下边框切掉再做垂直方向的字符分割。第二个坑是双层黄牌处理方式不对。大型货车的双层黄牌字符上下排列传统投影法只关注水平方向遇到双层车牌基本废掉。最简单的处理思路是检测到候选区域宽高比偏小的车牌时先做水平切分把上下两层分开再分别走字符识别流程。第三个坑是部署环境与开发环境不一致。开发时用的是Mac或者WindowsOpenCV版本是4.5到现场服务器上可能是3.x或者缺了某些依赖库代码直接跑不起来。我的建议是任何项目都强烈建议用Docker把环境打包好或者用conda导出一份完整的依赖清单确保部署环境与开发环境一致。写在最后做车牌识别项目最容易犯的错就是一开始就追求“完美的模型”“最高的识别率”结果在训练上耗了太久连一个能跑通的原型都没有。我自己的习惯是先快速搭一个最小可运行的系统哪怕是识别率只有60%先把链路打通再去逐步优化定位、分割、识别每一个环节。这种方式让你能尽早暴露问题并且每优化一步都能看到效果的变化心里有底。根据我个人经验如果有条件最好为车牌识别项目搭建一套自动化的测试标注工具把不同场景的测试图片分门别类每次算法调整后都跑一遍全量测试方便对比识别率变化。这比凭感觉调参靠谱得多。车牌识别这个方向看着老但它背后的图像处理、深度学习、工程化部署能力放到任何一个视觉项目上都是通用的值得认真做完一个完整的项目把它吃透。本文还有配套的精品资源点击获取