做了这么多年音视频技术陆陆续续帮不少人复盘过各种厂子的编解码笔试。一个特别强烈的感受是视频编解码算法工程师的笔试和市面上绝大多数“算法工程师”岗位的笔试根本不在一个频道上。别人在刷LeetCode、追Transformer你却在推率失真公式、算亚像素运动估计的插值权重。这里面的核心关键词永远是视频编解码、算法只是“算法”二字的内涵从模型训练变成了压缩编码、运动搜索、码率控制这些硬核底层的技术命题。今天借着欢聚时代2018校招视频编解码算法工程师A卷成都场这个引子把这类笔试背后的知识结构、考察逻辑以及当下的主流走向完整盘一遍。如果你是正在准备音视频方向校招的同学或者刚转岗进来想摸清视频编解码算法工程师到底要会什么的从业者这篇内容应该能帮你省下不少瞎摸索的时间。1. 视频编解码算法笔试的考察全景从岗位画像到知识地图1.1 岗位定位直播公司要的编解码工程师和视频网站要的是同一类人吗先说清楚一个容易被忽视的问题视频编解码算法工程师到底在什么部门、做什么具体工作。如果你拿到的是欢聚时代YY这样一个以直播为核心的公司的编解码岗位笔试那意味着你未来大概率要面对的是如何在网络情况不稳定的直播链路里保证用户能最低延迟、最高画质地看到主播的画面。这和做视频网站转码算法工程师有明显的侧重差异——前者更在意延迟和抗丢包后者更在意压缩率和批量转码效率。理解了这个岗位画像你再看笔试题就顺了。它不是只考“你会不会用FFmpeg”也不是只考“你会不会写快速排序”而是同时考察四个维度对视频编码标准H.264/HEVC核心模块的理解对压缩原理率失真、熵编码的掌握程度解决工程问题的能力码率控制、低延迟策略通用算法功底编码器本身就是一个极其复杂的算法工程系统这四块权重并不均匀。以我看到的笔试反馈来看编解码理论占比最高工程算法次之通用算法更像是基本功审查不会出特别偏的题但基础题必须又快又准。1.2 从知识地图看笔试覆盖的四大能力带我按历年这类岗位的套路整理了一张知识地图笔试题目基本从这几个区间出。能力带核心考点笔试里常见的问法压缩原理信息熵、率失真优化、量化与DCT为什么量化是有损压缩的核心λ参数增大对码率有什么影响编码标准H.264/H.265的预测、变换、环路滤波、熵编码帧内/帧间预测各解决了什么冗余CABAC比CAVLC好在哪工程算法运动估计搜索、SAD/SATD/SSD、图像滤波、重采样全搜索和菱形搜索的复杂度差多少Sobel算子怎么实现通用算法排序、字符串、贪心、动态规划、图算法排序在码率控制中有哪些应用KMP的next数组怎么求平台与趋势硬编解码、软硬协同、低延迟链路硬件VPU编码的优缺点如何降低端到端延迟这张表基本就是答题的主干。接下来我按其中最核心的方向逐个展开。2. 率失真与熵编码是绕不开的题眼压缩理论的底层逻辑2.1 率失真优化的直觉与公式为什么“码率越大λ越大”这句话容易记反视频编码的本质是在码率和画质之间找一个可接受的平衡点。编码器每时每刻都在做取舍这个宏块用帧内还是帧间这个残差用多大的量化步长当前这个GOP要不要插一个关键帧每一次取舍都会同时影响R消耗的码率Rate和D引入的画质损伤Distortion。率失真优化就干一件事用拉格朗日乘子法把这两个目标统一成一个可比较的代价值J D λR这里的λ拉格朗日因子是调节码率和画质之间偏好的旋钮。你把它调大编码器会更舍不得花码率J的优化结果会偏向低码率、略高失真的模式调小则偏向高码率、低失真。实际编码器中λ通常和量化参数QP强相关QP越大画质越粗糙但码率越低λ也会相应变大。笔试里常见的一个坑是很多人把“码率越大λ越大”记反了。严格来讲λ随QP单调上升QP越大代表允许的失真越大因此也需要更大的λ把模式选择推向低码率侧。这块建议顺着公式推导一遍而不是死记结论。还有一个变化题问你什么叫“RD最优”。答案是遍历所有候选模式选择J最小的模式而不是选择失真最小的模式。单纯D最小的模式会把码率花爆单纯R最小的模式画质会崩λ就是让两者能放在同一个天平上称的那个砝码。这个知识点在笔试中经常以“给你一段残差数据判断选A模式还是B模式”的形式出现。数据本身往往并不复杂难的是你要把JDλR的计算过程完整写出来并且说清楚λ从哪个QP查表来。会算、会查、会解释这一问才算过关。2.2 熵编码从Huffman到CABAC条件概率才是关键增益压缩原理的另一半是熵编码。信息论里香农已经给出了无失真编码的下限也就是信息熵。Huffman编码是大家最熟悉的接近熵限的方案给出现概率大的符号分配较短的码字。学它的时候最关键的是理解“前缀码”为什么能无歧义解码——任何码字都不能是另一个码字的前缀。Huffman的短板在于它对概率模型的利用比较粗糙它在编码开始前就要统计各符号概率并且码字长度一定是整数个比特。算术编码则直接在[0,1)区间上进行概率区间划分符号序列越长区间越精确最终用区间中的任意一个实数二进制小数表示整段序列因此能把“小数个比特”也利用起来。视频编码里真正广泛使用的CABAC就是在算术编码基础上加了两层改进一是二值化把各种语法元素映射成二进制串二是上下文建模根据之前已编码的符号自适应更新每个bin的概率使用条件概率而不是固定概率。这三层合在一起让CABAC比上一代CAVLC压缩率提高5%~15%。笔试里如果问“H.265为什么不用CAVLC做主熵编码器”答案的关键就在于上下文建模带来的条件概率增益。这里我再强调一个容易被忽略的细节CABAC里的“上下文”不是拍脑袋想出来的。H.264里大约有400个上下文模型HEVC里经过精简和优化保留了更多针对大尺寸块的上下文分配策略。笔试如果写到上下文建模能说出“概率随已编码符号动态更新”这一层就已经比大多数背概念的人扎实了。3. 预测—变换—量化—熵编码H.264/H.265标准模块的送分题和陷阱3.1 标准模块逐一拆解每个环节到底在消除什么冗余H.264/HEVC这类混合编码框架笔试几乎必考的是“预测—变换—量化—熵编码”这个闭环。下面把每个环节的考点拆开说。帧内预测利用的是图像空间域的相关性。H.264里4x4块有9种预测模式DC、水平、垂直和各种方向对角16x16亮度块有4种模式。HEVC把方向模式扩展到33种再加上Planar和DC一共35种。考得深入的笔试会让你判断为什么相邻两个像素的差值通常比原始像素值小得多因为预测残差的能量远小于原始信号能量后续变换和量化才能用较少比特表示。如果你能顺手提到“帧内预测模式本身也要编码传输所以编码器要在预测精度和模式开销之间做权衡”这一问基本就满分了。帧间预测利用的是时间域相关性。运动估计就是从前面已编码的参考帧里找一个最接近当前块的块记下运动矢量MV编码端只需传MV和残差。运动搜索算法是一个大考点全搜索最暴力但计算量太大三步搜索、菱形搜索、六边形搜索都是减少搜索点数的经典策略。H.264和HEVC还要求亚像素精度因为真实物体的运动不可能每次都刚好是整数像素1/2和1/4像素位置需要通过插值产生这也意味着计算量进一步上升。变换与量化这组概念常常被合起来考。DCT把残差块从空间域变到频域让能量集中在少数低频系数上。量化则是把DCT系数除以量化步长再取整高频系数往往被量成0这就是有损压缩的主要来源。所以常被问到为什么视频编码要“先变换再量化”而不是直接量化像素值因为变换可以让系数集中在低频量化后保留更少的非零系数熵编码的压缩率才能上去。环路滤波Deblocking是为了去掉块边界上的伪影。HEVC里还引入了SAO样点自适应补偿进一步减少振铃效应。这一块经常被问环路滤波为什么在环路内而不是在环路外因为参考帧也要经过滤波否则误差会不断累积到后续帧。记住这个因果链条滤波在环内是为了不让未滤波的画面临时充当参考一旦参考出错后面的帧全都会跟着错。3.2 直播场景带来的硬考题低延迟、抗丢包、自适应码率讲完标准模块立刻切换到直播场景。欢聚时代这类公司的笔试不会满足于让你背标准它会把你放到真实业务里考。低延迟是直播的第一个硬指标。B帧虽然压缩率高但需要参考未来的帧会带来编码端到解码端一到两帧的延迟所以低延迟场景通常会禁用B帧或者限制B帧层级。参考帧数量、码率控制平滑缓存区大小、GOP长度都会直接影响延迟。笔试问“如何把端到端延迟从500ms降到200ms”答案至少应该覆盖编码器低延迟配置关闭B帧、限制参考帧、传输缓冲策略、解码器首帧快速启动。抗丢包是直播的第二个硬指标。网络丢包是实时音视频的家常便饭视频编解码算法工程师要懂得调整GOP结构让I帧周期合适必要时做FEC前向纠错或主动请求关键帧。还有一种思路是码流分层把高优先级的基础层和低优先级的增强层分开传输弱网下只保基础层牺牲一部分清晰度但不掉线。自适应码率排在第三。主播的网络上行带宽波动很大编码器要能根据网络反馈动态调整码率、分辨率和帧率。这类题往往结合贪心或动态规划比如给定一段视频各帧的复杂度如何分配码率使总体画质最优。这实际上就是把压缩原理和通用算法连起来考不少人在这一问上卡壳不是因为不会算法而是没有意识到“帧复杂度排序后优先分配码率”天然就是一道贪心题。4. 笔试里的通用算法从KMP到贪心为什么要考这些4.1 编解码直系算法题运动搜索、匹配准则、图像处理、重采样这一节先列几个真正“贴着编解码”考的算法笔试里出现频率极高。运动搜索算法前面已经提到。全搜索在搜索窗口内逐个检查所有候选位置能得到最优结果但复杂度极高三步搜索从中心以固定步长搜索步长逐级减半菱形搜索用大小两个菱形模板迭代逼近最优位置。实际工程里x264默认的运动搜索模式就包括菱形、六边形、非对称多六边形等它们的区别就是搜索点数和精度的权衡。做题时你得会算复杂度一个33x33搜索窗口全搜索要检查1089个位置三步搜索只检查25个差距一眼就能看出来。像素匹配准则也是经常考的。SAD是绝对误差和计算最轻量把对应像素差的绝对值加起来就行。SSD是平方误差和对大误差惩罚更大更贴近真实视觉但计算量大。SATD则是先对残差块做Hadamard变换再求和融合了频域信息在x264里常用来做亚像素或帧内模式选择。笔试里如果问“为什么不用SAD做所有模式决策”因为SAD对块的平坦区域和纹理区域没有区分能力SATD的频域加权更符合率失真特性。图像处理算法同样要留意。Sobel边缘检测用两个3x3卷积核分别提取水平梯度和垂直梯度常用来做预处理或边缘分析拉普拉斯是二阶微分算子图像锐化的本质是把原图减去或加上拉普拉斯响应的加权结果。这类题偶尔会以“实现一个边缘检测”的形式出现考的就是卷积和边界处理代码量不大但细节要写清楚。另外音频重采样算法最近邻、线性插值、sinc插值也常顺手考到因为直播链路里音频同样要做重采样和降噪。视频编解码工程师虽然主要面对图像但音视频不分家至少要知道每种重采样的质量差异和计算量差异。4.2 那些“看起来无关”的经典算法题考的是编码器背后的基本盘然后是那些乍一看和视频编解码无关却总被放到笔试里的经典算法。我的看法是它们不是硬凑数而是在考察一个编码器工程师的基本功。关于KMP热词里专门提到模式串pabacaba求next数组。next数组的核心是提取模式串自身的“自匹配”信息失配时不用把模式串头拽回来重新比较而是跳到已经匹配好的前缀位置。这套思路和视频编码里的预测思想很像——都是利用已有的相关性避免重复计算。H.264运动矢量预测会参考相邻块MV码率状态会参考历史帧数据本质上都在“用已知推断未知”。所以刷KMP并不是无用功它训练的状态转移思维在编码器源码里随处可见。排序和贪心在编码器里不是考试题是日常。码率控制要做帧复杂度排序模式选择要做RD代价排序CABAC概率表也要维护上下文状态。贪心算法则在码率分配、GOP结构设计里很常见把有限码率优先分给复杂帧而不是简单帧就是一类贪心策略。动态规划偶尔也会出现比如多参考帧选择、码率平滑的优化路径。粒子群、模拟退火这类启发式优化算法偶尔会在码率控制参数寻优的笔试题里出现。它们的核心是平衡全局搜索和局部搜索这类题出现的目的更多是看你有没有“基于目标函数设计迭代优化”的意识不一定要求你写完整实现。所以准备视频编解码算法岗不必把精力花在高难度压轴题上但一定要把排序、字符串、贪心、二分、最基本的图算法这些“中档题”练熟它们和编码器内部逻辑的契合度非常高。5. 当笔试遇上RK3588硬件编解码时代的新考点5.1 RK3588视频编解码能力速览软编和硬编的边界在哪说完笔试的传统内容得说点热的。热词里“rk3588视频编解码”出现频率很高这个趋势很值得讲一讲。RK3588是瑞芯微的旗舰SoC内置独立VPU视频编解码单元支持H.264、H.265、VP9、AV1等多种格式的硬件编解码最高可以到8K级别。这在硬件编解码能力上已经非常能打。它的出现改变了视频编解码算法工程师的一部分工作方式原来在一个小盒子上做8K视频传输软件编码基本跑不动必须把编码任务交给VPU算法工程师就要去调驱动、调码率控制、调色彩空间转换。笔试里如果出现“硬编和软编的优缺点”别说空话要落到具体数据上对比维度软编x264/x265硬编RK3588 VPU压缩率高灵活调节中等受固件限制编码速度CPU负载高4K以上吃力超高8K实时可编功耗高低算法定制可改源码受SDK限制典型场景服务端转码、离线处理盒子、相机、边缘设备实时编码软编的优势在于压缩率可控、灵活性高、便于调试算法但CPU占用高8K实时编码几乎不可能。硬编的优势在于超低功耗、高吞吐能扛8K但码率控制粒度相对粗算法可定制性差中低码率下的画质通常不如好的软件编码器。这个对比在笔试和面试环节都很加分。5.2 软硬协同场景下的算法工程师新技能格式转换、参数适配、码流分析算法工程师在RK3588这类平台上的工作从“写编码器”更多变成了“配编码器”和“补胶水”。一是色彩空间转换。硬件编码器通常要求NV12等特定格式输入原始画面可能是BGRA、ARGB或者别的排列需要先做转换。别小看这一步格式不对出来的画面会花掉或绿屏。二是分辨率对齐与内存对齐。硬件编码器对输入帧的宽高有对齐要求分辨率不对齐、colorspace不对、内存对齐不正确出来的画面就会出问题。这个经验对任何视频开发岗位都适用也是我实际踩坑最多的位置。三是码率控制参数的适配。硬件VPU的码率控制粒度常常不如软件精细需要自己在上面做平滑、做补偿。你要知道怎么设目标码率、最大码率、GOP长度还要会看码流分析工具的统计结果。四是协议层对接。硬编码出来的码流要交给协议层做封装、加密、推流这要求你对H.264 Annex B格式、NALU类型、SPS/PPS这些基础概念足够熟悉。笔试如果围绕这套场景出题大概率会落到格式转换、编码参数、码流分析这类工程题上。最后说点实际的备考经验。我帮人复盘过不少这类笔试最大的感触是视频编解码算法工程师的笔试不是靠刷题和背八股能通过的。通用算法部分刷到中档水平就够了真正拉开差距的是你对编码框架的理解深度。最好的复习路径是拿x264/x265源码把预测、变换、量化、熵编码、码率控制这几个模块各读一遍亲手调一调参数看看码率、画质、延迟各有什么变化。等你能说清楚“为什么改这个参数会让码率变高”“为什么这个模式在该场景下更优”笔试里的绝大多数题目就已经拦不住你了。