Sapiens_人体姿态识别_分割_深度_发线模型_meta的实践和成果_Sapiens-1B训练过程---AI大模型系统从零开始0042
论文中还写到,他们引入了全面的 308 个关键点,对人体的身体、手部、脚部、表面和面部等进行了标注。而且,在进行分割时还引入了 28 个类别,例如头发、舌头、嘴唇(上嘴唇、下嘴唇)、躯干、牙齿等都是单独的类别,因此在分割时就可以按照这 28 个类别进行分割。继续来看这个 可以看到,他们这个项目叫 Sapiens。这是一个在大规模人类图像数据集上进行预训练的视觉 Transformer,其实就是使用视觉 Transformer 方法,基于大量的人类图像进行训练的一个模型。可以看到,他们使用的训练集叫做 Human-300M dataset,这是 Meta 在训练该模型时使用的数据集。在这 3 亿张照片中,不同人数情况的占比分别为:1. 只有 1 个人:占 17%2. 只有 2 个人:占 14%3.
