这篇文章记录我最近学习的NewsCompass 新闻智能分类项目。项目目标是对中文新闻文本进行自动分类类别包括金融、房产、股票、教育、科技、社会、政治、体育、游戏、娱乐等。finance、realty、stocks、education、science、society、politics、sports、game、entertainment相比只调用一个大模型接口这个项目更适合用来练习 NLP 工程能力因为它从传统机器学习开始逐步过渡到 FastText、BERT 和大模型分类。一、项目背景新闻平台每天会产生大量文本内容如果完全依赖人工分类成本高、效率低而且不同人对类别的判断也可能不一致。因此这个项目希望实现一个新闻智能分类系统输入一条新闻标题或正文系统自动判断所属类别后端提供预测接口前端页面展示分类结果从求职项目角度看它可以体现数据清洗、中文分词、模型训练、模型评估、接口开发和大模型应用等能力。二、技术栈模块使用技术作用数据处理pandas、jieba读取数据、清洗文本、中文分词传统模型TF-IDF、RandomForest构建 baseline 分类模型轻量模型FastText快速训练文本分类模型深度模型PyTorch、BERT微调中文预训练模型大模型DeepSeek API、Prompt Engineering使用大模型完成新闻分类服务化Flask、Streamlit提供接口和前端演示页面三、整体流程项目整体流程可以概括为原始新闻数据 - 数据清洗 - 中文分词 - 标签处理 - 特征提取 - 模型训练 - 模型评估 - 模型保存 - Flask 接口封装 - Streamlit 页面调用这个流程比较完整覆盖了一个 NLP 项目从数据到模型再到服务化的基本过程。四、方案一TF-IDF RandomForest第一种方案使用TF-IDF 随机森林。TF-IDF 的作用是把文本转换成数值向量。一个词如果在当前文本中出现频率较高同时在全部文本中又不是特别常见那么它通常更能代表这条新闻的主题。随机森林适合作为 baseline原因是实现简单容易理解训练速度较快方便观察传统机器学习在文本分类任务中的效果可以和 FastText、BERT、大模型结果做对比五、方案二FastText 文本分类第二种方案使用FastText。FastText 的优势是训练速度快适合轻量级文本分类任务。输入方式特点字符级切分对分词依赖较小但语义表达较弱词级切分可读性更强但效果受分词质量影响FastText 更适合工程落地中的快速验证场景。如果项目资源有限或者需要先快速跑通一个可用版本FastText 是一个不错的选择。六、方案三BERT 微调第三种方案使用中文 BERT 做新闻分类。相比 TF-IDF 和 FastTextBERT 能更好地理解上下文语义。BERT 分类的大致流程是使用 tokenizer 将文本转换成input_ids和attention_mask将输入送入 BERT 编码器接分类层输出 10 个类别的概率使用交叉熵损失进行训练在验证集上计算 accuracy、precision、recall、F1保存验证集效果最好的模型这一部分最能体现深度学习 NLP 项目的训练流程包括 Dataset、DataLoader、模型结构、优化器、损失函数、训练循环和验证逻辑。七、方案四大模型新闻分类项目中还接入了大模型 API用 Prompt Engineering 的方式完成新闻分类。大模型分类和传统模型不太一样它更依赖提示词设计。为了让输出稳定需要在系统提示词中明确只能从固定类别中选择只输出小写英文类别名不要输出解释、标点或多余内容对容易混淆的类别给出判断规则例如模型最终只能返回下面这些类别之一finance realty stocks education science society politics sports game entertainment八、Web 服务化模型训练完成后项目使用 Flask 提供/predict接口。用户输入新闻文本 - Streamlit 前端发送 POST 请求 - Flask 接口接收文本 - 后端调用分类模型 - 返回预测类别 - 前端展示结果这个版本虽然简单但已经具备一个 AI 应用的基本形态用户输入文本、后端调用模型、接口返回结果、前端完成展示。九、项目收获通过这个项目我对新闻文本分类有了更完整的理解。传统机器学习方法让我理解了特征工程的重要性FastText 让我看到轻量模型在工程落地中的价值BERT 让我熟悉了深度学习文本分类训练流程大模型分类让我开始关注 Prompt 设计、输出格式控制和 API 服务化。十、后续优化方向增加模型对比报告对比 RandomForest、FastText、BERT 和大模型在准确率、速度、资源占用上的差异。加入新闻分析能力增加新闻摘要、关键词提取和相似新闻检索功能。升级为新闻分析 Agent让系统自动完成分类、摘要、检索和分析形成更完整的大模型应用项目。这样项目就能从一个新闻分类系统进一步扩展成更完整的新闻智能分析应用。