AI战略深"度解析," NoteLLM、, 产。品经理友好，版

大家好，我是喜欢研究AI的一枚产品经理

平时主要从事与AI、大模型、智能座舱等相关工作。在这里，我会持续跟大家分享AI相关的前沿技术、产品体验、个人心得等有营养有价值的信息

另外，我还超爱自驾游~

序

前天写了一篇文章→ 小红书AI战略深度解析 | 2027年，小红书将成为中国第一大移动搜索引擎！，这里面重点写了两件事儿：

从技术的角度，解析了小红书内部NoteLLM的工作原理。同时，我也追加了DeepSeep-COR对小红书NoteLLM进一步降本增效的说明。

从产品的角度，讲述了小红书现在的AI现状，并推理和给出了一些小红书未来2年的AI发展路线，以及围绕着AI衍生出来的一些具体场景和具体功能。

然后转发个身边一些小伙伴，很多人看完后表示看不太懂[我想静静]哈哈，因为我自己是技术出身，后转产品，而身边多是产品经理，可能技术上有一些盲点。所以，这一篇文章，我会进一步的，站在产品经理的角度，去解析和重述NoteLLM，用产品经理的视角，讲述NoteLLM是怎么工作的，以及它在具体的使用场景中，是如何赋能小红书App的。

这篇文章内容还是比较多，所以开始前，先列一下内容结构（注意这不是目录，是本文的核心内容，以及内容的讲述顺序）：

问题导向：NoteLLM要解决什么问题

传统方案痛点：BERT为什么不够、LLM为什么太贵

核心创意：一箭双雕的多任务学习思想

两个巧妙设计：GCL + CSFT如何相互强化

具体应用：美妆推荐、美食推荐等真实场景解析

NoteLLM-2升级：多模态融合如何避免"文本压制图像"

PM必知5点：关键认知和避坑指南

NoteLLM：产品经理友好版讲解

我尽量用产品经理能理解的语言解释NoteLLM的实现原理和产品价值，不涉及复杂数学，只讲产品逻辑。

一、问题导向：NoteLLM要解决什么问题？

背景问题

小红书的推荐系统需要做一件事：当一个用户看了笔记A后，系统要推荐给ta最相关的笔记B。

这个问题叫I2I推荐（Item-to-Item）。

传统方案的痛点

旧方案用什么？ BERT模型

优点：成熟稳定，能提取文本特征

缺点：理解能力不足，无法充分利用笔记中的丰富信息

为什么BERT不够？

想象用户看了一篇"Chanel香奈儿包包推荐"的笔记。BERT只能理解文字"包包、奢侈品、推荐"这些关键词，但看不到图片中的色号、材质、搭配效果。

而这些视觉信息往往比文字更重要。所以BERT推荐的"相关笔记"可能风格完全不搭。

为什么不直接用大模型？

可能有人会说："那就用LLM（大语言模型）吧，它比BERT强得多啊。"

没错！可问题是：

LLM的成本太高（训练、推理都贵）

直接从LLM提取embedding效果不一定好（LLM不是为推荐任务设计的）

需要大规模数据，小红书可能并不想投这么多成本

NoteLLM的创意方案

核心思想："用LLM做其他事情，顺便生成embedding。"

换个角度：生成hashtag/category 和 生成笔记embedding 的本质是一样的，都是把笔记信息压缩。

如果一个模型能学会"给笔记生成合适的hashtag"，那这个过程中它必然深度理解了笔记的内容。而这种理解，就可以用来生成推荐用的embedding。

这就是NoteLLM的创意：一箭双雕。

二、解决方案：NoteLLM的两个巧妙设计

核心概念：Note Compression Prompt（NCP）

想象你要把一个笔记的所有信息浓缩到一个特殊的字符上。

笔记原文：

"小白鞋这个款百搭又舒适，我的Adidas Stan Smith已经穿了5年，

无论搭配连衣裙还是阔腿裤都很协调。适合上班、约会、旅游。"

NCP处理方式：

↓

通过LLM处理

↓

提取特殊token[EMB]的表征

↓

这个表征就是"笔记embedding"

产品意义：这个embedding可以用来做什么？

找"相似笔记"（I2I推荐）

找"风格搭配笔记"（个性化)

找"时尚建议笔记"(垂直搜索)

设计1：GCL - 用用户行为指导模型学习

问题："什么样的两篇笔记应该被推到一起？"

传统方案：人工定义规则（太主观）

NoteLLM的方案：让用户行为说话

具体怎么做？

系统会记录："哪些笔记经常被同一个用户看"。比如：

用户A看了"小白鞋推荐"后，经常看"Adidas搭配"

用户B看了"Chanel包包"后，经常看"奢侈品护理"

系统把这些共现关系作为"信号"告诉模型：

"老铁，经过我的长期观察和深度分析，这两篇笔记经常被一起看，你学着让它们的embedding更接近吧。"

模型学习的过程就是对比学习（Contrastive Learning）：

正样本（应该接近）：

- "小白鞋推荐" vs "Adidas搭配"

- 计算它们的embedding相似度

- 让相似度尽可能高

负样本（应该远离）：

- "小白鞋推荐" vs "护肤攻略"

- 计算它们的embedding相似度

- 让相似度尽可能低

为什么这个设计聪明？

不需要人工标注"什么笔记相关"

直接用真实用户行为作为真理

模型学到的是推荐意义上的相似性，不是语义相似性

（"语义相似性"可能是"都是美食"，"推荐相似性"可能是"风格搭配"——两者不一样）

设计2：CSFT - 生成任务反哺embedding质量

问题："仅用GCL好吗？"

答案：还不够。GCL只让embedding"满足用户行为"，但可能理解得不够深。

举个例子：

Embedding A 和 Embedding B 相似度高 ✓（满足GCL要求）

但它们表达的内容完全不同 ✗（没理解笔记真实含义）

CSFT的想法：强制模型深度理解笔记

"既然你说两篇笔记相关，那你给我生成一下它们的hashtag吧。如果你理解不透彻，生成的hashtag会南辕北辙很奇怪。"

具体怎么做？

输入：一篇笔记 + 目标hashtag

过程：LLM预测"下一个token应该是什么"

（类似玩"填空游戏"）

输出：生成正确的hashtag

例子：

笔记：小白鞋这个款百搭又舒适...

目标hashtag：#小白鞋 #穿搭 #日常

↓ LLM预测

输出：#小白鞋 (√正确)

#穿搭 (√正确)

#日常 (√正确)

为什么有效？

要生成正确的hashtag，LLM必须：

理解笔记讲的是什么（"小白鞋搭配"）

抓住关键点（"百搭"、"日常"）

转化为可搜索的标签

这个过程中，LLM的内部表征（embedding）会被不断强化，变得"理解更深"。

两个设计的协同作用

为什么要同时做GCL和CSFT？

它们共享同一个LLM编码器！

GCL任务：

笔记 → LLM编码 → embedding

↑

这部分被强化

CSFT任务：

笔记 → LLM编码 → 预测token → 生成hashtag

↑

这部分也被强化

结果：

GCL告诉编码器："这两个笔记应该接近"

CSFT告诉编码器："你要理解笔记的关键概念"

两者合力→embedding既满足推荐逻辑，又有深度理解

三、两个任务的详细对比

[上图，GCL vs CSFT 任务对比]

GCL任务（图片左侧流）：学习推荐逻辑

CSFT任务（图片右侧流）：增强理解深度

总损失函数（关键设计）

总Loss = L_gcl + α × (L_gen / (1 + α))

为什么这样设计？

- L_gcl：对比学习任务的损失

- L_gen：生成任务的损失

- α：可调的权重系数

- (1+α)在分母：确保权重不会无限放大

实际应用：

- 当α=1时，两个任务权重相等

- 当α>1时，更重视生成任务

- 当α<1时，更重视对比学习任务

产品含义：通过调整α，可以控制"推荐逻辑"和"内容理解"的平衡。

四、NoteLLM-1.0的产品效果

离线指标（数据层面）

在线指标（用户层面）

产品反馈：用户发现推荐给她的笔记"风格更搭""更实用"。

五、NoteLLM在产品中的应用

应用1：美妆推荐场景

用户行为：看了"极简穿搭"笔记

NoteLLM做什么：

提取"极简穿搭"笔记的embedding

找embedding相似的笔记

推荐给用户

为什么有效：

GCL学到了"极简穿搭"和"小白鞋搭配"的关联（用户共见）

CSFT强化了"极简风格"的理解

embedding既理解风格，又理解搭配逻辑

用户感受：推荐的都是自己喜欢的风格，太懂我了！

应用2：美食推荐场景

用户行为：看了"宁夏路日料推荐"

NoteLLM做什么：

理解"日料""宁夏路"等特征

找相似的本地美食笔记

推荐其他"日料"或"宁夏路附近"的笔记

为什么有效：

同一个embedding既包含"美食类别"信息，又包含"地理位置"信息

GCL和CSFT联合优化，信息更完整

应用3：品牌忠诚度场景

用户行为：经常看"Adidas穿搭"

NoteLLM做什么：

推荐"Adidas新款发布"

推荐"运动风搭配"

形成围绕品牌和风格的推荐闭环

为什么有效：

embedding同时学到了"品牌特性"和"个人偏好"

能更精准地预测用户需求

六、NoteLLM-2.0：多模态升级

为什么需要NoteLLM-2？

NoteLLM-1.0只处理文本，但小红书笔记天生是多模态的：

文字："Adidas Stan Smith，百搭又舒适"

但图片中有关键信息：实际色号、肤色是否匹配、搭配的其他单品

NoteLLM-2的两个升级

升级1：mICL - 显式分离视觉和文本

问题：如果把图像简单地"拼接"到文本后，LLM会优先处理文本，忽视图像。

方案：在Prompt中显式标记

原来的Prompt：

NoteLLM-2的Prompt：

[文本内容：{笔记文字}]

[视觉内容：{图像token}]

请理解上述笔记的完整含义。

产品意义："告诉模型别忘了看图片！"

升级2：Late Fusion - 视觉信息单独处理

原理：不让图像进入LLM的"中间层"（那里文本会压制图像），而是在最后才融合。

传统方式（Early Fusion）：

图像 → LLM处理 → 输出（LLM可能忽视图像）

NoteLLM-2（Late Fusion）：

图像 → 保留原始视觉特征（不进LLM）

↓

与LLM的输出在最后融合

↓

结果：图像和文本都被充分利用

产品意义："给图像开辟专属通道，不被文本压制。"

效果提升

用户感受升级：

NoteLLM-1.0："推荐的衣服风格不错"

NoteLLM-2.0："推荐的衣服风格好，色号也很搭我的肤色！"

七、产品经理应该了解的5个要点

1. NoteLLM不是推荐算法，是特征表示

NoteLLM是一个"特征提取器"，提取出的embedding可以用于推荐、搜索等多个场景。

产品含义：同一个embedding可以被多个系统使用。

这里多说一句，这种设计思路，在AI产品中，不仅仅是工程师们应该考虑的事儿，作为产品经理，在你的产品设计之初，就要有这种思路和概念！

2. 两个训练任务相互强化，不是独立的

GCL和CSFT同时进行，共享LLM编码器，相互增强。

产品含义：性能提升来自"协同作用"，不是"简单叠加"。

3. GCL用的是用户行为，CSFT用的是标签

GCL的真理来源：用户共同行为（隐式反馈）

CSFT的真理来源：人工标注的hashtag/category（显式标签）

组合效果：既学到"用户喜欢什么"，又学到"内容本质"

产品含义：需要投入数据标注，但长期价值巨大。

解释一下，什么叫“真理来源”？

在训练任何模型时，都需要一个标尺来算损失（loss），告诉模型“这次学对了/学错了多少”。而这个标尺的来源，就叫“真理来源”（ground truth/source of truth）。

所以上面提到的”真理来源“，是机器学习里“监督信号/标准答案”的来源，也就是模型训练时用来评判“对不对”的依据。GCL用“用户怎么实际行为”的数据当监督信号；CSFT用“人或规则打的权威标签”当监督信号。前者偏“关系是否搭”，后者偏“内容是什么”。

1，一句话概述GCL和CSFT：GCL像“看大家实际常一起买/一起看的搭配清单”（最大程度发挥群众智慧）；CSFT像“由品类MD制定的官方分类手册”（最具权威的参考标准）。两个一起用，既接地气又不失标准。

2，GCL的“真理来源”= 用户共同行为（隐式反馈）

含义：谁和谁“经常被同一批用户连续/共同消费”，就被视为“应当更接近”的正样本对；反之为负样本。

举例：用户在一次会话里先看“青浦护照换证流程”，紧接着看“青浦政务中心踩坑避雷”，这俩被判为“更应相似”的一对；与“猫咪绝育指南”的组合则更可能是负样本。

训练目标：让“正对”embedding距离更近、与“负对”更远，从而学到“推荐意义上的相关性”。

3，CSFT的“真理来源”= 人工标注的标签/类目（显式标签）

含义：由标注员或稳定规则体系给出的hashtag/category（如“护照/换证”“本地办事/青浦”），当作模型应当“生成/预测”的标准答案。

举例：笔记应被系统正确地打上“青浦/护照/换证”这类标签；模型生成正确越多，说明理解越到位。

训练目标：逼着模型“读懂内容要点并用标准词汇表达”，从而学到“语义/知识上的理解”。

GCL和CSFT一起用，既能让模型能力贴近业务场景，又能提高语义理解和可解释性。

4. 多模态升级（NoteLLM-2）的核心是"不让文本压制图像"

不是"把图像加进去就行"

而是"确保图像信息被充分利用"

产品含义：技术的微妙之处决定了产品体验的差异。

5. 效果可调，通过α参数权衡"推荐逻辑"vs"内容理解"

α小：更重视推荐逻辑（embedding更"商用"）

α大：更重视内容理解（embedding更"语义"）

产品含义：可以针对不同业务场景调参。

八、小红书为什么要做NoteLLM？

成本考量

效果权衡

独特价值

小红书用NoteLLM而不是直接用LLM embedding的原因：

成本可控：不需要巨量计算资源

效果最优：兼容推荐逻辑和内容理解

可定制化：通过调整α权重适配不同业务

可迁移：同一个embedding支持推荐、搜索、分类等多个应用

九、总结：NoteLLM的产品逻辑

问题：

小红书需要理解"什么笔记和什么笔记相关"

NoteLLM的想法：

与其纠结embedding怎么生成，

不如让模型一边学"推荐任务"，

一边学"内容理解任务"，

两个任务相互增强。

关键创新：

✓ GCL：用用户行为当"推荐逻辑"的老师

✓ CSFT：用内容标签当"深度理解"的老师

✓ 多任务学习：两个老师教同一个学生（LLM）

最终成果：

✓ embedding既满足推荐需求，又有深度理解

✓ 成本比直接用LLM低，效果不打折

✓ 可推广到搜索、分类等多个应用场景

Wow效果：

用户觉得"推荐太懂我了"，创作者觉得"终于有好的展示机会了"

对产品的启发

多任务学习很强大：不同的目标可以相互协同

隐式反馈很宝贵：用户行为本身就是最好的标签

细节很重要：Late Fusion vs Early Fusion的区别可以产生2.5%的性能提升

后续发展

NoteLLM-2预期下一版本会支持更多模态（视频、音频）和更复杂的推荐场景。

（内容来源：深圳商报）