RAG之于Agent有点像滚铁环的钩子

来自DiVoLog的最新报道：

AI的一大问题是：幻觉。不过应该说LLM based generative AI，因为下面我们要引用lecun的话了

幻觉源自于LLM based generative AI“只是在做模式拟合，并没有真正的智能”。

好可怜，LLM被lecun一下子就看穿了。

所以AI在做模式拟合的时候，为了让它不走偏，人们进行了参数设置，预训练，后训练，tuning，对齐（比如找伦理学博士教AI不要随便生成色图），等一系列的操作。当然还有所谓的prompt engineering，这个LLM石器时代的优化AI输出的技巧。

而AI模式拟合的本质是什么？

预测下一个土根（token）。你给它一个土根，让它预测下一个土根。而你的promts是一堆土根的集合，它给你预测者一堆土根的集合所要出现的下一堆土根的集合是什么？

所以在这个土根于土根的映射关系过程中，AI就会出现胡说八道，也就是幻觉。这种胡说八道在写作文方面当然无伤大雅，但是如果放到编程，或者回答客服问题就有些不太好了。

那么对于客服来讲，RAG就出现了。当然也不止客服，在很多需要私有化的知识与数据，需要垂直严肃划定知识范围的业务中，RAG就体现了它的价值。

本来，据说，LLM based generative AI已经拥有了差不多所有人类以公开的知识，应该是不缺知识的。不过这个有点吹牛，因为我们能够用到的LLM大模型他们给出来用的时候都已经进行了很多骚操作，比如前面说的对齐，后训练，还有很多就是降智，所谓降智的授权很多，调参，标称一兆参数，实际启动20亿。

其次，LLM based AI 和它的agent，就像一个博学的反应又特快的小学生博士，有时候它会胡言乱语。这个时候RAG的价值就体现出来了，RAG不知道怎么就被翻译成知识库了，实际上应该叫做检索增强生成，Retrieval-Augmented Generation；R是retrieval的意思，要知道在2000s年代，information retrieving和data mining还是计算机领域炙手可热的垂直大方向，哦，那时候百度和谷歌这种搜索引擎还是才发展出来制霸web 1.0和web1.5时代呢。A代表Augmented，增强、扩充、补充。Generation就是Generative AI的本职工作，根据prompts生成replies。

所以这个RAG就是检索增强生成，目的就是降低AI的胡说八道，增强其replies的针对性，目标感，和垂直度，精准度。

RAG不是什么知识库这么简单，或者说你要给AI做个知识库去检索，是不容易的。

所以我题头用了那个滚铁环的图，我觉得这个RAG就是你再滚铁环的时候，用来给铁环纠偏的那个钩子。