大模型不能与生成式AI划等号

寂静回声

大模型不能与生成式AI划等号
生成式AI并不一定需要大规模预训练模型来实现。生成式AI的核心在于其能够生成新的、与已有数据具有相似特征的数据集。早期的生成式AI模型包括基于规则的系统、简单的统计模型等，并不需要大型的神经网络或者大量的训练数据。例如，一些基于马尔可夫链的简单文本生成器就可以归为此类。
任何能够生成新数据或内容的人工智能系统都可以被称为生成式AI，无论其背后的技术是基于规则、统计模型还是更复杂的深度学习架构。生成式AI的关键在于它能创建出新颖的输出，而不是仅仅复制已有的数据。

以下是一些不同类型的生成式AI示例：
基于规则的系统：
这些系统依赖于人为定义的规则来生成新的内容。例如，早期的音乐作曲软件可能会使用一组音乐理论规则来创作新的旋律。
统计模型：
基于统计的方法，如N-gram模型或隐马尔可夫模型（HMM），可以通过学习已有的数据分布来生成新的序列。这类方法通常用于自然语言处理中的文本生成。
神经网络：
传统的递归神经网络（RNN）和长短期记忆网络（LSTM）能够在学习了时间序列数据后生成类似的新序列。
变分自编码器（VAE）和生成对抗网络（GAN）也是典型的生成式模型，它们能够学习复杂的数据分布并从中抽样来生成新实例。
大规模预训练模型：
如今流行的Transformer架构的大规模预训练模型，如GPT和BERT，它们在海量数据上进行预训练后，能够生成高质量的文本或其他形式的内容。

生成式AI不仅限于自然语言处理中的文本生成，实际上它可以应用于多种领域和多种类型的数据。只要AI系统能够生成新的、有意义的内容，无论是图像、音频、视频还是其他形式的数据，都可以称为生成式AI。
生成对抗网络（GANs）：通过两个神经网络的竞争来生成逼真的图像。GANs广泛应用于艺术创作、照片修复、风格迁移等领域。
变分自编码器（VAEs）：能够学习图像数据的潜在分布，并从中生成新的图像样本。
音频和音乐生成：
WaveNet 和 WaveGAN：这些模型可以生成高保真的音频信号，包括语音合成、乐器声音等。
音乐作曲：一些AI系统可以生成新的音乐作品，包括旋律、和声等。
视频生成：
视频预测：利用过去的帧来预测未来的帧，适用于视频编辑、增强现实等领域。
动画生成：生成新的动画序列或对现有动画进行改进。
三维建模与设计：
3D物体生成：生成新的3D模型，用于游戏开发、建筑设计等。
场景生成：创建虚拟环境中的三维场景。
化学分子设计：
在药物发现领域，生成新的化学分子结构，以寻找潜在的药物候选物。
推荐系统：
虽然严格意义上不是“生成”，但推荐系统可以根据用户的行为生成个性化的推荐列表，这也是一种广义上的生成。
所有这些应用都展示了生成式AI的强大能力，即在给定某种输入或约束条件下，生成符合特定要求的新内容。

所以这就清楚了，所谓的华为大模型，它不是大模型，它只是生成式AI，是华为大模型不对外公开，也没有体验版，在把大模型神秘化。把其它与大模型无关的人工智能都划给华为大模型，把华为大模这五个字从产品名称变成了品牌名称。

即使没有使用大型语言模型，通过深度学习技术也可以实现一定程度的自然语言理解。实际上，在大型语言模型（如BERT、GPT系列）出现之前，就已经有多种基于深度学习的方法在自然语言处理（NLP）任务中取得了显著的成功。这些方法虽然可能不如现代的大模型那样强大和全面，但在特定任务和场景下仍然非常有效。
循环神经网络（RNN）：
RNN特别适合处理序列数据，如文本或语音。通过记忆单元，RNN可以捕捉到输入序列中的时间依赖关系。
长短期记忆网络（LSTM） 和 门控循环单元（GRU）：
这些是RNN的变种，旨在解决长期依赖问题，即捕捉远距离的时间依赖关系。LSTM和GRU在很多NLP任务中表现出色，尤其是在较小的数据集上。
卷积神经网络（CNN）：
尽管CNN最初是为了图像处理设计的，但它同样可以应用于文本数据。CNN可以捕捉局部特征，适用于短文本分类等任务。
注意力机制（Attention Mechanism）：
注意力机制允许模型在处理序列数据时关注输入序列的不同部分。这种机制后来成为了Transformer架构的核心，但即便是在非Transformer模型中，注意力机制也能提升模型性能。
词嵌入（Word Embeddings） 如 Word2Vec 或 GloVe：
这些技术将单词映射到高维向量空间，使得语义相似的词彼此接近。这种表示方式极大地提升了基于深度学习的NLP系统的性能。
序列到序列（Seq2Seq）模型：
Seq2Seq模型由编码器-解码器架构组成，广泛应用于机器翻译、对话系统等领域。编码器将输入序列编码为固定长度的向量，解码器则根据这个向量生成输出序列。

说到这，就能明白，国内所谓的百模，很多根本不是大型语言模型架构，正如前述，做生成式AI不是非使用大模型不可。可以说国内有百家生成式AI，但不是百家大模型。不是厂家给自己起个冠冕堂皇的名字XX大模型，它就是基于大模型的生成式AI。不是的，大模型三个字已经变成了个时髦的名词，想办法傍上去。美国没有百模，是因为不基于大模型的生成式AI，硬说是基于大模型，那就是造假，后果很严重的。

RAG技术，即检索增强生成（Retrieval-Augmented Generation），是一种结合了信息检索与自然语言生成技术的方法。RAG技术的工作方式是这样的：当接收到一个输入请求（如一个问题或生成任务）时，系统首先会在一个或多个大型外部数据库或知识库中进行检索，查找与请求相关的具体信息。然后，检索到的相关信息会被用来增强模型的理解和生成过程，这样生成的结果就会更加准确、具体且基于最新的或最相关的信息。AI搜索可以被视为RAG技术的一种具体应用形式。AI搜索结合了信息检索和生成模型的优点，以提供更准确、更相关的搜索结果。
RAG技术是对自然语言处理（NLP）任务的一个重要增强。它通过结合检索技术和生成模型的优势，提高了NLP系统的性能。
信息准确性：RAG可以从大量的文档集合中检索出最相关的信息片段，然后由生成模型基于这些片段生成答案，从而提高答案的准确性和可靠性。
上下文敏感性：RAG技术允许模型在生成响应时考虑检索到的上下文信息，这样可以更好地理解和回答复杂的问题，尤其是那些需要特定背景知识的问题。
减少训练数据依赖：传统的端到端训练的生成模型需要大量的标注数据才能达到较好的性能。而RAG通过引入外部检索模块，可以在一定程度上减少对大规模训练数据的需求，因为部分知识可以直接从外部检索获得。
扩展知识范围：由于RAG可以访问外部的知识源，因此它能够扩展模型的知识边界，使得模型可以回答那些在训练数据中没有出现过的问题。
提高生成质量：通过结合检索的信息，生成模型能够生成更加自然、流畅且内容丰富的文本，因为生成过程有了更多的参考依据。
实时更新能力：RAG技术还可以通过定期更新检索的文档集合来反映最新信息，这意味着即使训练集保持不变，系统也能随着时间推移获取新知识。

RAG的设计目的是增强任何给定语言模型的能力，使其能够利用外部信息源。因此，它既可以应用于较小的语言模型，也可以应用于非常大的模型。对于较小的模型，RAG可以帮助弥补其在某些领域的知识不足；而对于较大的模型，则可以进一步提升其在特定任务上的性能。
对于公司内部局域网上的知识库问答系统，基于RAG技术可能是一个更加高效且节省资源的选择。
RAG技术直接从公司内部的知识库中检索相关信息，这意味着它可以针对公司的具体业务场景提供准确的答案。而大型语言模型虽然知识广博，但未必能很好地适应特定领域的细节。
微调一个大型语言模型需要大量的计算资源（包括时间和电力），并且可能需要专门的人力来监督和优化。相比之下，构建一个基于RAG的系统通常只需要较少的计算资源，并且维护成本也相对较低。
由于数据不出局域网，RAG技术可以更好地保护公司敏感信息的安全性和隐私性。而大型语言模型通常是在公共云环境中训练和托管的，涉及的数据传输和存储可能带来额外的安全风险。
RAG技术可以实现实时检索并回答问题，这对于需要快速响应的企业应用场景来说非常重要。而大型语言模型的响应时间可能会受到网络延迟等因素的影响。
RAG框架允许企业根据自身需求定制检索策略和模型，这样可以更灵活地调整系统以适应不断变化的需求。
在公司内部部署一个基于RAG技术的知识库问答系统，不仅能够在资源消耗方面更为经济，同时也能更好地满足特定业务场景下的需求，并提高信息安全水平。

所以现在有些央企对外宣称的自研大模型，建立知识库云云的本质就是使用了RAG技术，然而RAG技术并不是非得与大模型绑定在一起。即使是央企，也没有计算资源和人才来开发大型语言模型。现在大模型三个字已经变成了某种宗教符号，不管搭不搭边，就往上靠。

生成式AI创建基于文本的图像并不一定需要依赖大型语言模型（LLM，Large Language Model）。尽管当前许多先进的文本到图像的生成系统，如DALL•E 2和Stable Diffusion，确实使用了大规模的训练数据和复杂的神经网络架构，但这并不意味着只有LLM可以实现这一功能。
在较小的规模上，也可以通过设计专门用于图像生成的深度学习模型来实现文本到图像的转换。例如，可以使用条件生成对抗网络（Conditional Generative Adversarial Networks，cGANs）来生成图像。这类模型在给定特定条件（如文本描述）的情况下，能够学会生成相应的图像内容。只要模型有足够多的相关数据进行训练，并且架构设计得当，它就可以学会从文本映射到图像的转换。

就目前国产生成式AI的文生图功能，属于聊胜于无。真让它们干点事，比如以”中秋“为题，生成图片。

波塞冬的信徒

普日列夫斯基函数，百度的回答，其它大模型没试过。

名词解释，AI最拿手的事情。
第一次在它最擅长的地方给它干趴下，它也不鬼扯，也不狡辩，也不来回说车轱辘话，开始指责我戏弄它了。


这并不是胡编乱造的，或者啥稀奇的函数，换言之，不缺乏训练数据，不是它接触不到。

AI，就是程序员，码农，网民一块玩的小玩具，而程序员，码农，网民既有喜好厌恶，同时也有认知范围。
CIA的理论，控制关键位置的人，就能控制一切。
哈，死穴在此。

寂静回声

波塞冬的信徒 发表于 2024-9-17 17:44
普日列夫斯基函数，百度的回答，其它大模型没试过。

名词解释，AI最拿手的事情。

通义大模型的回答，聊胜于无。

问了其它国产大模型，跟文心一个水平。最后通过秘塔AI搜索，找到了这个函数。AI搜索是基于RAG技术的，先搜索后整理。