RAG OR 微调

检索增强生成(RAG)​是一种通过外部知识库增强大模型输出的技术架构。其核心思想是将领域专业知识存储在向量数据库中，在生成回答时先检索相关文档片段，再将检索到的内容与用户问题一起输入大模型生成最终回答。RAG的主要优势在于实现成本低、知识更新便捷且能有效避免模型幻觉问题。在证券行业应用中，RAG系统可以通过实时接入市场数据和研究报告，确保输出的分析建议基于最新信息。国金证券的实践表明，RAG在数据与上下文相关的情况下非常有效，例如在解释特定金融数据时，同时能产生比基础模型更简洁的响应。然而，RAG也存在局限性，如输入token数量会增加提示信息量，且输出token数量往往更详细且更难精确控制。

模型微调则是通过领域数据继续训练预训练大模型，使其内部参数适应目标领域。微调技术可分为全参数微调和参数高效微调(如LoRA)两类。微调的优势在于能够使模型真正”理解”证券领域知识，生成更专业、更简洁的输出。研究显示，微调非常有效，能提供在特定领域学习新技能的机会，例如改进投资决策分析或根据市场模式优化投资组合建议。国金证券的技术探索表明，采用LoRA等参数高效微调方法，仅需调整0.1%左右的参数即可显著提升模型在证券任务上的表现。但微调也面临挑战，包括需要大量工作来准备训练数据，以及可能导致模型出现”灾难性遗忘”现象（即在学习新任务后丧失原有知识）。

证券行业大模型的构建往往需要混合使用RAG和微调技术，以发挥各自优势。
结合外部知识库和提示工程对通用大模型调优的技术方案最适合证券行业特点。这种混合方法在保留良好对话效果的同时，训练成本非常低，能够有效避免模型微调后的灾难性遗忘问题以及减少模型出现事实错误（幻觉）的情况。
在实际应用中，证券机构可根据具体场景需求选择技术路线组合：

• 对于需要实时市场数据的交易分析场景，可侧重RAG架构；
• 对于需要深度行业知识的研究报告生成，可采用微调+RAG的组合；
• 对于合规审查等专业化任务，则可依赖经过充分微调的领域专用模型

数据准备与处理：构建高质量金融语料库

构建证券行业垂直大模型的基础在于准备高质量、大规模的金融领域专业数据。

数据类型

• 结构化数据
  • 市场行情数据
  • 公司财务数据
  • 交易记录
• 非结构化数据
  • 研究报告
  • 财经新闻
  • 公司公告
  • 分析师评论
  • 金融论坛讨论等文本内容

数据处理

数据预处理是确保模型训练质量的关键环节，主要包括清洗、过滤和去重三个步骤。

• 清洗过程需要处理文本编码问题、特殊字符、无关广告内容等噪声；
• 过滤阶段则依据数据质量指标去除低质内容；
• 去重操作确保语料库中不存在高度相似或重复的文档。

证券行业数据预处理还需特别关注时序性处理，因为金融市场规则和公司状况会随时间变化，过时信息可能误导模型产生错误知识。例如，某上市公司历史上的财务造假事件可能已被记录在网络文本中，但经过整改后当前该公司可能已合规经营，这就需要在大模型知识库中明确标注信息的时间有效性。

领域名词

证券行业充斥着专业术语（如”可转换债券”、”市盈率”、”量化宽松”等）和行业特定表达方式，常规的自然语言处理工具可能无法准确分割或理解这些内容。在构建语料库时，需要采用结合金融词典的分词技术，并可能需要对通用语言模型进行领域适配性微调，以提高文本处理的准确性。

模型训练与优化策略

参数高效微调技术

LoRA（Low-Rank Adaptation）的工作原理是在原始模型参数旁添加低秩分解的适配矩阵，训练时固定原始参数，仅更新这些适配矩阵。具体而言，假设预训练基座大模型的矩阵为W₀∈R^(d×k)，其更新则表示为低秩分解：W₀ + ΔW = W₀ + BA，其中B∈R^(d×r)，A∈R^(r×k)，秩r << min(d,k)。在前向传递过程中，W₀与ΔW都会乘以相同的输入x，最后相加：h = W₀x + ΔWx = W₀x + BAx。

LoRA的微调流程：初始化预训练基座大模型后冻结底层Transformer层；然后通过低秩分解更新部分参数，在训练过程中，W₀固定不变，不参加梯度更新，只训练参数矩阵A和B，得到模型更新参数ΔW。这种方法使训练成本大幅降低，同时保持模型性能。国金证券的实践表明，受影响的参数量通常仅为全量参数的0.1%左右，大大减轻了计算负担。

多任务训练

​多任务指令微调是提升证券大模型业务适应性的重要手段。设置多种模型训练任务：证券行业相关问答、用户情感分析、研报观点生成、财报数据解读以及上市公司问答等领域性任务。根据不同任务设置指令微调格式化实例，构建对应的证券行业多任务微调数据集。这种方法使单一模型能够适应证券业务中多样化的应用场景。

Alpaca格式(适合指令微调)

1
2
3
4
5
6
7
8
9

[
  {
    "instruction": "分析该公司IPO前景",
    "input": "公司主营光伏组件，2023年营收增长45%，行业平均PE为25",
    "output": "基于行业PE和公司增长率，该公司IPO估值可能在...",
    "system": "你是一位资深证券分析师",
    "history": []
  }
]

港股IPO微调示例格式

1
2
3
4

{
  "question": "赤峰黄金招股信息概要",
  "answer": "最终分配结果:...;暗盘表现:...;首日表现:..."
}

多轮对话格式(ShareGPT)

1
2
3
4
5
6

{
  "conversations": [
    {"from": "human", "value": "如何评价这只债券的风险?"},
    {"from": "gpt", "value": "从信用评级、久期和收益率曲线分析..."}
  ]
}

对于证券分析，可加入复杂推理链条(CoT)：

1
2
3
4
5

{
  "Question": "生物制药公司IPO估值应注意什么?",
  "Complex-CoT": "需考虑研发管线阶段、临床试验结果、专利保护期...",
  "Response": "重点分析其临床三期药物成功率及市场竞争格局..."
}

知识遗忘

当大模型学习证券领域新知识时，可能会遗忘原有的通用知识或推理能力。缓解这一问题的策略包括：

• 保留部分通用能力的训练数据
• 采用渐进式微调（先通用任务后专业任务）
• 调整学习率等超参数

此外，混合使用RAG技术也能在一定程度上弥补模型自身的知识遗忘问题。

典型应用场景分析

​智能投顾与客户服务是大模型在证券行业最直接的应用场景。传统证券服务面临海量零售客户需求与有限投顾资源的矛盾，大模型可通过智能问答系统提供7×24小时的个性化投资咨询服务。国金证券以AI助手为切入点，探索大语言模型提升工作效率赋能业务发展，通过自然语言交互降低系统使用门槛，使不熟悉专业系统的客户也能便捷获取服务。智能客服系统可处理账户查询、交易规则解释、市场概览等常见问题，复杂问题则转接人工服务，实现服务资源优化配置。

​投资研究与分析是大模型创造高价值的核心领域。证券研究涉及大量信息收集、数据处理和报告撰写工作，非常适合大模型辅助。大模型可自动提取上市公司财报关键信息，对比行业数据，生成初步分析；帮助研究员快速梳理行业脉络，制作产业链图谱；甚至基于历史模式识别潜在投资机会和风险。国金证券提出的”AI+RPA”模式中，RPA像强有力的机械手臂自动执行任务，AIGC则是机械大脑进行分析、整合、创造，两者结合可自动化处理研究分析中的重复和繁琐任务。

​风险管理与合规监控是大模型在证券行业的关键应用。金融市场波动大、监管要求复杂，传统风控系统主要依赖规则引擎，难以应对新型风险。大模型可分析交易模式、网络舆情和市场数据，识别潜在异常；实时监控客户交流内容，标记可能违规的对话；自动生成合规报告，减少人工工作量。大模型在反洗钱、内幕交易监控等方面也表现出色，能发现传统系统忽略的隐蔽关联模式。某证券公司的应用实践表明，大模型可将合规审查效率提升40%以上，同时提高风险识别准确率。

​内部知识管理与运营自动化是大模型提升证券企业效率的重要应用。证券公司积累了大量内部知识资产，但分散在不同系统和文档中。大模型可作为统一的知识中枢，帮助员工快速定位专业资料、业务规程和历史案例；自动生成会议纪要、操作指引和培训材料；甚至辅助编写代码和业务脚本。国金证券推动大模型与现有系统分级耦合并成为AI中台建设的突破口，为不同部门提供智能化支持。大模型与RPA结合还能自动化处理财务对账、报表生成等后台运营工作，显著降低运营成本。

大模型微调（Fine-tuning）是将预训练模型适配到特定任务或领域的关键技术，根据参数更新方式、资源需求和任务特性，主流方法可分为以下几类：

1. 全量微调（Full Fine-tuning）

• 原理：调整预训练模型的所有参数，使其完全适应新任务的数据分布。
• 优点：性能最优，适合与预训练目标差异大的任务。
• 缺点：计算资源消耗大，需大量标注数据（通常数万条），易过拟合。
• 适用场景：数据充足且资源丰富的任务（如医疗诊断、金融风险评估）。

2. 高效参数微调方法

(1) LoRA（低秩适配）

• 原理：在权重矩阵中引入低秩分解矩阵（如秩为8的矩阵A和B），仅微调少量参数，保持原始权重不变。
• 优点：参数效率高（仅更新0.1%参数），适合边缘设备部署。
• 适用场景：资源受限或需快速迭代的任务（如设备故障诊断）。

其它方法都有各自的一些问题：

• Adapter Tuning 增加了模型层数，引入了额外的推理延迟
• Prefix-Tuning 难于训练，且预留给 Prompt 的序列挤占了下游任务的输入序列空间，影响模型性能
• P-tuning v2 很容易导致旧知识遗忘，微调之后的模型，在之前的问题上表现明显变差

基于上述背景，LORA 得益于前人的一些关于内在维度（intrinsic dimension）的发现：

模型是过参数化的，它们有更小的内在维度，模型主要依赖于这个低的内在维度（low intrinsic dimension）去做任务适配。
假设模型在任务适配过程中权重的改变量是低秩（low rank）的，由此提出低秩自适应（LoRA）方法。

LoRA 允许我们通过优化适应过程中密集层变化的秩分解矩阵，来间接训练神经网络中的一些密集层，同时保持预先训练的权重不变。

LoRA 的思想很简单:

• 在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的intrinsic rank。
• 训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将AB与 PLM 的参数叠加。
• 用随机高斯分布初始化 A，用 0 矩阵初始化 B，保证训练的开始此旁路矩阵依然是 0 矩阵。

LoRA（Low-Rank Adaptation）之所以在微调大模型时效果显著，主要得益于其独特的低秩分解设计、高效的参数优化策略以及对模型知识的保护机制。以下是具体原因分析：

1. 低秩分解的数学优势

• 核心原理：LoRA通过将权重矩阵的更新量 (\Delta W) 分解为两个低秩矩阵 (A) 和 (B)（(W’ = W + BA)），其中 (A) 和 (B) 的秩 (r) 远小于原始矩阵维度（如 (r=8)）。这种分解将参数量从 (d \times k) 压缩至 (r \times (d+k))，实现97%以上的参数压缩率，同时保留95%以上的任务性能。
• 内在维度假设：大模型在适应新任务时，权重更新实际存在于一个低维子空间。实验证明，即使秩 (r=1)，LoRA也能逼近全量微调的效果，验证了这一假设。

2. 资源效率与训练加速

• 极低参数量：以GPT-3为例，LoRA仅需训练原模型0.01%的参数（约百万级），显存消耗降低3倍，使得RTX 3090等消费级GPU也能微调70亿参数模型。
• 优化器效率：仅需维护低秩矩阵的梯度状态，减少优化器开销。例如，Adam优化器的内存占用大幅降低，训练速度比全量微调快3倍。
• 零推理延迟：训练后可将 (BA) 合并到原权重中，不增加额外计算层，推理速度与原始模型一致。

3. 知识保留与抗过拟合

• 冻结原权重：LoRA仅训练新增的低秩矩阵，预训练模型的核心知识不被破坏，避免了灾难性遗忘。例如，在医疗问答任务中，LoRA微调的LLaMA-7B模型准确率提升23%，同时保留通用语言能力。
• 正则化效果：低秩约束天然抑制过拟合，尤其在小样本场景下表现优异。实验显示，LoRA在文本分类任务上的F1分数比全量微调高4%。

4. 灵活性与通用性

• 模块化设计：支持多任务适配器叠加。例如，Stable Diffusion可通过不同LoRA模块生成赛博朋克或水墨风格，仅需20张图片训练。
• 广泛适配性：适用于Transformer的任意线性层（如注意力层的 (W_q) 和 (W_v)），且与量化技术（如QLoRA）、分布式训练兼容。

5. 实际应用验证

• 性能对比：在多项NLP任务中，LoRA与全量微调效果相当甚至更优。例如，GPT-3微调后ROUGE-L指标达89.65，而资源消耗仅为传统方法的1%。
• 工业级扩展：阿里云的动态权重融合技术结合LoRA，实现异构适配器并行效率提升40%。

(2) QLoRA（量化LoRA）

• 原理：结合4-bit量化和LoRA，进一步降低显存占用。
• 优点：支持单GPU微调百亿参数模型。
• 适用场景：超低资源环境（如移动端应用）。

(3) Adapter Tuning（适配器调整）

• 原理：在模型层间插入小型神经网络模块（Adapter），仅训练这些模块。
• 优点：模块化设计，支持多任务复用。
• 缺点：轻微增加推理延迟。
• 适用场景：多任务学习（如不同领域的文本分类）。
  
  Adapter 结构，将其嵌入 Transformer 的结构里面，在训练时，固定住原来预训练模型的参数不变，只对新增的 Adapter 结构进行微调。同时为了保证训练的高效性（也就是尽可能少的引入更多参数），他们将 Adapter 设计为这样的结构：

• 首先是一个 down-project 层将高维度特征映射到低维特征
• 然后过一个非线形层之后，再用一个 up-project 结构将低维特征映射回原来的高维特征
• 同时也设计了 skip-connection 结构，确保了在最差的情况下能够退化为identity（类似残差结构）。

从实验结果来看，该方法能够在只额外对增加的 3.6% 参数规模（相比原来预训练模型的参数量）的情况下取得和Full-Finetuning 接近的效果（GLUE指标在0.4%以内）。

(4) Prefix/Prompt Tuning（前缀/提示调整）

• 原理：在输入中添加可学习的虚拟标记（Prefix或Prompt），通过调整这些标记引导模型输出。
• 优点：几乎不修改模型参数，适合快速任务切换。
• 缺点：效果依赖提示设计。
• 适用场景：生成式任务（如文本生成、对话系统）。

Prefix：

在输入 token 之前构造一段任务相关的 virtual tokens 作为 Prefix，然后训练的时候只更新 Prefix 部分的参数，而 Transformer 中的其他部分参数固定。该方法其实和构造 Prompt 类似，只是 Prompt 是人为构造的“显式”的提示，并且无法更新参数，而Prefix 则是可以学习的“隐式”的提示。

同时，为了防止直接更新 Prefix 的参数导致训练不稳定的情况，他们在 Prefix 层前面加了 MLP 结构(相当于将Prefix 分解为更小维度的 Input 与 MLP 的组合后输出的结果)，训练完成后，只保留 Prefix 的参数。

Prompt ：

是 Prefix Tuning 的简化版本，只在输入层加入 prompt tokens，并不需要加入 MLP 进行调整来解决难训练的问题，主要在 T5 预训练模型上做实验。似乎只要预训练模型足够强大，其他的一切都不是问题。作者也做实验说明随着预训练模型参数量的增加，Prompt Tuning的方法会逼近 Fine-tune 的结果。
固定预训练参数，为每一个任务额外添加一个或多个 embedding，之后拼接 query 正常输入 LLM，并只训练这些 embedding。左图为单任务全参数微调，右图为 Prompt tuning。

• Prompt 长度影响：模型参数达到一定量级时，Prompt 长度为1也能达到不错的效果，Prompt 长度为20就能达到极好效果。
• Prompt初始化方式影响：Random Uniform 方式明显弱于其他两种，但是当模型参数达到一定量级，这种差异也不复存在。
• 预训练的方式：LM Adaptation 的方式效果好，但是当模型达到一定规模，差异又几乎没有了。
• 微调步数影响：模型参数较小时，步数越多，效果越好。同样随着模型参数达到一定规模，zero shot 也能取得不错效果。
• 当参数达到100亿规模与全参数微调方式效果无异。

(5) BitFit（偏置微调）

• 原理：仅更新模型中的偏置（Bias）参数，冻结其他权重。
• 优点：极低资源消耗（更新1%参数）。
• 适用场景：简单分类任务或低资源场景。

3. 混合微调方法

• MAM Adapter：结合LoRA和Adapter，在不同模块应用不同技术。
• UniPELT：动态选择适配技术（如Adapter或Prefix Tuning）。
• 适用场景：复杂多任务或动态任务环境。

4. 知识蒸馏（Knowledge Distillation）

• 原理：通过小模型（学生）模仿大模型（教师）的行为，实现轻量化部署。
• 优点：减少推理成本，保留大部分性能。
• 适用场景：需高效推理的任务（如移动端问答系统）。

方法选择建议

架构图

背景

大数据与AI的关系

大数据让人工智能变得更加智能，
人工智能让大数据变得更有价值。

1. 大数据为AI提供“燃料”
   • 训练基础：深度学习模型依赖大量数据训练，数据量直接影响模型性能。
   • 多样性增强：结构化与非结构化数据的融合（如文本、图像、传感器数据）帮助AI捕捉复杂模式。
   • 数据质量提升：清洗与标注技术优化减少AI模型的“垃圾输入”问题。
2. AI为大数据提炼价值
   • 智能分析：AI通过深度学习从数据中自动发现非线性关系。
   • 实时决策：结合流数据处理，AI实现秒级甚至毫秒级响应。
   • 数据生成与增强：生成式AI可合成虚拟数据，缓解数据稀缺问题。

AI数字化转型路线

1. 基础设施云化与数据资产化
   核心目标：构建数字化底座，让数据成为核心资产
   • 云原生架构：采用混合云、私有云，提升弹性算力（如中信证券与阿里云合作搭建金融云）。
   • 数据中台：整合交易、客户、市场数据，形成统一数据资产（如华泰证券的“数据工厂”）。
   • AI 算力储备：部署 GPU/TPU 集群，支持大模型训练（如国泰君安自建 AI 算力中心）。
2. 业务智能化与自动化
   核心目标：用 AI 重构核心业务流程，提升效率与体验
   • 智能投研：AI 辅助研报生成、舆情分析（如中金公司“AI 策略报告”）。
   • 智能投顾：个性化资产配置（如广发证券“贝塔牛”）。
   • 智能风控：实时监测异常交易（如东方证券 AI 风控系统）。
   • RPA+AI：自动化运营（如东吴证券合同审核效率提升 80%）。
3. 服务场景化与生态化
   核心目标：从“单一金融产品”转向“场景化服务生态”
   • 嵌入场景：与互联网平台合作（如华泰证券与同花顺、雪球合作）。
   • 开放 API：让客户、第三方开发者接入（如中信证券 CAP 开放平台）。
   • 数字员工：AI 客服、AI 投顾（如中信证券“数字人助理”）。

层级与组件介绍

数据层

• 核心作用：为上层提供多模态数据支持，以及各种形态数据的存储、管理、访问。
• 关键组件：
  • 流式数据载体：Kafka（消息队列）
  • 结构化数据：Hive（批处理结果）。
  • 非结构化数据：多模态数据湖（图像视频/音频/文本/文件等）。
  • 搜索工具：ES（全文检索），Milvus（向量管理与检索）。
• 典型应用：模型训练的数据来源、智能体的知识库基础。

多模态数据湖

以Deep Lake为例，其核心功能包括：

• 多模态数据支持：
  支持图像、视频、音频、文本、PDF、DICOM（医学影像）等数据类型，统一存储为张量格式（如 NumPy 数组），兼容 PyTorch/TensorFlow 等框架。
• 版本控制：
  类似 Git 的分支管理（commit/checkout）、标签功能和合并操作，便于团队协作和实验回溯。
• 高效查询与检索：
  • TQL 查询引擎：支持语义搜索和过滤（如 ds.filter(lambda x: x.label == ‘cat’)）。
  • 向量搜索：集成 LangChain/LlamaIndex，适用于 LLM 应用的嵌入检索。
• 性能优化：
  • 流式加载：惰性加载数据，减少训练等待时间。
  • 原生压缩：图像/视频保持压缩格式，节省存储空间。

向量数据库

以Milvus（Faiss基础上开发）为例，其搜索功能包括：
KNN 搜索：查找最接近查询向量的前 K 个向量。
过滤搜索：在指定的过滤条件下执行 ANN 搜索。
范围搜索：查找查询向量指定半径范围内的向量。
混合搜索：基于多个向量场进行 ANN 搜索。
全文搜索：基于 BM25 的全文搜索。
Rerankers：根据附加标准或辅助算法调整搜索结果顺序，完善初始 ANN 搜索结果。
获取：根据主键检索数据。
查询：使用特定表达式检索数据。

整体数据流向

基建层

• 核心能力：行业垂直模型开发与管理、知识库、AI应用程序框架、实时应用框架。
• 关键模块：
  • 模型相关：大语言模型、Embedding生成/检索、模型蒸馏（轻量化）。
  • 知识管理：检索增强（RAG）、知识库构建。
  • 应用程序框架：LangChain（链式应用框架),Dify(链式应用框架的低代码平台),AutoGPT(自主任务执行），MetaGPT(多智能体协作框架)
• 目标：支持从通用大模型到垂直领域微调的完整流程。

行业垂直模型

本人对模型了解不多，只给出一些可能方向

• 金融大语言模型（LLM）
  • 微调方式：
    • 指令微调（如“生成某股票的深度分析”）
    • RLHF（人类反馈强化学习）确保合规性（如避免误导性投资建议）
  • 精调：数百条高质量样本，强化某些注意力头
  • 核心能力：
    • 金融文本理解（如财报摘要、行业趋势分析）
    • 投资逻辑推理（如“为什么某股票近期下跌？”）
    • 合规审核（如识别潜在违规表述）
• 语音模型（ASR+TTS+NLP）
  • 语音识别（ASR）：高精度金融术语识别（如“市盈率”“量化宽松”）。
  • 语音合成（TTS）：自然语音播报（如实时行情播报、AI投顾交互）。
  • 语音NLP：
    • 客户语音查询理解（如“帮我查一下宁德时代的研报”）
    • 情绪分析（如识别客户投诉或投资焦虑）
• 多模态模型（视觉+文本）
  • 图表理解：解析K线图、财报图表、行业趋势图。
  • 文档OCR：扫描合同、研报、公告，提取关键信息。
  • 视频分析：解读财经新闻视频、路演直播内容。

RAG

RAG（Retrieval-Augmented Generation，检索增强生成）是AI领域的一项前沿技术，旨在通过结合外部知识检索与生成式模型的能力，提升大型语言模型（LLM）在知识密集型任务中的准确性和时效性。

RAG通过以下两个关键阶段工作：

• 检索阶段：
  • 文本：
    • 利用传统信息检索模型（如BM25）从外部知识库（全文搜索数据库）中检索与用户查询相关的文档片段。
    • 使用词向量，与传统信息检索模型类似
    • 利用上下文相关模型（如BERT）生成句向量进行向量检索
  • 多媒体与文件：用户提问时，问题被实时向量化，通过近似最近邻（ANN）算法（如HNSW）快速匹配最相关的知识片段
• 生成阶段：将检索到的上下文输入LLM，生成基于实际知识的回答，而非仅依赖模型预训练的参数化知识。

常见的Embedding生成器

应用程序框架对比

实时性支持

实时性支持此处列举得比较简单，但其实施通常是对整个链路的改造，包括以下几个方面：
1. AI agent感知层的实时触发

• 事件驱动架构：
  • 采用消息队列（如Kafka/Pulsar）或边缘设备事件触发器（如IoT传感器），实现毫秒级事件感知。
  • 示例：工业质检Agent通过摄像头帧级事件实时捕捉产品缺陷。
• 流式数据处理：
  • 集成流计算框架（Flink/Spark Streaming），对输入数据实时清洗与特征提取。
  • 挑战：高并发场景下需平衡吞吐量与延迟（如自动驾驶需<100ms响应）。

2. RAG流式更新知识
   • 动态索引构建：
     • 增量索引技术（如Elasticsearch的_update_by_query）支持文档级实时更新，避免全量重建索引的延迟。
     • 优化点：结合向量数据库（Milvus/Pinecone）的相似度检索，确保新知识即时生效。
   • 多级缓存策略：
     • 热点知识缓存在内存（Redis），冷数据下沉至磁盘，平衡实时性与成本。
     • 案例：金融风控Agent实时同步监管政策变更至缓存层。
3. 工具层的实时性支持
   • 低延迟工具调用：
     • 工具API设计遵循轻量化原则（如gRPC替代REST），预加载工具上下文减少冷启动延迟。
     • 示例：电商客服Agent调用库存API时，通过HTTP长连接保持会话状态。
   • 异步执行与超时熔断：
     • 工具调用采用异步协程（如Python asyncio），超时机制（如Hystrix）避免阻塞主线程。
4. 数据层的实时性支持
   • 实时数仓与OLAP优化：
     • 使用实时OLAP引擎（ClickHouse/Doris）或时序数据库（InfluxDB），支持亚秒级聚合分析。
     • 技术选型：Lambda架构兼顾实时流（Flink）与批处理（Hive）数据一致性。
   • 分布式状态管理：
     • 通过分布式快照（如Flink Checkpoint）保证Agent状态跨节点实时同步，避免决策偏差。

底层应用

底层应用是AI Agent的工具模块的一部分。由于上下文提示的影响，Agent也可能无法导向正确的知识，甚至产生知识幻觉。再加上缺乏语料库、训练数据以及针对特定领域和场景的调整，在专注于特定领域时，Agent的专业知识也会受到限制。专业化工具能让 LLM 以可插拔的形式增强其专业知识、调整领域知识并更适合特定领域的需求。

• 业务场景：
  • 大数据应用：客户画像、数据血缘分析。
  • 垂直业务：智能客服、精准营销、风险处置。
• 特点：直接解决具体业务问题，依赖下层技术支撑。

AI Agent智能体

• 架构核心：自主决策与协作系统。
• 关键设计：
  • 单智能体：包含感知→决策→执行的闭环（如零售智能体的推荐逻辑）。
  • 多智能体系统：通过通信模块协作（如风控+量化智能体联合决策）。

智能体组成

AI Agent（智能代理）是一个能够感知环境、自主决策并执行动作的智能系统，其核心组成和实现方式通常包括以下部分：
1. 感知模块（Perception）

• 作用：从环境中获取信息（如传感器数据、用户输入、网络数据等），并将其转化为结构化数据供其他模块处理。
• 实现方式：
  • 传感器：物理设备（如摄像头、麦克风）或软件接口（API、网页爬虫）。
  • 自然语言处理（NLP）：解析文本或语音输入（如BERT、GPT）。
  • 计算机视觉：处理图像/视频（如CNN、YOLO）。
  • 数据预处理：清洗、归一化、特征提取等。

2. 决策模块（Reasoning/Planning）
   • 作用：基于感知信息、内部知识库和目标，制定行动策略或生成响应。
   • 实现方式：
     • 规则引擎：基于预定义规则（如专家系统）。
     • 机器学习模型：通过强化学习（RL）、深度学习（DL）或符号逻辑推理（如Prolog）。
     • 规划算法：如A*搜索、蒙特卡洛树搜索（MCTS）用于路径规划或任务分解。
     • 大语言模型（LLM）：如GPT-4生成对话或决策建议。

3. 记忆模块（Memory）

• 作用：存储短期/长期信息，支持上下文理解和学习。
• 实现方式：
  • 短期记忆：缓存当前会话的上下文（如对话历史）。
  • 长期记忆：知识图谱、向量数据库（如FAISS）、SQL数据库。
  • 检索增强生成（RAG）：结合外部知识库提升回答准确性。

4. 执行模块（Action）

• 作用：将决策转化为具体行动，影响环境或用户。
• 实现方式：
  • 物理执行器：机器人控制电机、机械臂。
  • 软件接口：调用API（如发送邮件、控制智能家居）。
  • 自然语言输出：语音合成（TTS）或文本生成（如ChatGPT）。

5. 学习模块（Learning）

• 作用：通过反馈优化行为（在线学习或离线训练）。
• 实现方式：
  • 监督学习：标注数据训练模型（如分类任务）。
  • 强化学习（RL）：通过奖励机制调整策略（如AlphaGo）。
  • 联邦学习：分布式数据下的隐私保护学习。

6. 通信模块（Communication）

• 作用：与用户、其他Agent或系统交互。
• 实现方式：
  • 自然语言交互：基于NLP的对话系统。
  • 协议接口：HTTP/RPC、消息队列（如MQTT）。

多智能体

多智能体系统（Multi-Agent System, MAS）是由多个AI Agent组成的协作网络，这些Agent通过通信和协同工作，共同完成复杂任务。多智能体的核心优势在于：
1. 分工协作：不同Agent专精于特定任务（如搜索、数据分析、代码生成等），通过任务拆解和分配实现高效协同。
2. 复杂任务处理：单个Agent难以完成的复杂任务（如全域营销、供应链优化），可通过多Agent协作分阶段解决。
3. 适应性更强：动态环境中，多Agent系统能通过实时交互调整策略，例如无人机编队或金融风控场景。

架构设计

• 分层协作：参考Manus的三大模块：
  • 规划模块：拆解任务并分配子任务（如将“旅游保险分析”拆解为PDF解析、数据对比等步骤）。
  • 执行模块：调用专用Agent（如Content Agent生成报告）。
  • 验证模块：审核结果准确性后交付用户。
• 通信协议：采用标准化框架（如InterAgent协议）确保Agent间互操作性，类似区块链中的智能合约协调。

开发框架与工具

• 开源平台：
  • AutoGen：支持多Agent对话和人类参与，适合构建聊天机器人协作系统。
  • CrewAI：强调流程化任务分配，适合顺序性强的场景（如自动发邮件流程）。
  • MetaGPT：基于角色设计的框架，模拟软件开发团队分工。
• 商业化应用：如Manus的付费多Agent服务，或微盟的“数字员工”企业级解决方案。

案例

数据分析智能体

以下场景为deepseek生成。（从侧面体现了LLM的决策能力）
提示词：请你设计一个数据分析智能体，用对话的形式，实现“描述性分析”与“探索性分析”两种分析场景。能用到的工具有：数据地图，数据卡片平台，归因分析平台，客户画像系统，数据血缘，埋点平台、客群分析平台等

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

数据分析智能体对话设计
1.	 启动对话（意图识别）
用户：我想分析最近三个月的销售数据。
智能体：
您好！我将协助您完成分析。请问您需要哪种分析类型？
* 描述性分析：快速了解数据分布（如均值、趋势、异常值）。
* 探索性分析：深入挖掘潜在模式（如归因、客群差异）。
2.	 描述性分析场景（基础统计与可视化）
用户：先做描述性分析。
智能体：
已通过数据地图定位到销售数据集，包含订单量、销售额、地区等字段。以下是关键统计结果：
a.	数据卡片平台生成摘要：
    * 销售额均值：x=120万（环比+15%）
    * 订单量分布：华东占比45%（异常值：3月15日单日订单激增200%）
b.	可视化建议：
    * 折线图（时间趋势）
    * 热力图（地区销售密度）
是否需要进一步拆分维度（如按产品类别）？
3.	 探索性分析场景（深度挖掘）
用户：为什么华东地区销售额突增？
智能体：
正在调用工具链进行多维度归因：
a.	归因分析平台：
    * 关键因子：促销活动（贡献度62%）、新客增长（25%）
b.	客户画像系统：
    * 新客特征：25-35岁女性，偏好高单价品类（通过埋点平台追踪行为路径）
c.	数据血缘验证：
    * 活动数据与销售数据链路完整，无ETL异常
建议下一步：
  * 通过客群分析平台对比华东与其他地区用户画像差异
  * 需检查促销活动ROI吗？
4.	动态交互与工具调度
用户：我想看促销活动的转化漏斗。
智能体：
已从埋点平台提取用户行为事件，生成漏斗图：
  * 曝光→点击转化率：12%（低于平均水平15%）
  * 点击→下单转化率：8%（行业基准7%）
异常定位：
  * 曝光环节流失率高，建议检查广告投放渠道（数据血缘显示部分渠道数据缺失）
5.	 总结与自动化建议
智能体：
分析完成！是否需要：
a.	保存当前分析流程至数据卡片平台供复用？
b.	设置自动化监控（如销售额异动触发归因分析）？

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

flowchart LR
    %% 分层架构
    subgraph 用户交互层
        A[自然语言输入] --> B[对话引擎]
        B --> C[可视化卡片-图表/表格/摘要]
        C --> D[交互式追问]
    end

    subgraph 分析服务层
        B --> E{分析类型路由}
        E --> |描述性分析| F[查询引擎]
        E --> |探索性分析| G[归因分析平台]
        E --> |探索性分析| H[客群分析平台]
        F --> I[查询可视化平台]
        G --> J[客户画像系统]
    end

    subgraph 数据治理层
        I & G & H --> K[数据地图]
        K --> L[数据湖]
        L --> M[结构化数据]
        L --> N[非结构化数据]
        M --> O[数据血缘]
    end

    subgraph 支撑系统
        Q[元数据管理] --> K
        R[权限控制] --> L
        S[查询缓存] --> F
    end

    %% 关键数据流
    F -.-> |SQL/API| L
    I -.-> |渲染图表| C
    P -.-> |实时事件流| H
    O -.-> |血缘校验| G
    J -.-> |生成摘要| C

可能的方向

1. 员工效率提升
   • 重复性工作：数据录入、报表生成、邮件分类等规则明确的流程。
   • 预测分析：基于历史数据的销售预测、风险评估。
   • 辅助性数据探索工作：ChatBI
   • 实时响应：客服聊天机器人（如回答常见问题）。
2. 信息处理与生成
   • 内容创作：生成文本（研报、市场简报）、图像/视频合成（研报文生图）。
   • 事件驱动分析：识别突发事件对行业的影响（如疫情对航空股冲击）。
   • 知识检索：快速搜索并整合信息（投研问答）。
3. 风险管理与合规
   • 异常交易监测：识别操纵市场、老鼠仓等模式（如监测账户关联性）。
   • 反洗钱（AML）：AI分析资金流水，标记可疑交易
4. 客户服务与营销
   • 智能投顾：根据风险问卷生成标准化组合。
   • 精准营销：通过用户行为分析推荐产品（如低风险客户推国债逆回购）。
   • 合规质检：AI监听客服通话，实时提示违规话术（如承诺收益）。

公开招募工具
✓✓✓ = 最多6星 | ✓✓ = 最多5星 | ✓ = 最多4星

词条+词条

词条+职业

关于BBR的介绍参见 BBR （很久以前写过详细文档，后来丢了，只找到了一小部分……）

在一些比较老的OpenVZ的vps（宿主机内核低于4.9版本）上，是无法开启bbr的。tcp的拥塞控制，在网络链路存在严重丢包时，会将拥塞窗口乘性减少，所以进行文件传输时，速度会越来越慢。以下介绍一下我面临scp速度慢的问题的解决办法

haproxy-lkl代理ssh端口

市面上有很多代替BBR的方案，大多都大差不差，都是使用lkl（linux kernal library)内核库绕过内核协议处理网络数据，再使用端口代理，实现在某几个端口的传输层能达到bbr的效果。

参考了ovz架构安装bbr内核一文，很方便，一建安装。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

恭喜！BBR 安装完成并成功启动

已加速的端口: 2222

你可以通过修改文件:
    /usr/local/haproxy-lkl/etc/port-rules

来配置需要加速的端口或端口范围。

请使用 systemctl {start|stop|restart} haproxy-lkl
来 {开启|关闭|重启} 服务

服务已自动加入开机启动，请放心使用。

如果这个脚本帮到了你，你可以请作者喝瓶可乐:
  https://blog.kuoruan.com/donate

享受加速的快感吧！

但也有缺点，这个端口代理只能影响外部访问该端口的，不能影响由内向外的。我尝试过打开某个本地端口，再通过以下代码将文件scp到外面，但是并没有用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

# 指定本地端口
# 没有用，haproxy-lkl并监听由本地端口发起的连接
def transfer_and_delete_file_using_key_and_local_port(local_file_path, remote_host, remote_user, private_key_path,
                                                      remote_file_path, local_port):
    private_key = paramiko.RSAKey.from_private_key_file(private_key_path)
    local_host = "0.0.0.0"  # 表示从任意本地网络接口连接

    # 创建 SSH 客户端对象
    ssh = paramiko.SSHClient()
    # 自动添加主机密钥
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    sock.bind((local_host, local_port))
    sock.connect((remote_host, 22))
    transport = paramiko.Transport(sock)
    try:
        transport.start_client()
        transport.auth_publickey(remote_user, private_key)
        sftp = paramiko.SFTPClient.from_transport(transport)
        # 检查远程文件路径的目录是否存在，如果不存在则创建
        remote_dir = os.path.dirname(remote_file_path)
        try:
            sftp.listdir(remote_dir)
        except IOError:
            sftp.mkdir(remote_dir)
        sftp.put(local_file_path, remote_file_path)
        sftp.close()
        logging.info(f"local file scp finish, {local_file_path}")
        # 删除本地文件
        os.remove(local_file_path)
        logging.info(f"local file deleted: {local_file_path}")
    except Exception as e:
        traceback.print_exc()
        logging.error(f"exception on {local_file_path} with error {e}")
    finally:
        # 关闭 Transport 连接
        transport.close()

http请求呼叫远端pull

我干脆就不push了，让远端pull。这里面只有一个问题，就是网络链路不稳定容易导致('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))错误

解决方案是pull接口幂等+重试

本地：

1
2
3
4
5
6
7
8
9
10
11

def ask_remote_scp_local_file_and_remote():
    while True:
        try:
            resp = session.post("http://xxx", json=req,timeout=3600)
            if resp:
                break
        except Exception as e:
            logging.error("ask remote scp fail," + e.__str__())
    if resp.status_code == 200 and resp.text == 'success':
        os.remove(file_path)
    return

远端：
使用python-redis-lock包

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

def scp_from_remote_using_key(local_file_path, remote_host, remote_user, private_key_path, remote_file_path, port):
    # 创建 SSH 客户端
    ssh = paramiko.SSHClient()
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    try:
        # 加载私钥
        private_key = paramiko.RSAKey.from_private_key_file(private_key_path)
        # 连接到远程服务器
        ssh.connect(remote_host, port=port, username=remote_user, pkey=private_key)
        # 使用 sftp 传输文件
        sftp = ssh.open_sftp()
        # 检查远程文件路径的目录是否存在，如果不存在则创建
        local_dir = os.path.dirname(remote_file_path)
        try:
            os.listdir(local_dir)
        except IOError:
            os.mkdir(local_dir)

        sftp.get(remote_file_path, local_file_path)
        sftp.close()
        logging.info(f"remote file scp finish, {remote_file_path}")
    except Exception as e:
        logging.error(f"exception on {remote_file_path} with error {e}")
    finally:
        # 关闭 SSH 连接
        ssh.close()
def lock_and_scp(local_file_path, remote_host, remote_user, private_key_path, remote_file_path, port):
    m2 = hashlib.md5()
    m2.update(remote_file_path.encode('utf-8'))
    md5 = m2.hexdigest()
    lock = redis_lock.Lock(redis_connect, "lock_" + md5, expire=600)

    if lock.acquire(blocking=True):
        if redis_connect.get("finished_" + md5) is None:
            scp_from_remote_using_key(local_file_path, remote_host, remote_user, private_key_path, remote_file_path,
                                      port)
            redis_connect.set("finished_" + md5, "1")
            redis_connect.expire("finished_" + md5, 600)
        lock.release()