1. 如何评估大模型在特定垂直领域(如医疗、法律、金融)的表现？

评估大模型在特定垂直领域的表现需要结合领域专业知识、特定数据集以及针对性的评估流程，不能仅依赖通用指标。以下是一个系统性的评估框架：

领域特定基准测试

医疗领域：

• MedQA/MedMCQA：基于医学执照考试（如USMLE）的多选题。
• PubMedQA：基于医学文献的研究问题，评估文献理解能力。
• MMLU医学子集：涵盖临床知识、解剖学、药理学等。
• 医疗NLI：医疗文本推理任务。

法律领域：

• LegalBench：包含法律推理、合同分析等多种任务。
• CUAD (Contract Understanding Atticus Dataset)：专注于合同条款理解。
• CaseHOLD：法律案例推理和判例引用。
• 模拟考试：如律师资格考试（Bar Exam）题目。

金融领域：

• FinQA：金融数值推理问题。
• FiQA：金融意见挖掘和问答。
• 金融NER/情感分析：识别金融实体及分析新闻/报告的情感倾向。

专业知识与推理评估

• 事实准确性：
  • 权威比对：将回答与教科书、法规、医疗指南比对。
  • 知识图谱验证：利用领域图谱验证实体关系的正确性。
• 深度推理能力：
  • 案例分析：评估模型处理复杂案例（如多病并存、复杂合同纠纷）的能力。
  • 多步骤推理：解决需要层层推导的问题（如税务计算）。
  • 不确定性处理：模型是否知道何时说“不知道”或提示风险。
• 专业术语：评估术语使用的准确性、一致性以及向非专业人士解释的能力。

实际应用场景与工作流模拟

• 场景模拟：
  • 医疗：模拟诊断对话、治疗方案生成。
  • 法律：模拟合同审查、法律咨询、文书起草。
  • 金融：模拟研报解读、投资风险评估。
• 多轮交互：测试在持续对话中维持上下文、术语一致性的能力。
• 决策支持：评估建议的实用性，是否涵盖了必要的权衡分析。

安全性、合规性与风险控制

• 风险评估：
  • 医疗：严防误诊建议或禁忌症错误。
  • 法律/金融：避免提供导致重大损失的错误建议，明确免责声明。
• 合规性：回答是否符合GDPR、HIPAA等隐私法规及行业标准。
• 偏见检测：检查是否存在种族、性别或社会经济地位的歧视（如保险核保偏见）。

评估团队与对比方法

• 团队构成：必须包含领域专家（医生、律师）、AI工程师及伦理学家。
• 对比评估：
  • 与专家对比：进行盲测（Blind Test），看能否达到初级从业者水平。
  • 与专业工具对比：对比现有专业软件，看是否有增量价值。
  • 与通用模型对比：验证垂直微调是否真的优于GPT-4等强力通用模型。

举例子类比记忆

• 专科医生考试 vs. 高考
  • 通用评估就像“高考”，考的是语数外通识。
  • 垂直评估就像“执业医师资格证”或“司法考试”。
  • 基准测试：就是笔试题（选择题、案例题）。
  • 实际场景测试：就是“规培/实习”，让老医生带着看病，看你在真实环境下会不会把病人治坏（安全性/幻觉），开药方对不对（准确性）。
  • RAG/工具使用：就像允许医生查阅《药典》或律师查阅《法条》，而不是全靠死记硬背。

知识点易错提醒

• 忽视数据时效性：在法律和金融领域，法规和市场数据更新极快。如果只用静态测试集评估，无法反映模型处理新信息的能力。
• 过度依赖自动化指标：在垂直领域，ROUGE/BLEU等指标意义不大，必须引入“Human-in-the-loop”（专家人工评估）。
• 零容忍幻觉：在通用聊天中幻觉是个笑话，但在医疗/法律中幻觉是事故。面试中必须强调对“幻觉率”的极端严格要求。

延伸面试提问及应答建议

• 提问：在垂直领域（如医疗），由于数据隐私很难获取高质量数据，如何进行微调和评估？

  • 简答：1. 合成数据：利用强模型（如GPT-4）基于教科书生成脱敏的病历或对话数据，并经专家校验；2. 合作构建：与医院/机构合作，在本地化环境中进行联邦学习或私有化部署训练；3. 数据增强：将现有的小规模高质量数据通过改写、回译等方式扩充。

• 提问：垂直领域大模型，应该优先选RAG（检索增强）还是SFT（监督微调）？

  • 简答：通常结合使用，但各有侧重。RAG是核心，用于提供最新的、准确的事实依据（如最新法条、实时股价），解决幻觉和时效性问题。SFT用于“对齐”，学习领域的思维模式、专业术语的表达风格以及指令遵循能力。

• 提问：如何解决通用大模型在垂直领域“由于过于自信而胡说八道”的问题？

  • 简答：1. 拒答训练：在SFT阶段加入大量“无法回答”的样本，教模型识别知识边界；2. 置信度阈值：输出时计算Perplexity或Logprobs，低置信度时转为搜索或人工介入；3. 引用溯源：强制模型输出必须包含RAG检索到的来源引用，无引用则不输出。

2. 在构建垂直领域的大模型应用时，如何解决领域知识不足的问题？

构建垂直领域的大模型应用时，解决领域知识不足的问题需要综合策略，主要包括知识库构建、RAG技术、微调以及人机协作等维度。

领域知识库构建

• 资料整理：收集并整理领域专业文献、教材、标准和规范。
• 术语体系：建立术语表和概念词典，明确专业术语解释，消除歧义。
• 非结构化转结构化：整合行业案例、最佳实践，将文档转换为结构化数据（如JSON、图谱）。

RAG技术应用 (检索增强生成)

• 核心机制：连接大模型与外部领域知识库，实现“外挂大脑”。
• 检索优化：实现混合检索（关键词+语义向量），确保召回的准确性。
• Prompt工程：设计特定领域的提示模板，引导模型基于检索到的内容进行回答，而非依赖自身记忆。

领域适应性微调 (Fine-tuning)

• 继续预训练 (Continued Pre-training)：注入领域大量的无标注文本，让模型“熟悉”领域语言习惯。
• 指令微调 (SFT)：构建高质量的问答对（Q&A），教模型如何像专家一样回答问题。
• 参数高效微调 (PEFT)：使用LoRA、P-Tuning等技术降低训练成本和显存需求。

专家协作与知识提取

• 隐性知识显性化：与领域专家合作，通过访谈获取书本上没有的经验知识。
• 专家反馈循环 (RLHF)：建立人机协作界面，专家对模型输出进行打分或修正，用于后续优化。

混合系统架构

• 规则引擎：对于确定性的领域规则（如法律红线、医疗禁忌），使用传统规则引擎而非概率生成的模型。
• 多模态整合：处理领域特有的数据格式（如医疗影像DICOM、金融K线图），建立实体关系图谱。

举例子类比记忆

• 新入职的实习生
  • 通用大模型就像一个名牌大学毕业的“通识高材生”，聪明但没干过具体行业。
  • 领域知识库 & RAG：给他配了一本“员工手册”和“行业百科全书”，遇到不会的题允许他翻书（检索）再回答。
  • 微调 (Fine-tuning)：送他去参加为期三个月的“岗前封闭集训”，系统学习行业黑话和思维方式，把大脑变成行业专用版。
  • 规则引擎：给他一张“死命令清单”，比如“看到红灯必须停”，这是硬性规定，不需要他思考。
  • 专家协作：给他配一个老带新的导师（专家），做错了导师会纠正（RLHF）。

知识点易错提醒

• 误以为微调能解决所有知识问题：微调更适合让模型学习“领域风格”和“推理模式”，而不是注入“事实性知识”。事实性知识通过微调注入很难更新且容易产生幻觉，RAG才是解决知识时效性和准确性的主力。
• 忽视数据质量：在垂直领域，“Garbage In, Garbage Out”效应极强。如果把含噪的行业数据直接扔给模型微调，模型会变笨。必须强调数据清洗和去重。
• 忽略隐性知识：很多行业壁垒在于“只可意会不可言传”的经验，光靠爬取文档是不够的，必须强调“专家反馈（Human-in-the-loop）”的重要性。

延伸面试提问及应答建议

• 提问：在垂直领域，什么时候选择RAG，什么时候选择微调？

  • 简答：
    • 选 RAG：当知识频繁更新（如股市）、需要精准事实引用、避免幻觉、数据属于私有隐私时。
    • 选 微调：当需要模型掌握特定的语言风格（如鲁迅文风、法律文书格式）、学习特定的指令遵循能力、降低推理延迟（不想检索）时。
    • 最佳实践：通常是 RAG + 微调 结合。微调让模型“懂行”（听懂术语），RAG提供“证据”（事实依据）。

• 提问：如何构建特定领域的知识图谱（Knowledge Graph）来增强大模型？

  • 简答：利用知识图谱的结构化特性解决“多跳推理”问题。流程包括：1. 实体识别与关系抽取；2. 构建三元组；3. 使用GraphRAG技术，在检索时不仅检索向量相似的片段，还沿着图谱关系检索相关联的实体，提供更全面的上下文。

• 提问：如果领域数据很少（Low-resource），怎么办？

  • 简答：1. 数据增强：利用强模型（GPT-4）生成合成数据；2. 迁移学习：找相似领域的数据先做预训练；3. Few-shot Prompting：在RAG的Prompt中加入精选的高质量示例，激发模型能力。