人工智能产品经理选择题考试（208）

一、AI技术基础与产品化适用边界

1. 区分AI任务类型与产品实现范式。根据问题的输入、输出、数据条件和业务目标，识别可能适用的AI范式。
   • 分类、回归、聚类、检索、排序、预测与生成任务的区别；规则系统、经典机器学习与基础模型的基本适用条件；确定性业务规则与概率性模型输出的组合。
   • 熟悉：监督学习、无监督学习、自监督学习与强化学习的基本思想；预测与生成任务的交叉；训练、验证、测试与推理的区别。
   • 了解：AI、机器学习、深度学习的关系；ANI与AGI概念及定义争议；AI发展的主要阶段。
2. 能解释模型机制对产品表现的影响，包括解释模型为何能够完成任务，以及哪些机制会形成产品约束。
   • 掌握：泛化、过拟合、欠拟合与分布变化的产品含义；模型输出可能出错；流畅表达、检索结果或较高评分均不能直接证明事实正确。
   • 熟悉：线性模型、树模型、集成学习、距离与核方法的基本特点；Token、Embedding、上下文窗口、注意力、Transformer、自回归生成；预训练、监督微调、偏好优化与对齐；温度、Top-k、Top-p对输出分布的影响。
   • 了解：激活函数、权重、损失函数、反向传播与位置编码的作用；GAN、Diffusion等生成架构的基本用途。
3. 识别模态与应用场景的约束，能识别不同输入输出形式对数据、评测、安全和交互的影响。
   • 掌握：任务适配性必须通过场景数据与系统评测验证；公开榜单与实际产品表现的区别。
   • 熟悉：自然语言、图像、语音、音频与多模态任务的典型失败方式；实时语音中的延迟、打断与轮次管理；感知错误对下游决策的影响。
   • 了解：自动驾驶、自主移动与具身智能中的感知、规划、控制闭环；仿真与真实环境的差异。

二、AI机会识别、需求与人机协作设计

1. 能判断AI机会与可行性。明确使用AI需要解决的问题，并识别不适合采用AI的情况。
   • 掌握：现有流程与非AI基线；任务频率、数据可得性、可验证性、错误代价、可逆性与价值假设；技术、数据、经济、运营和合规可行性；不采用AI或采用低自主性方案的判断。
   • 熟悉：任务拆解、自动化与辅助决策的区别；能力验证、用户价值验证与商业可行性验证之间的关系。
   • 了解：基础模型对既有产品形态、行业分工和价值链的潜在影响。
2. 具备形成AI产品需求与系统验收条件的能力。能将模糊需求转化为可实现、可评测的AI产品需求。
   • 掌握：AI PRD中的目标用户、任务范围、输入输出、数据来源、能力边界、非目标、失败处理、人工接管、质量指标与上线门槛；任务成功定义与分层验收；延迟、成本、可用性、安全和可访问性要求。
   • 熟悉：模型需求、系统需求和产品需求的区别；外部模型、知识库、工具与用户环境形成的依赖；需求与评测用例的对应关系。
   • 了解：模型卡、系统卡、数据说明文档的用途。
3. 设计可理解、可纠错的人机协作。能根据风险与用户能力分配人机职责，设计有效监督机制。
   • 掌握：自动执行、执行前确认、人工复核和人工接管的选择；能力告知、来源展示、纠错、撤销、申诉、拒答与降级；高影响操作的确认条件；避免诱导用户过度信任。
   • 熟悉：自动化偏误、拟人化、认知负担与信任校准；解释、引用与真实正确性的区别；人工复核的工作量、能力及响应时间约束。
   • 了解：AI交互对特殊用户群体、劳动分工与长期行为的可能影响。
4. 具备在不确定性下作出可检验的决策的能力。识别系统关系，明确假设，并用验证结果调整决策。
   • 掌握：将直觉与“产品品味”转化为可观察的质量标准；明确关键假设、验证证据、继续／停止条件；区分相关关系与因果关系。
   • 熟悉：反馈回路、延迟、非预期后果、局部优化与系统结果；用简化因果回路分析用户行为、数据与模型之间的反馈。
   • 了解：存量流量、复杂适应系统、涌现与混沌的基本概念及解释边界。

三、AI数据管理与知识资产

1. 定义数据需求并判断数据适用性。能判断现有数据能否支持训练、检索、评测及生产使用。
   • 掌握：数据来源、授权、代表性、覆盖度、准确性、完整性、一致性、时效性与可追溯性；标签定义；类别不平衡、缺失、重复、异常与抽样偏差的影响。
   • 熟悉：结构化、半结构化、非结构化数据；标注与无标注数据；CSV、JSON、JSONL及常见多模态数据格式；批数据与流数据。
   • 了解：数据仓库、数据湖、湖仓、数据平台与数据中台的基本定位。
2. 组织数据集构建与质量控制。能设计符合任务要求的数据准备和质量验收流程。
   • 掌握：训练集、验证集与独立测试集的用途；按时间、用户或实体划分数据以降低泄漏风险；标注规范、复核、争议裁决与质量抽检；训练数据和评测数据隔离。
   • 熟悉：清洗、去重、特征处理、采样与数据增强；标注一致性；弱监督、主动学习与合成数据的用途和风险。
   • 了解：特征存储与训练、服务数据一致性的作用。
3. 管理检索增强所需的知识资产。能保证知识库内容可用、可更新、可授权访问。
   • 掌握：知识来源的权威性、有效期、版本与负责人；文档权限及租户隔离；知识更新、删除与索引同步；来源证据与回答的可追溯关系。
   • 熟悉：解析、分块、索引、元数据、Embedding、向量检索与关键词检索；表格、图片及扫描文档的处理难点。
   • 了解：知识图谱及其他知识组织方式的适用场景。
4. 制定数据全生命周期管理要求。可以为数据采集、流转、使用和退出设置控制要求。
   • 掌握：数据最小化、访问权限、保存期限、删除、血缘、版本与审计要求；反馈数据再次用于训练或评测的条件；埋点口径及敏感数据进入日志的风险。
   • 熟悉：数据库、对象存储与向量数据库的用途；ETL、ELT及数据管道；数据新鲜度、失败重试与质量监控。
   • 了解：数据驻留和跨区域数据架构的基本影响。

四、AI技术方案、提示词与智能体设计

1. 能比较模型与实现方案，可以在业务约束下选择并论证技术方案。
   • 掌握：规则、经典机器学习、基础模型及混合方案的选择；自建、采购、托管API和自部署的比较；质量、数据需求、成本、延迟、可控性、许可、安全与退出成本的综合取舍。
   • 熟悉：闭源服务、开放权重与开源软件的区别；提示词优化、RAG、微调与继续预训练的作用及限制；模型路由、小模型与大模型协作。
   • 了解：蒸馏、量化、剪枝及边缘部署的基本用途。
2. 设计并验证提示词与上下文，能为给定任务组织指令、示例、证据和输出要求。
   • 掌握：任务目标、输入边界、约束、示例、输出格式和成功标准；提示词的版本管理、对照评测与回归验证；结构化输出的校验和异常处理；区分可信指令与不可信外部内容。
   • 熟悉：零样本、少样本、任务分解、上下文筛选与压缩；上下文容量与有效利用的区别；模型参数调整的适用边界。
   • 了解：提示词模板与设计框架的用途；不同模型对提示方式的敏感性。
3. 设计知识增强与外部工具连接。能区分“需要知识”与“需要执行动作”，选择适当的增强方式。
   • 掌握：RAG的检索、证据组织、生成与引用流程；检索失败与生成失败的区分；工具输入输出契约、身份认证、授权、超时、错误处理与结果校验；高影响工具操作的审批条件。
   • 熟悉：混合检索、重排序、查询改写；Function Calling与工具执行的区别；MCP等连接机制的作用及信任边界。
   • 了解：不同外部连接协议及能力封装方式的演进。
4. 设计可控的智能体与工作流。能确定自主性边界，并建立任务执行与恢复机制。
   • 掌握：固定工作流与智能体的适用条件；目标、环境、状态、工具与行动边界；任务拆解、执行循环、停止条件、步数与预算限制；最小权限、人工审批、失败恢复与重复操作防护。
   • 熟悉：规划与反思的局限；短期状态、长期记忆及其更新、删除和隔离；检查点、幂等性、补偿操作；单智能体与多智能体的协作成本；Skills等能力封装方式。
   • 了解：多智能体编排、通信和协调模式；长程任务中的误差累积与协调失败。

五、AI评测、实验与质量决策

1. 能建立分层评测框架。能把业务目标转化为模型、系统和产品层面的评测要求。
   • 掌握：业务结果、任务成功、模型质量、系统可靠性与风险护栏之间的关系；离线评测、在线实验、专家评审和用户验证的用途；均值、关键子群及尾部风险的区分。
   • 熟悉：模型基准、系统端到端评测与真实用户结果的区别；组件指标改善但整体效果下降的可能原因。
   • 了解：外部公开基准的构建方式与代表性局限。
2. 构建可信的评测集与评分规则。建立能够支持比较、验收和回归测试的评测资产。
   • 掌握：真实任务分布、典型场景、长尾场景、边界条件与对抗场景的覆盖；Golden Dataset的版本、保密和维护；标准答案、可接受答案范围、评分量表与证据；评测泄漏与污染防范。
   • 熟悉：人工评分一致性、争议裁决、盲评、随机排序与模型辅助评分；模型裁判的位置偏差、风格偏差及人工校准；开放任务的多种有效答案。
   • 了解：合成评测数据的用途及代表性限制。
3. 选择、计算和解释任务指标。能根据错误代价选择指标，解释结果对产品决策的意义。
   • 掌握：混淆矩阵、准确率、精确率、召回率与F1；误报、漏报及阈值取舍；根据给定数据完成基础计算；生成任务的事实正确性、证据支持、相关性、完整性与约束遵循；智能体的端到端成功率、违规操作、人工介入、成本及耗时。
   • 熟悉：MAE、RMSE、ROC-AUC、PR-AUC及其适用条件；排序与检索指标；概率校准；生成内容相似度指标的局限；智能体执行轨迹与最终环境状态的联合检查。
   • 了解：视觉、语音与其他专用任务的典型指标。
4. 根据实验与评测证据作出上线决策。能判断证据是否足以支持上线、扩大使用或继续改进。
   • 掌握：基线比较、评测条件控制、重复运行与随机性；样本量不足和结果波动的识别；统计差异与业务意义的区别；质量、安全、成本和延迟的联合门槛；不通过项的处置。
   • 熟悉：置信区间、实验分组、多重比较与过早停止的风险；影子测试、灰度试验和线上护栏；失败样本分类与根因分析。
   • 了解：红队测试与常规质量评测的互补关系。

六、AI开发交付与工程协作

1. 能安排验证阶段与交付关口。可以为不同开发阶段设置问题、证据和退出条件。
   • 掌握：原型、PoC、MVP与Pilot各自需要验证的问题；技术可行、用户可用、业务有效和可规模化的区别；数据、模型、产品、工程、安全与法务职责接口。
   • 熟悉：数据准备、标注、模型实验、系统集成与评测之间的依赖；实验记录、决策日志及需求变更控制。
   • 了解：研究探索与工程交付节奏的差异。
2. 能使用AI辅助原型设计与脚本开发。能利用AI开发工具验证想法，并检查产物是否符合要求。
   • 掌握：把需求转化为输入、输出、异常与验收用例；审查AI生成结果；识别凭据泄露、破坏性操作、数据外传及未经验证依赖的风险；区分演示可运行与生产可用。
   • 熟悉：Python变量、控制流、函数、模块、库、文件处理及异常处理；阅读或修改简短的数据处理、文档处理和API调用脚本；日志、测试与依赖管理。
   • 了解：Python环境及包管理；Vibe Coding与其他AI辅助开发方式的常见用法和局限。
     说明：不考核安装步骤记忆或大量手写代码能力。
3. 控制版本、变更与上线风险。能建立可追溯、可恢复的AI产品交付流程。
   • 掌握：模型、数据、提示词、检索配置、工具与应用代码的联合版本记录；变更触发评测；灰度、回滚、降级与人工兜底；生产数据和实验环境的隔离。
   • 熟悉：MLOps、LLMOps与DevOps的关系；批处理、实时服务、云端、本地和边缘部署的权衡；供应商接口和模型版本变更。
   • 了解：模型注册、实验追踪和持续交付平台的基本作用。

七、AI生产运营、经济性与持续迭代

1. 监测生产表现并响应异常。能将用户反馈、运行数据和质量证据转化为行动。
   • 掌握：任务成功、错误、延迟、成本、人工介入和安全事件监控；告警、分级响应、降级、停用与恢复；线上失败进入回归评测的闭环。
   • 熟悉：数据漂移、概念漂移、知识过期和供应商变更的区别；日志、Tracing与关联标识；可观测性与隐私之间的取舍。
   • 了解：漂移检测与自动再训练的局限。
2. 估算成本并进行质量、成本和延迟权衡。能根据实际任务链路估算经济性，识别优化方向。
   • 掌握：训练或适配、推理、检索、存储、工具调用、重试、人工审核和运维成本；按“成功完成的任务”核算单位成本；给定数据下的成本估算与敏感性分析；平均延迟与尾部延迟的区别。
   • 熟悉：缓存、批处理、上下文控制、模型路由和模型压缩的影响；吞吐量、并发、限流与容量；推理计算投入与质量收益的关系。
   • 了解：算力利用率、能耗与基础设施成本之间的关系。
3. 判断规模化条件与持续产品价值。能区分试点成功、真实需求成立和规模化可持续。
   • 掌握：重复使用、任务完成、人工纠正、流程采纳和付费证据的联合分析；新奇效应与持续价值的区别；扩大使用前的数据、质量、成本及治理条件。
   • 熟悉：模型同质化、供应商依赖、工作流嵌入、专有知识与反馈闭环；反馈偏差；模型退役、供应商切换、用户迁移和数据处置。
   • 了解：外部能力变化、需求变化与竞争变化对原有产品市场匹配的影响。

八、AI伦理、安全、治理与合规

1. 识别风险并开展影响评估。能识别受影响主体，将伦理原则转化为可执行要求。
   • 掌握：人类自主、公平、隐私、透明、安全、稳健与问责；受影响群体、伤害类型、严重性、可能性、影响规模及可逆性；风险缓解、剩余风险与接受责任人。
   • 熟悉：偏差来源、不同公平性指标的适用限制；滥用与意外伤害；弱势群体、劳动影响、可访问性和环境影响。
   • 了解：国际AI伦理原则与全球治理倡议。
2. 为生成式AI与智能体建立安全控制。能识别系统攻击面，并选择与风险相适应的控制。
   • 掌握：提示注入、越权调用、敏感信息泄露、跨租户访问、危险输出及失控执行；最小权限、隔离、人工审批、输入输出校验、运行预算、紧急停止与审计；外部内容不能作为授权依据。
   • 熟悉：直接与间接提示注入；数据投毒、模型供应链风险、记忆污染与工具结果污染；纵深防御；安全测试与持续监控。
   • 了解：模型窃取、成员推断等专门攻击类型的基本含义。
3. 建立生命周期治理与供应商管理机制。能为AI系统建立责任、审批、记录和审计安排。
   • 掌握：AI系统清单、用途与风险分类；系统负责人、审批权限及责任分配；供应商的数据使用、训练使用、保留、删除、安全事件、服务变更与退出条款；事故记录和整改闭环。
   • 熟悉：NIST AI RMF的Govern、Map、Measure、Manage四项功能；ISO/IEC 42001的AI管理体系定位；风险评估、影响评估、管理体系与产品评测的区别。
   • 了解：相关国际标准、独立审计及第三方保证机制。
4. 识别适用法律问题并转化为产品要求。能根据市场、角色、用途和数据流识别合规要求，并形成协同处理方案。
   • 掌握：从部署地区、服务对象、业务用途、组织角色和数据处理活动识别适用问题；个人信息处理、知识产权、模型许可、消费者告知、生成内容标识与跨境数据问题的产品影响；形成合规问题清单、责任人和验证证据。
   • 熟悉：中国个人信息、数据安全、网络安全及算法推荐、深度合成、生成式AI服务相关制度的适用逻辑；欧盟AI Act的风险治理、角色义务及通用AI模型相关要求；美国联邦、州及行业规则的差异；医疗、金融、教育等场景的附加要求。
   • 了解：全球治理机制、国际组织倡议及跨法域规则协调的困难。