AI QA Engineer

岗位职责 1. AI 产品质量保障负责 AI 产品（如 LLM 应用、智能助手、推荐系统、生成式 AI 工具等）的整体质量保障设计并执行测试方案，覆盖功能测试、性能测试、稳定性测试、模型行为测试针对模型输出进行质量评估，包括准确性、一致性、安全性、可控性等 2. 模型测试与评估设计模型评估指标（如 hallucination rate、toxicity、relevance、latency）构建测试数据集、Prompt 测试集、场景化测试用例使用自动化评估工具（如 BLEU、ROUGE、BERTScore、LLM-as-a-judge）进行模型质量验证 3. 测试自动化与工具开发参与构建 AI 测试自动化平台，包括脚本、pipeline、自动化评估框架与研发合作推动 CI/CD 中的模型测试流程编写测试脚本（Python 优先），提升测试效率与覆盖率 4. 数据质量与标注流程管理参与数据标注、数据清洗、数据质量评估设计数据采样策略，确保训练/评估数据的代表性与数据团队合作优化数据 pipeline 5. 风险识别与问题分析识别模型潜在风险，如偏见、错误输出、越权、敏感内容等分析模型异常行为，定位问题来源（Prompt、数据、模型、系统）推动问题修复并验证效果

职位描述

Fiona Lu