职位解读

大模型评测工程师是北京捷科智诚科技有限公司上海分公司在杭州上城发布的通用岗位，薪资范围12-20K。该岗位要求3-5年经验、本科学历，工作地点位于杭州上城。北京捷科智诚科技有限公司上海分公司作为相关企业，其招聘节奏侧面反映该行业在杭州的人才需求热度。企业在该岗位的招聘活跃度，往往反映其在对应城市与行业的人才需求热度，可作为择业参考。岗位职责包括：评测集构造：参与通用方向大模型评测集/benchmark 的构造，内容包括但不限于评测集体系建设、题目构造、参考答案和/或评分标准撰写、题目质检、答案校验、论文写作等，确保评测集合理、准确、有区分度。 测试和分析：参与模型评测，完善评测链路和体系，分析模型回复，进行错误归因，总结。任职要求为：学历要求：本科及以上学历 学科背景：专业不限（CS 类专业，文科专业，STEM 等学科皆可） 行业经验：有模型评测经历，熟悉常见评测方法与指标，熟悉主流大模型。 综合素质：具备优秀的学习能力，问题拆解。