12月6日，在中共上海市委金融委员会办公室、上海市经济和信息化委员会的指导下，上海市人工智能行业协会和上海金融业联合会联合发布全国首个以金融业务能力为核心的团体标准《金融大模型应用评测指南》，上海库帕思科技有限公司发布多维度金融大模型评测数据集（2024版）。

《金融大模型应用评测指南》，以金融业务为核心，以金融机构模型应用为导向，从模型基础、金融安全与价值对齐、金融风险控制、金融专业认知、金融业务辅助拓展等5个维度185项指标要求，构建了金融领域大模型的能力测评框架。

在模型基础能力方面，围绕模型基础理解和推演功能，指南定义了包括文本分类、信息抽取等在内的11项单模态、图文检索、视频问答等在内的6项多模态指标要求。金融安全与价值对齐能力方面，围绕模型的可靠性、可解释性以及隐私保护，指南设计了内容合规、文化价值、伦理价值等在内的9项指标要求。金融风险控制能力方面，围绕模型在实际应用中的风险防范与控制，指南提出了利率风险、汇率风险、舆情风险等在内的19项指标要求。金融专业认知能力方面，围绕模型的金融基础知识和信息解读，指南归纳了会计核算、财务报表编制与分析等在内的23项指标要求。金融业务辅助拓展能力方面，围绕银行、基金、保险、证券、信托等5个领域，指南提炼了28项业务场景，包括存贷款业务、量化交易等在内的117项指标要求。《金融大模型应用评测指南》同步细化了相关的评测内容，给出了相关的评测方法与工具，并以附录的形式给出了评测分级标准。

同日发布的金融大模型评测数据集（2024版），结合了金融行业的实践，是金融领域大模型应用成效评测的重要抓手。评测数据集具有规模大、结构优、价值对齐等特点，符合金融领域对知识鲜活度、多样性和高密度的整体要求。

金融机构比照《金融大模型应用评测指南》能力测评框架，共设计评测数据44000余句对。聚焦“模型基础能力”，围绕计算能力、逻辑推理等6个维度，设计评测数据22000余句对。聚焦“金融安全与价值对齐能力”，围绕信息内容、社会秩序等13个维度，设计评测数据2000余句对。聚焦“金融风险控制能力”，围绕合规、市场、操作等5类金融风险，设计评测数据1000余句对。聚焦“金融业务辅助拓展能力”，围绕舆情分析、智能投研等3项业务场景，设计评测数据12000余句对。聚焦“金融专业认知能力”，围绕金融专业知识、IPO图表等6种知识类型，设计评测数据7000余句对。后续，金融评测数据集将定期更新，样例集已在Open Data Lab和开放原子社区发布。

上海库帕思科技有限公司董事长山栋明在接受采访时表示，过去传统的评测往往集中于模型本身的IT领域，这次的应用评测指南将大量的篇幅和核心放在了金融业务本身，比如与金融业务的辅助拓展、金融的风险控制、金融安全以及价值对齐，这些都是传统的平台架构所不具备的，是一个既能体现模型的科技内核，又能体现金融业务独特属性的评测框架。