HELM

10个月前更新 143 0 0

HELM是由斯坦福大学推出的大模型评测体系,该评测方法主要包括场景、适配、指标三个模块,每次评测的运行都需要指定一个场景,一个适配模型的提示,以及一个或多个指标。

收录时间:
2024-06-25

HELM全称Holistic Evaluation of Language Models(语言模型整体评估)是由斯坦福大学推出的大模型评测体系,该评测方法主要包括场景、适配、指标三个模块,每次评测的运行都需要指定一个场景,一个适配模型的提示,以及一个或多个指标。它评测主要覆盖的是英语,有7个指标,包括准确率、不确定性/校准、鲁棒性、公平性、偏差、毒性、推断效率;任务包括问答、信息检索、摘要、文本分类等。

相关导航

比格AI PPT

比格AI PPT

比格AIPPT是一款高效的AI PPT生成办公工具,利用先进的人工智能语言模型技术,为用户提供了一个快速便捷的PPT制作体验。用户只需简单地输入想要探讨的主题,该智能软件便能迅速地创建出一套专业的演示文稿。此外,比格AIPPT还内置了一系列精心设计的PPT模板,用户可以轻松地通过一键操作来更换这些模板,以适应不同的演示场合和风格。会员可解锁更多高级功能,支持免费体验。