LM Evaluation Harness

—Stars

广泛使用的大语言模型评测框架，将任务定义、few-shot 模板、生成参数和推理后端统一到可复现流水线，支持跨模型、跨基准的标准化比较。

Open LLM Leaderboard BackendReproducible Evaluation
查看贡献详情 查看 GitHub 项目查看我的 PR
EVALUATION INFRA · CONFIGURATION

让两种配置入口走同一条路

CLI 和 YAML 表达方式不同，但进入评测系统前应该被规范化成完全相同的数据结构。

CLI
key=valueYAML
"key=value"
SINGLE SOURCE OF TRUTHDICT_KEYSshared _configure()
model_argsgen_kwargsmetadatadict
入口分裂

同一字段得到两种运行时类型

延迟注解使 dataclass 字段类型不再等同于运行时 dict，CLI 与 YAML 两条配置入口行为不一致。

根因定位

延迟注解破坏了身份判断

定位到 f.type is dict 恒为假，核心不是某个任务的配置错误，而是两条入口没有共享同一套类型识别与规范化边界。

统一边界

DICT_KEYS 成为单一事实来源

用 DICT_KEYS 统一识别字典字段，并将 YAML 字符串规范化前移到共享配置流水线，让 CLI 与纯 YAML 入口复用同一条解析路径。

配置语义

CLI 与 YAML 得到同样结果

消除入口差异导致的静默配置偏差，使任务配置在不同调用方式下保持一致，也降低后续新增字典字段时重复修补的维护成本。