ChatDev ChatDev是人工智能公司面壁智能最新推出的基于“大模型+Agent”的智能软件开发平台,用户只需输入自然语言,便能生成和创建可运行的软件。通过该平台,软件开发者和没有编程经验的普通用户可以以极低的成本和门槛高效完成软件开发和创建的初步工作。
MMBench MMBench是一个多模态基准测试,该体系开发了一个综合评估流程,从感知到认知能力逐级细分评估,覆盖20项细粒度能力,从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测,循环打乱选项验证输出结果的一致性,基于ChatGPT精准匹配模型回复至选项。