Devin Devin是由人工智能初创公司Cognition推出的全球首个全自主的AI软件工程师智能体,具备强大的编程和软件开发能力,能够在多个方面协助或完全独立地完成软件开发任务。在SWE-bench基准测试中,Devin解决实际问题的表现远超如GPT-4和Claude 2等AI模型。
MMLU MMLU 全称 Massive Multitask Language Understanding,是一种针对大模型的语言理解能力的测评,是目前最著名的大模型语义理解测评之一,由UC Berkeley大学的研究人员在2020年9月推出。