优惠 研究编码基准测试SciCode：评估和提高语言模型在解决真实科学问题方面的能力

SciCode是一个研究编码基准测试，这是一个由科学家们策划的挑战性编程任务集合。SciCode的目的是评估和提高语言模型（LMs）在解决真实科学问题方面的能力。这些问题涵盖了自然科学的多个领域，包括数学、物理、化学、生物学和材料科学。论文还提到了Claude3.5-Sonnet模型在SciCode中的表现，它在最现实... 阅读全文