Databricks、MIT和DatologyAI的研究人员发布论文，主题是探讨如何利用小型语言模型来筛选大规模文本数据集的高质量子集，以提高大语言模型（LLMs）的性能。具体来说，研究者们研究了基于小型模型的困惑度（perplexity）进行数据筛选的方法，以及这种方法如何受到数据领域组成的影响。 例如，我们有一个大... 阅读全文

微软的研究人员发布论文介绍了一个名为Orca-Math的小型语言模型（SLM），它在解决小学数学问题方面表现出色。尽管数学问题解决一直被认为是小型语言模型的一个复杂任务，但Orca-Math在GSM8K基准测试上达到了约87%的准确率，而训练数据仅有20万个合成数学问题。 论文地址：https://arxiv.org/... 阅读全文