对于小语言模型是否可以跟大语言模型有一样的效果。纪怀新认为这个假设是有可能发生的,因为从2023年开始,大家都在做最大的语言模型。当时有一个假设,叫做类神经的规模化定律 (neural scaling law),意思是说,越大的模型,它的能力会越高。但是,这个假设并不完全正确。大型语言模型的推理能力和规划能力是越好,但是小型语言模型也有它的成本优势。虽然它的推理能力可能没那么好,但是它的翻译能力、句子完成能力、或者是辨识能力,都还相当不错。所以,从2024年开始,我们会发现,小型语言模型也许在某些场合,已经够我们使用了。这种情况下,Edge端的运算装置的重要性就会提高。如果它们的运算能力够的话,我们就不需要把所有的运算能力都放到云端里。我们的口袋里,就有这种运算的能力。 |