这意味着，现在手机上能本地运行的最佳开源模型，已经做到ChatGPT水平。
在技术报告中还玩了一把花活，让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。
Phi-3-small，7B参数，为支持多语言换用了tiktoken分词器，并额外增加10%多语种数据。
作者阵容一看也不简单，一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。
反而是精心设计训练数据，尤其是利用大语言模型本身去生成合成数据，配合严格过滤的高质量数据，反而能让中小模型的能力大幅跃升。
投喂了多达3.3万亿token的训练数据（medium中杯是4.8万亿）
举个例子，比如某一天足球比赛的结果可能对于大模型是良好的训练数据，但微软团队删除了这些加强知识的数据，留下更多能提高模型推理能力的数据。
这样一来，对比Llama-2系列，就可以用更小的参数获得更高的MMLU测试分数了。
微软透露，模型本身参数中没能力存储太多事实和知识，这一点也可以从TriviaQA测试分数低看出来。
总之，微软研究院团队是铁了心了要在小模型+数据工程这条路上走下去，未来还打算继续增强小模型的多语言能力、安全性等指标。
对于开源小模型超过ChatGPT这回事，不少网友都认为压力现在给到OpenAI这边，需要赶快推出GPT-3.5的继任者了。