如果我想训练自己的数据，某一行业的就够了，数据量几十万，能不能训练出一个比6B更小的模型出来？

[LMR2018]

如果我想训练自己的数据，某一行业的就够了，数据量几十万，能不能训练出一个比6B更小的模型出来？

[ZhaoFancy]

理论上是可以的，这取决于你的 Domain Scope 以及数据质量。

典型的例子，比如 https://github.com/karpathy/llama2.c#training 中的 example case 就可以。