HASH GAME - Online Skill Game GET 300

　　他预测，我们将会看到非常小，但「思考」得非常好且可靠的模型。通过调整GPT-2参数，很可能存在一种特定的设置方式，因此GPT-2可能会表现的更好，以至于让大多数人认为它很聪明。 当前LLM如此庞大的原因是，我们在训练过程中非常浪费——我们要求它们记住整个互联网，令人惊讶的是，它们确实做到了，比如可以背诵常见数字的SHA哈希值，或者回忆起非常冷僻的事实。（实际上，大模型在记忆方面非常出色，质量上远胜于人类，有时只需要一次更新就能记住大量细节并保持很长时间）。 但是，想象一下，如果你要在闭卷考试中，根据前几句话背诵互联网上的任意段落。这是今天模型的标准（预）训练目标。做得更好的难点在于，在训练数据中，思考的展示与知识「交织」在一起的。因此，模型必须先变大，然后才能变小，因为我们需要它们（自动化）的帮助，将训练数据重构并塑造成理想的合成格式。 这是一个阶梯式的改进过程——一个模型帮助生成下一个模型的训练数据，直到我们拥有「完美的训练集」。当你用它训练GPT-2时，它将成为今天标准下非常强大/聪明的模型。也许MMLU会稍微低一些，因为它不能完美地记住所有的化学知识。也许它需要偶尔查阅一些东西以确保准确。