预训练是 AI 未来所需要的全部吗？
计算和存储能力的挑战是一个普遍存在的问题，即使对于业界公司来说，足够的计算和存储资源也是重大瓶颈。
我们一致认为， 预训练将是未来 AI 的非常重要的组成部分，但我们需要的不止这些。人类丰富的先验知识需要有效地集成到系统中，以减少我们对大数据、模型和计算的依赖。此外，学术界与工业界可以密切合作，充分发挥双方的优势。例如，高校开设了许多学科，因此在跨学科研究方面具有天然优势，而工业界在数据收集和计算资源方面实力雄厚。如果有更多的开源项目，让更多的人能够参与到相关研究中并做出贡献，必将有力推动技术快速向前发展。
另外， 应该重视 AI 系统的可解释性。无监督的预训练在很大程度上是由数据驱动，这意味着它存在黑箱算法的局限性，如果不了解黑匣子里发生了什么，那么将来研究人员和实践者有可能构建出不能明确解释的系统，这显然存在较高的风险且令人担忧。
