大模型出来之后,90%的技能好像价值归零了,但是由于杠杆作用,剩余的10%的技能则放大了1000倍。 —— Kent Beck
目录
LLM涉及到的领域
- NLP/ML
- 提示工程
- 知识工程
- 多任务调度
- 算法优化
LLM涉及到的技术
-
算法:深度学习、强化学习、迁移学习
-
大语言模型预训练技术,包括构建预训练系统
-
参数高效微调技术
-
数据治理技术,包括预训练数据、微调数据
-
模型缩放技术
-
安全、可信、稳健性
关键问题与技术挑战
关键技术 | 具体内容 | 所属分类 |
---|---|---|
中文友好的代码生成 |
|
模型优化 |
Prompt |
|
模型优化 |
AI Agent 探索 |
|
模型优化 工程优化 |
体验评估与优化 |
|
工程优化 |
模型在线学习 |
|
模型优化 |
低成本SFT |
|
模型优化 |
后处理 |
|
模型优化 工程优化 |
模型量化 |
|
工程优化 |
企业面临的挑战
- 算力硬件投入巨大
- >以2012年为分水岭,AI模型对算力的需求在仅仅6年间增长了300,000倍。
- >GPU 硬件性能每年增长1倍。
- 算力建设成本高昂
-
>当今AI负载要求单机架具备20kw-40kw供电能力,未来可能增长到80kw。
-
>大部分企业目前单机架供电能力在7~15kw左右
-
- 算力需求多样
-
>单机单卡、单机多卡、多机多卡训练资源要求多样资源占用率、利用率高
-
>开发人员数量众多,开发环境资源占用率高,利用率低
-
AI编程是不是软件工程的一颗银弹?
可能是,目前的AI编程已经相当成熟,在有限的时间下,解决一道编程问题,专业的竞赛选手在AI的辅助下,可以在15分钟内提供满分求解代码。但需要认识到的一点,对于那些调用深度代码很高的项目,比如C++,项目的函数调用深度可以深入到10乃至18层。受限于目标视野,这时候使用AI进行编程将很难得到预想的效果,这也是未来需要进行解决的一个难题。
这是一个多角度的问题,因为现在一定程度上,很多互联网公司已经开始使用AI编程了;但很多从业人员对AI编程持有怀疑态度,对编码的可靠性存有疑问。
或许在未来的某一天,AI编程真的达到了很高的水准,并且得到了业内大部分人的认可和应用,这时候我们可以回过头说,这确实是一颗银弹,是一个普适的解决方式,是行业的巨大变革。