A2M人工智能创新峰会 | 孙启明 | 58同城垂类大语言模型"灵犀"建设之路

A2M人工智能创新峰会由msup(麦思博)举办,旨在发现全球互联网领域在人工智能、大数据、互联网架构等领域的创新工程和杰出团队,整合国际前沿技术实践,构建行业案例研究智库,帮助中国企业在人工智能时代成功转型、升级。会议将于6月28-29日在上海明捷万丽酒店盛大举行。

大会官网:https://a2m.msup.com.cn/course?cid=17549&aid=4124

大会介绍:A2M大会议程

58同城AI Lab大语言模型算法部负责人孙启明受邀将于2024年6月28日 15:50-16:50 在《大模型训练 》专场分享《58同城垂类大语言模型"灵犀"建设之路》。

议题:58同城垂类大语言模型"灵犀"建设之路

分享嘉宾:孙启明,58同城AI Lab大语言模型算法部负责人,负责大语言模型的建设工作,包括大语言模型训练、推理、评测,硕士毕业于北京邮电大学。

议题简介:自ChatGPT问世以来,大型语言模型(LLM)已经成为互联网领域的焦点话题。LLM的出现似乎预示着,解决自然语言相关任务的最优策略正在从针对具体场景进行独立训练的碎片化方法,逐步转变为依赖面向泛任务的大尺度模型。作为行业先锋的全民生活服务平台,58同城迅速将大语言模型应用于本地生活服务场景,以解决实际业务问题。然而,在这个过程中,我们发现大模型在垂直领域场景的知识深度不足,无法即刻投入使用。因此,我们将以本地生活服务领域为例,分享我们如何引入行业知识和数据,通过增量预训练、微调和对齐,将通用大模型转变为适应本地生活服务场景的垂类大模型的过程,并介绍在大模型训练、推理过程中遇到的一些问题和解决办法。

听众收益:

1、了解基于通用大模型构建垂类(领域)大模型的过程

2、了解常见推理加速框架以及加速原理,vLLM的深度实践经验

3、了解MoE训练范式的一些经验

4、了解多种低参微调方法和实践经验

灵犀大语言模型介绍

2023年,大模型如雨后春笋般爆发,58同城TEG-AI Lab作为AI平台部门,紧跟大语言模型技术发展步伐,打造了大语言模型平台,支持大语言模型训练和推理部署,并基于大语言模型平台构建了58同城生活服务领域(房产、招聘、汽车、黄页)垂类大语言模型——灵犀大模型ChatLing支撑了业务方大模型AI应用的落地

58同城AI Lab介绍

58同城AI Lab隶属TEG技术工程平台群,旨在建设模型领先、敏捷易用的AI平台,助力AI应用在公司广泛落地。当前部门构建了58同城生活服务领域垂类大语言模型——灵犀大模型,打造了AI计算平台、大语言模型平台、AI智能体平台、智能对话平台等产品和能力。

欢迎关注部门微信公众号:58AILab

本文分享自微信公众号 - 58技术(architects_58)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

微软开源基于 Rust 的 OpenHCL 字节跳动商业化团队模型训练被“投毒”,内部人士称未影响豆包大模型 华为正式发布原生鸿蒙系统 OpenJDK 新提案:将 JDK 大小减少约 25% Node.js 23 正式发布,不再支持 32 位 Windows 系统 Linux 大规模移除疑似俄开发者,开源药丸? QUIC 在高速网络下不够快 RustDesk 远程桌面 Web 客户端 V2 预览 前端开发框架 Svelte 5 发布,历史上最重要的版本 开源日报 | 北大实习生攻击字节AI训练集群;Bitwarden进一步脱离开源;新一代MoE架构;给手机装Linux;英伟达真正的护城河是什么?
{{o.name}}
{{m.name}}

猜你喜欢

转载自my.oschina.net/u/5359019/blog/11235416