代码天地

DCLM-7B PyTorch模型微调入门实战

10月26日，北京站源创会，聊聊高性能计算与大模型推理 1 引言 DCLM-7B是由苹果公司联合研究团队开发的一个开源AI语言模型，它基于PyTorch和OpenLM框架开发，采用decoder-only架构，上下文长度为2048，在53个自然语言理解任务上展现了出色的性能，在MMLU基准测试中的5-shot准确率达到了63.7%，显示了其强大的语言理解能力。此外，DCLM-7B的训练效率显著，使用的计算量比其他同等规模的模型要少40%。 2 环境准备 2.1 安装Ascend CANN To

分类: 其他发布时间: 10-25 19:17 阅读次数: 0

首发！Open-Sora Plan来袭，魔乐社区带您探索新境界

10月26日，北京站源创会，聊聊高性能计算与大模型推理近期，由北大-兔展AIGC联合实验室共同发起的项目Open-Sora Plan在魔乐社区重磅发布。项目希望通过社区的力量复现OpenAI的Sora，共同推动人工智能技术的发展。此次，魔乐社区为Open-Sora Plan提供一个平台，为开发者体验提供极大的便利。开发者通过简单的API接口和社区提供的强大算力支持即可在线体验，也可以一键获取模型，轻松上手并快速开始项目。感兴趣的开发者可以通过魔乐社区了解更多信息，并参与到这一项目中来。应

分类: 其他发布时间: 10-25 19:17 阅读次数: 0

Llama-3.2-3B-Instruct PyTorch模型微调最佳实践

10月26日，北京站源创会，聊聊高性能计算与大模型推理 1 引言 Meta Llama 3.2多语言大型语言模型集合（LM）是一个1B和3B大小（文本输入/文本输出）的预训练和指令微调模型集合。Llama 3.2指令调整的纯文本模型针对多语言对话用例进行了优化，包括智能检索和总结任务。它们在常见的行业基准上优于许多可用的开源和闭源聊天模型。 2 环境准备 2.1 安装Ascend CANN Toolkit和Kernels 安装方法请参考安装教程或使用以下命令。 # 请替换URL为CANN版本和

分类: 其他发布时间: 10-25 19:17 阅读次数: 0

基于openMind的MiniCPM PyTorch模型微调最佳实践

10月26日，北京站源创会，聊聊高性能计算与大模型推理 1 引言 2024年2月1日，面壁智能与清华大学自然语言处理实验室共同开源MiniCPM系列端侧大模型，主体语言模型MiniCPM-2B仅有24亿（2.4B）的非词嵌入参数量，总计2.7B参数量。经过SFT后，MiniCPM-2B在公开综合性评测集上与Mistral-7B表现相近（中文、数学和代码能力更优），整体性能超越Llama2-13B、MPT-30B、Falcon-40B等模型。经过DPO后，MiniCPM-2B在当前最接近用户

分类: 其他发布时间: 10-25 19:17 阅读次数: 0

openMind背后的技术揭秘：镜像创新实践

10月26日，北京站源创会，聊聊高性能计算与大模型推理一、openMind openMind 是一款应用使能开发套件，原生支持昇腾NPU处理器，为各大模型社区提供支持，提供海量模型/数据托管能力、在线推理体验服务，还支持接入内容审核、病毒扫描等服务，可以帮助平台伙伴快速构建社区。同时，openMind应用使能工具链还能提供模型训练、微调、评估、推理等全流程开发能力、开发者通过简单的API即可实现微调、推理等任务，极大缩短开发周期。具体来说，它提供下面的工具以及服务： openMind应用使能

分类: 其他发布时间: 10-25 19:17 阅读次数: 0

openMind+LLaMAFactory：Qwen1.5-7B 微调及推理昇腾实践

10月26日，北京站源创会，聊聊高性能计算与大模型推理一概述 Qwen系列模型是由阿里巴巴开发的开源大语言模型，其被广泛用于自然语言处理的多种任务，包括文本生成、翻译、摘要生成等。本文的目标是使用 openMind 工具套件及 LLaMA-Factory 开源微调框架，在昇腾 NPU 上跑通 Qwen1.5-7B 模型的微调和推理全流程。二环境准备安装 Ascend CANN Toolkit 和 Kernels 请参考安装教程或使用以下命令快速安装。 # 请替换URL为CANN版本和