大模型算法服务器，研究了半天，发现还是 4060Ti 16G的性价比高，而且可以组装成多卡的服务器使用。 - 代码天地

大模型算法服务器，研究了半天，发现还是 4060Ti 16G的性价比高，而且可以组装成多卡的服务器使用。

业界资讯 2024-01-09 02:29:54 阅读次数: 0

1，考虑到模型的显卡使用 16G 的也够用

可以直接运行 6B的模型，不进行量化的版本。一般占用 12G 左右。
单个 4060Ti 16G 华硕的价格

在这里插入图片描述

相对比七彩虹的便宜点，都算一线显卡厂商：
一线显卡厂商：华硕（ROG）微星（魔龙）七彩虹（火神）索泰（至尊）技嘉（大雕）

https://www.zhihu.com/tardis/zm/art/428716561?source_id=1005
在这里插入图片描述

2，还可以使用便宜的x99+CPU+内存

剩下的钱购买显卡
在这里插入图片描述

3，或者还可也选择使用 P100

https://www.topcpu.net/gpu-c/GeForce-RTX-4060-Ti-vs-Tesla-P100-PCIe-12-GB

在这里插入图片描述

https://www.bilibili.com/video/BV1Bh411w7HV/?spm_id_from=333.337.search-card.all.click&vd_source=4b290247452adda4e56d84b659b0c8a2

现在和P40价格差不多了 P40 也是 800块
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/freewebsys/article/details/135304820

今日推荐

周排行

Leetcode简单题61~80

解决zookeeper磁盘IO高的问题

多线程相关方法详解

Maven-setting.xml文件详解

Maven 项目的 classpath 理解

渊亭科技大数据笔试题

配置JVM内存分配

计算机网络个人学习笔记（三）网络层：第三部分连载

js中两个等号(==)和三个等号(===)的区别

用C程序自动打开电脑上的程序

每日归档

更多

2024-09-18(0)

2024-09-17(0)

2024-09-16(0)

2024-09-15(0)

2024-09-14(0)

2024-09-13(0)

2024-09-12(0)

2024-09-11(0)

2024-09-10(0)

2024-09-09(0)