您现在的位置是:首页 > 榴榴无忌

本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级, 可以离线使用, 也可在线使用,

| 人围观 |

呼兰大侠2024-10-01 17:37:20

废话不多说直接上干货。
1.本地电脑安装的硬件要求:​
​Windows:3060以上显卡+8G以上显存+16G内存,硬盘空间至少20G
Mac:M1或M2芯片 16G内存,20G以上硬盘空间
在开始之前,首先我们需要安装Ollama客户端,来进行本地部署Llama3.1大模型
安装llama3.1-8b,至少需要8G的显存,
ollama run llama3.1:8b
安装llama3.1-70b,至少需要大约 70-75 GB 显存,适合企业用户,
ollama run llama3.1:78b
安装llama3.1-405b,这是一个极其庞大的模型,安装和运行它在本地需要非常高的显存和硬件资源,至少需要大约 400-450 GB 显存,适合顶级大企业用户,
ollama run llama3.1:405b

下载地址

 
 
 
 
 
 
 
 
 
 


本帖为转发,转自油管大佬 零度解说, 实在不会的请看原视频
https://www.youtube.com/watch?v=nvTQI6d8Gkw&ab_channel=%E9%9B%B6%E5%BA%A6%E8%A7%A3%E8%AF%B4
最简单的还不会的话 如果设备不行的话可以用在线网页版,网址在这。
注意 除本地部署成功后 ,不需要梯子, 下载 和视频教程 都需要梯子。
https://huggingface.co/chat/



随便看看