大模型下载使我痛苦
写在前面
大家好，我是刘聪NLP。
不知道大家最近有没有这种痛苦，大模型下载太困难了。（不涉及国外的朋友们）
主要由于huggingface必须要科学上网才能访问，而7B规模的模型一般在14G大小左右，13B规模的模型一般在28G左右，这还是模型按照ft16或bf16存贮，如果是float32存储还需要翻一倍，流量是真的吃不消。（有不限量的另说！毕竟我只有100G，下载几个就GG了...）
如何能解决上面的问题呢，具体有两个方法：
用阿里的魔搭社区来下载模型，但缺点是并不是所有模型魔搭上都有； 找一些huggingface的镜像网站，不是所有的镜像网站模型都是全的。
正好有群友搭了一个huggingface镜像网站，特此宣传一波，反正我现在使用时速度飞起（可能用的人还不是很多）。
对于很多人来说，在网页上点击下载是一个办法，但一个一个点会有些麻烦，因此，这里这里也介绍一下通过代码下载大模型的整体方法。
huggingface官网下载
from huggingface_hub import snapshot_download
snapshot_download(repo_id='Qwen/Qwen-7B',
repo_type='model',
local_dir='./model_dir',
resume_download=True)
其中，repo_id为huggingface模型仓库ID，repo_type仓库类型，包含model和data两种，local_dir本地保存路径，如果没有会下载到/root/.cache/huggingface目录下，resume_download为是否断点续传。
huggingface镜像网站下载
由于snapshot_download函数中默认的下载路径为"https://huggingface.co"，只需将镜像网站地址设置为"https://hf-mirror.com"即可。
linux中执行
export HF_ENDPOINT=https://hf-mirror.com
再使用下面代码进行模型下载即可。
from huggingface_hub import snapshot_download
snapshot_download(repo_id='Qwen/Qwen-7B',
repo_type='model',
local_dir='./model_dir',
resume_download=True)
PS：附上群友的Github，纯纯为爱发电。
阿里魔搭社区下载
需要安装modelscope包。
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B',
cache_dir='./model_dir',
revision='master')
PS：其实huggingface不能访问的这一阵子，魔搭真的吃了不少流量，只希望模型可以越来越多，希望国产社区越做越好。
总结
主要跟大家诉诉苦，并且分享一下自己围魏救赵的方法。
请多多关注知乎「刘聪NLP」，有问题的朋友也欢迎加我微信「logCong」私聊，交个朋友吧，一起学习，一起进步。我们的口号是“生命不止，学习不停”。
PS：新书已出《ChatGPT原理与实战》，欢迎购买，1024京东五折。
往期推荐：