Alpaca-Lora模型GitHub代码地址

1、Alpaca-Lora内容简单介绍

• 三月中旬，斯坦福发布的 Alpaca （指令跟随语言模型）火了。其被认为是 ChatGPT 轻量级的开源版本，其训练数据集来源于text-davinci-003，并由 Meta 的 LLaMA 7B 微调得来的全新模型，性能约等于 GPT-3.5。
• 斯坦福研究者对 GPT-3.5（text-davinci-003）和 Alpaca 7B 进行了比较，发现这两个模型的性能非常相似。Alpaca 在与 GPT-3.5 的比较中，获胜次数为 90 对 89。
• 然而，Alpaca的答案通常比ChatGPT短，反映了text-davinci-003较短的输出。

运行界面

技术原理

2、Alpaca-Lora模型部署

部署步骤如下：（注意使用的是一块GeForce RTX 4090-Linux系统，若使用Windows将要考虑显存容量）

pip install -r requirements.txt（如果网好的情况下，直接使用；网不好，单独拎出来下载）

请注意：红框标注的两横可能在下载时出现错误，因此进行如下操作。
1.transformers的下载

pip install transformers

• 可能会遇到python报错：ImportError: cannot import name ‘AlbertModel‘ from ‘transformers‘
  我们只需要将transformers升级一下即可

pip install transformers --upgrade

2.参数的下载，包括 LLaMA-7B-HF 大模型和 Lora 参数

• LLaMA-7B-HF 大模型

python
>>> from huggingface_hub import snapshot_download
>>> snapshot_download(repo_id="decapoda-research/llama-7b-hf")

• Lora 参数

>>> snapshot_download(repo_id="tloen/alpaca-lora-7b")

运行后终端的结果

红色框住的是文件所在地址，此时运行generate.py，代码会报错。

3、Alpaca-Lora模型运行

修改generate.py文件中的模型参数地址后，再次执行generate.py，问题解决。

终端结果

点击生成的网页，修改红框内的参数，即可！