配置好Oracle的ipv6，仍然获取不到ipv6地址的解决方法

chmod +x /etc/rc.d/rc.local

echo “dhclient -6 ens3” >> /etc/rc.d/rc.local

就是开机运行dhclient -6 ens3的命令

如何使用llama

 模型下载

安装git lfs

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

apt-get install git-lfs

git lfs install

git clone https://huggingface.co/THUDM/chatglm-6b

这样就下载完成了。

如果是llama.app

https://github.com/ggerganov/llama.cpp

下载程序

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

On Windows:
Download the latest fortran version of w64devkit.
Extract w64devkit on your pc.
Run w64devkit.exe.
Use the cd command to reach the llama.cpp folder.
From here you can run:
make
在https://huggingface.cohttps://huggingface.co搜索到模型并下载完成后，转换成4int版本

python3 convert.py models/7B/
上面命令转换成ggml-model-f16.bin文件
然后
./quantize ./models/7B/ggml-model-f16.bin ./models/7B/ggml-model-q4_0.bin q4_0
转换成gml-model-q4_0.bin文件
运行下面命令就可以运行了：
./main -m ./models/7B/ggml-model-q4_0.bin -n 128