群晖nas做网站性能,长沙旅游景点,php旅游网站开发背景,有空间怎么做网站一、安装Termux并进行相关配置
1、安装termux
Termux 是一个 Android 终端仿真应用程序#xff0c;用于在 Android 手机上搭建一个完整的 Linux 环境。 不需要 root 权限 Termux 就可以正常运行。Termux 基本实现 Linux 下的许多基本操作。可以使用 Termux 安装 python…一、安装Termux并进行相关配置
1、安装termux
Termux 是一个 Android 终端仿真应用程序用于在 Android 手机上搭建一个完整的 Linux 环境。 不需要 root 权限 Termux 就可以正常运行。Termux 基本实现 Linux 下的许多基本操作。可以使用 Termux 安装 python并实现 python 编程可以用手机架设 Server同样可以用于渗透测试等等。
安装链接: 安卓手机termux安装
2、进行配置
打开termux进行apt的更新
apt update apt upgrade安装sudo软件
pkg install tsu设置账户密码(后续ssh要用)
passwd查看账户名(后续ssh要用)
whoami安装远程ssh
pkg install ssh将PC和手机连接在同一局域网上建议是电脑给手机开热点在PC端的设置-网络和Internet-移动热点可以查看手机的IP地址。或者termux用ifconfig查看
PC通过SSH连接手机使用Mobaterm注意端口为8022。 至此PC与手机端通过Mobaterm和termux完成远程连接。
二、通过fastllm部署ChatGLM2-6b-int4
框架地址 fastllm fastllm是纯c实现无第三方依赖的高性能大模型推理库6~7B级模型在安卓端上也可以流畅运行可以在安卓上直接编译目前已支持ChatGLM系列模型各种LLAMA模型(ALPACA, VICUNA等)BAICHUAN模型QWEN模型MOSS模型MINICPM模型等。
1、安装编译fastllm
git clone https://github.com/ztxz16/fastllm
cd fastllm
mkdir build
cd build
cmake ..
make -j安装完后build文件夹应该有
~/fastllm/build $ ls
CMakeCache.txt CMakeFiles Makefile apiserver benchmark cmake_install.cmake main quant testOps tools web webui2、下载已量化好的.flm模型并导入termux
hatGLM-6B 是一个开源的、支持中英双语的对话语言模型基于 General Language Model (GLM) 架构具有 62 亿参数。结合模型量化技术用户可以在消费级的显卡上进行本地部署INT4 量化级别下最低只需 6GB 显存。 ChatGLM-6B 使用了和 ChatGPT 相似的技术针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练辅以监督微调、反馈自助、人类反馈强化学习等技术的加持62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
模型链接: chatglm-6b-int4.flm
关于如何导入termux目录中我采用的方法是将模型文件通过USB文件传输到手机文件中找到文件选择用termux打开即可自动导入到termux系统中的download文件夹中。 3、运行chatglm
关于参数可以通过./main -h查看
cd fastllm
cd build
./main -p ../../downloads/chatglm-6b-int4.flm手机端运行效果如下 4、推理速度测试
./benchmark -p ../../downloads/chatglm-6b-int4.flm -f ../example/benchmark/prompts/beijing.txt -b 16B级int4模型在骁龙870小米10s上速度大约为1 token/s。
