云端设置

建立TCP隧道：

Cloudflare管理的域名，什么时候要配证书？什么时候不用配？

用Cloudflare管理域名，配不配证书，得看你怎么用Cloudflare。关键看两点：

1. 有没有开CDN代理。
2. 选什么SSL模式。

方法 1：配置文件永久设置代理
打开终端。
输入：

bash
展开代码
sudo nano /etc/apt/apt.conf.d/95proxies  

写入：

conf
展开代码
Acquire::http::Proxy "http://代理地址:端口/";  
Acquire::https::Proxy "http://代理地址:端口/";  

如果需要用户名和密码：

conf
展开代码
Acquire::http::Proxy "http://用户名:密码@代理地址:端口/";  

保存退出。按 Ctrl+O，回车，再按 Ctrl+X。
测试：

bash
展开代码
sudo apt update  

使用 device_map 优化 Transformers 模型的多 GPU 显存分配

在部署大型语言模型（如 Hugging Face Transformers 模型）时，显存管理是优化性能和避免内存溢出的关键。device_map 参数提供了一种灵活的方式，帮助用户在多 GPU 环境下分配模型的不同部分。本文将详细介绍 device_map 的用法、适用场景以及常见参数的作用。

拉取：

展开代码
docker pull vllm/vllm-openai:latest

启动：

展开代码
docker run -d --gpus '"device=1,3"' \
    -v ./zizhi_merge_2025-1:/Qwen2-VL-Any \
    -p 7871:8000 \
    --ipc=host \
    --shm-size 16g \
    vllm/vllm-openai:latest \
    --model /Qwen2-VL-Any --gpu_memory_utilization 0.9 --tensor_parallel_size 2

一、NPS 简介

NPS 是一款轻量级的内网穿透工具，支持 TCP/UDP 流量转发、HTTP/HTTPS 协议解析，并具备Web管理界面，便于配置和管理穿透规则。适合个人开发者或小型团队用于远程访问内网设备（如NAS、树莓派）、调试本地Web项目等场景。

用这个在更新的项目更好：https://github.com/yisier/nps/releases

下载：

展开代码
alias hfd="$PWD/hfd.sh"
hfd Qwen/QwQ-32B --local-dir Qwen/QwQ-32B

docker pull vllm/vllm-openai:latest

关键概念解释

nps的服务端有这两个参数：

1. http_proxy_port 和 https_proxy_port 的作用
   • http_proxy_port=80：表示 NPS 服务端会监听 80 端口，用于接收来自公网的 HTTP 请求（非加密流量）。
   • https_proxy_port=443：表示 NPS 服务端会监听 443 端口，用于接收来自公网的 HTTPS 请求（加密流量）。
   • 这两个配置是 NPS 的 域名代理（Domain Proxy） 功能的核心。当你的请求通过域名访问 NPS 服务端的 80 或 443 端口时，NPS 会根据域名将请求转发到对应的内网服务。

2. 域名代理 vs 普通端口转发
   • 普通端口转发：直接将某个端口的流量转发到内网端口（例如将 NPS服务端:80 → 内网客户端:80）。
   • 域名代理：通过域名区分不同的内网服务。例如：
   ◦ 访问 a.your-domain.com:80 → 转发到 内网客户端A:80
   ◦ 访问 b.your-domain.com:80 → 转发到 内网客户端B:80
   这种方式可以复用同一个端口（如 80 或 443），根据域名分发到不同内网服务。

网上的提示词都很低能，我这里介绍一个我使用的思路。降重网站写的材料都太弱智了。

思路很简单，让AI模仿你的真实说话风格，比如你的用词和句式。

在下面这个提示词里，加上三千字你那个领域的一些正常人说话的材料，可以去书籍里找找或者自己以前写过的文字材料，以前没AI的时候是怎么说话的就加这里。

然后把提示词最后加上你想要改写的文字，不能太多，建议一小节一小节给入。

然后把这个提示词给腾讯元宝里的DeppSeekR1，你就可以得到降重后的文章。只有DeppSeekR1有这么优秀的理解模仿能力，或者找o1。

参考资料：https://llamafactory.readthedocs.io/zh-cn/latest/advanced/distributed.html

以训练qwen2.5vl 7b 为例子。