python
展开代码
import json

# 读取 1.json 文件中的数据
with open('1.json', 'r', encoding='utf-8') as file1:
    dict1 = json.load(file1)

# 读取 2.json 文件中的数据
with open('2.json', 'r', encoding='utf-8') as file2:
    dict2 = json.load(file2)

# 合并字典
merged_dict = {**dict1, **dict2}  # 使用解包运算符合并字典

# 将合并后的字典写入 3.json 文件
with open('3.json', 'w', encoding='utf-8') as file3:
    json.dump(merged_dict, file3, ensure_ascii=False, indent=4)

print("字典合并成功，保存为 3.json")

该文章已加密，点击 阅读全文 并输入密码后方可查看。

基础拉取方式

直接从 Docker Hub 拉取最新版 LMDeploy 镜像：

bash
展开代码
docker pull openmmlab/lmdeploy:latest

这等同于显式指定 Docker Hub 官方仓库的完整地址：

bash
展开代码
docker pull docker.io/openmmlab/lmdeploy:latest

运行：

bash
展开代码
docker run --runtime nvidia --gpus all \
    -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

后台执行：

bash
展开代码
docker run -d --runtime nvidia --gpus device=7 \
    -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

该文章已加密，点击 阅读全文 并输入密码后方可查看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

NanoFlow项目地址： https://arxiv.org/abs/2408.12757

有个讨论，Qwen2.5和Llama 3.1 70b，用 NanoFlow 部署一下Llama 3.1 70b看看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。