`xargs` 是 Linux 中一个非常强大的命令，用于将标准输入中的输出作为参数传递给其他命令。通常情况下，`xargs` 用于处理长列表或者将多行输入转换成一行。





以下是 `xargs` 的基本用法和一些常见的例子：

### 基本语法
```bash
command | xargs [options] [command]
```

### 常见的例子

1. **删除文件：**

假设你有一个包含文件名的列表文件，想要删除这些文件：
```bash
cat filelist.txt | xargs rm
```

这条命令将 `filelist.txt` 中的每一行作为参数传递给 `rm` 命令来删除文件。

2. **查找并删除文件：**

假设你想要删除某个目录下所有以 `.tmp` 结尾的文件：
```bash
find /path/to/dir -name "*.tmp" | xargs rm
```

这条命令使用 `find` 找到所有 `.tmp` 文件，然后通过 `xargs` 将这些文件名传递给 `rm` 命令来删除它们。

3. **传递多个参数：**

有时你需要一次性传递多个参数给命令，比如解压多个 `.tar.gz` 文件：
```bash
ls *.tar.gz | xargs -n 1 tar -xzvf
```

`-n 1` 指定每次传递一个文件给 `tar` 命令，逐个解压文件。

4. **将输入分成多个块处理：**

如果输入列表非常长，命令可能无法处理所有参数，可以使用 `-n` 选项将它们分成多个块：
```bash
find . -name "*.log" | xargs -n 10 rm
```

这将每次删除 10 个 `.log` 文件，直到删除完所有文件。

5. **配合 `-I` 参数使用：**

`-I` 选项允许你定义一个替代字符串，将其替换为当前的参数列表：
```bash
cat urls.txt | xargs -I {} wget {}
```

这条命令会从 `urls.txt` 文件中读取 URL，并逐个用 `wget` 下载。

6. **处理带空格的文件名：**

当文件名或路径中包含空格时，使用 `-d` 选项指定分隔符，通常使用 `-print0` 和 `-0` 结合来处理：
```bash
find /path/to/dir -name "*.jpg" -print0 | xargs -0 rm
```

这将删除所有 `.jpg` 文件，确保处理路径中包含空格的情况。

### 总结

`xargs` 是处理批量命令的一大利器，可以和许多其他命令结合使用来自动化操作。它的灵活性使其在脚本编写和日常管理任务中非常有用。

![在这里插入图片描述](/static/img/images/00021.png)

【运维】Linux中的xargs指令如何使用？

**如何在浏览器中查看和管理 Cookie 信息**





#### 引言

Cookie 是我们日常浏览网页时经常遇到的一个重要概念。它们用于存储用户的登录状态、偏好设置以及其他相关信息，帮助网站提供个性化的体验。然而，很多人并不清楚如何在浏览器中找到并查看这些 Cookie 信息。本文将带您了解如何在不同浏览器中查看和管理 Cookie。

#### 什么是 Cookie？

在开始之前，我们先简要介绍一下什么是 Cookie。Cookie 是由网站生成并存储在用户设备上的小数据片段，它们可以包含用户会话信息、跟踪用户活动或存储用户偏好设置。当您再次访问同一网站时，浏览器会发送这些 Cookie 以帮助网站识别您，从而提供更好的服务。

#### 如何在浏览器中查看 Cookie？

以下是如何在现代浏览器中查看 Cookie 的步骤：

##### 1. 打开开发者工具

首先，您需要登录到您想要查看 Cookie 的网站。接下来，使用以下快捷键打开开发者工具：

- **Google Chrome 或 Microsoft Edge**：按 `F12` 或 `Ctrl + Shift + I`。

- **Firefox**：按 `F12` 或 `Ctrl + Shift + I`。

- **Safari**：按 `Command + Option + I`（需要在浏览器设置中启用开发者工具）。

##### 2. 查看 Cookie 信息

在开发者工具界面中，找到对应的选项卡来查看 Cookie 信息：

- **Google Chrome/Edge**：点击 `Application` 选项卡。

- **Firefox**：点击 `Storage` 选项卡。

在 `Application` 或 `Storage` 选项卡下，找到 `Cookies` 部分。您会看到一个展开的菜单，显示当前网站和其他相关域的 Cookie。

##### 3. 查看具体 Cookie 信息

点击相应的域名后，您将看到该网站的所有 Cookie 列表。在这个列表中，您可以查看每个 Cookie 的名称、值、域、路径、过期时间等信息。

##### 4. 复制和管理 Cookie

如果您需要使用某个 Cookie 的值，可以右键单击它并选择 `Copy`（复制）来获取。然后，您可以将复制的 Cookie 信息粘贴到需要使用的地方（例如脚本、工具等）。

#### 注意事项

Cookie 是非常敏感的信息，包含了您的登录状态和个人偏好设置。若将这些信息泄露给不受信任的方，可能会导致账户被盗或个人信息泄露。因此，请务必谨慎处理 Cookie 信息，并确保在安全可靠的环境下使用。

#### 结语

了解如何查看和管理 Cookie 信息有助于更好地控制您的浏览器数据安全。希望本文能为您提供清晰的指导，如果您有任何进一步的问题或需要更详细的帮助，欢迎随时联系我！

![在这里插入图片描述](/static/img/images/00023.png)

【运维】如何在浏览器中查看和管理 Cookie 信息？

# tesseract 1.png output --oem 1 -l chi_sim+eng





Error opening data file /usr/share/tesseract-ocr/4.00/tessdata/chi_sim.traineddata

Please make sure the TESSDATA_PREFIX environment variable is set to your "tessdata" directory.

Failed loading language 'chi_sim'

Tesseract Open Source OCR Engine v4.1.1 with Leptonica


这个错误提示表明 Tesseract 无法找到 `chi_sim.traineddata` 文件，也就是简体中文的语言数据文件。要解决这个问题，你可以按照以下步骤操作：

### 1. 确认 `tessdata` 目录的位置

首先，确认 Tesseract 的 `tessdata` 目录中是否已经存在 `chi_sim.traineddata` 文件。默认情况下，这个目录可能位于 `/usr/share/tesseract-ocr/4.00/tessdata/` 或 `/usr/share/tessdata/`。

### 2. 下载 `chi_sim.traineddata` 文件

如果你没有 `chi_sim.traineddata` 文件，你需要手动下载。你可以从 Tesseract 的 GitHub 仓库下载简体中文的训练数据：

```bash
wget https://github.com/tesseract-ocr/tessdata/blob/main/chi_sim.traineddata -O /path/to/tessdata/chi_sim.traineddata
```

将 `/path/to/tessdata/` 替换为你系统中实际的 `tessdata` 目录路径。

或者下载gitee这里的：

```csharp
git clone https://gitee.com/superaskar/tessdata.git
```

### 3. 设置 `TESSDATA_PREFIX` 环境变量

如果你的 `tessdata` 目录不在默认路径下，或者 Tesseract 无法找到这个目录，你需要设置 `TESSDATA_PREFIX` 环境变量，使其指向正确的 `tessdata` 目录：

```bash
export TESSDATA_PREFIX=/path/to/tessdata/
```

再次执行 OCR 命令：

```bash
tesseract 1.png output --oem 1 -l chi_sim+eng
```

### 4. 确认 `tessdata` 目录中的文件是否正确

最后，确保你在 `tessdata` 目录中确实有 `chi_sim.traineddata` 文件，并且文件名称拼写正确。

### 结语

通过下载并配置好语言数据文件，以及设置正确的环境变量，你应该能够顺利使用 Tesseract 进行中英文混合文本的识别。如果问题仍然存在，建议检查 `tessdata` 目录中的文件权限，确保 Tesseract 可以读取这些文件。

Failed loading language ‘chi_sim‘ Tesseract Open Source OCR Engine v4.1.1 with Leptonica

## 官网教程

https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e/xyyqrfwiu3e2bgyk

https://github.com/RVC-Boss/GPT-SoVITS

## GPT-SoVITS原理

![在这里插入图片描述](/static/img/images/00065.png)

![在这里插入图片描述](/static/img/images/00066.png)

![在这里插入图片描述](/static/img/images/00067.png)

![在这里插入图片描述](/static/img/images/00068.png)




## 制作镜像

不用docker不行，不好分配显卡，

做个docker镜像：

```bash
docker pull pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel
```

执行：
```bash
docker run -it --gpus device=3 --net host -v /ssd/xd/tts/GPT-SoVITS:/ssd/xd/tts/GPT-SoVITS pytorch/pytorch:2.1.2-cuda12.1-cudnn8-devel bash
```

必要环境：
```bash
export http_proxy=101.136.19.261:10829
export https_proxy=101.136.19.261:10829
conda install -c conda-forge gcc -y
conda install -c conda-forge gxx -y
conda install ffmpeg cmake -y
cd /ssd/xd/tts/GPT-SoVITS
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
apt update && apt install -t git vim wget curl
```

加一句到~/.bashrc：

```go
export LD_LIBRARY_PATH=/opt/conda/lib/python3.10/site-packages/torch/lib:$LD_LIBRARY_PATH
```

一般的miniconda安装路径在这里：/root/miniconda3/envs/gsv/lib/python3.10/site-packages/torch/lib


设置容器语言环境：
你可以尝试在容器内设置语言环境，以支持中文字符显示。可以使用以下命令：


```bash
apt-get update && apt-get install -y locales
locale-gen zh_CN.UTF-8
export LANG=zh_CN.UTF-8
```

dockerfile:

```bash
RUN apt-get update && apt-get install -y locales \
    && locale-gen zh_CN.UTF-8 \
    && /usr/sbin/update-locale LANG=zh_CN.UTF-8
ENV LANG zh_CN.UTF-8

```


装一个合适的onnxruntime-gpu:

![image.png](/static/img/3693c08841ce7edb5b98f13213611672.image.webp)

https://onnxruntime.ai/docs/install/#requirements


```bash
wget https://aiinfra.pkgs.visualstudio.com/PublicPackages/_apis/packaging/feeds/d3daa2b0-aa56-45ac-8145-2c3dc0661c87/pypi/packages/ort-nightly-gpu/versions/1.17.dev20240118002/ort_nightly_gpu-1.17.0.dev20240118002-cp310-cp310-manylinux_2_28_x86_64.whl/content
mv content ort_nightly_gpu-1.17.0.dev20240118002-cp310-cp310-manylinux_2_28_x86_64.whl
pip install ort_nightly_gpu-1.17.0.dev20240118002-cp310-cp310-manylinux_2_28_x86_64.whl
pip install onnx
```




## docker push

push镜像给大家用：

```go
docker push kevinchina/deeplearning:2.1.2-cuda12.1-cudnn8-devel-gptsovitsv4
```


## 数据格式


![在这里插入图片描述](/static/img/images/00069.png)

## 拉取代码&下载模型

拉最新的代码：

```bash
cd /root/xiedong/tts
git clone https://github.com/RVC-Boss/GPT-SoVITS.git
```

需要下载一些文件到对应目录。

1. 下载预训练模型:

    ```bash
    # https://huggingface.co/lj1995/GPT-SoVITS/tree/main 下载预训练模型，并将其放置在 GPT_SoVITS/pretrained_models 目录中。
    我这里不再演示，注意，GPT-SoVITS项目下面的GPT-SoVITS目录里面有一个pretrained_models目录，别搞错了。
    scp -r -P 16120 xiedong@101.136.19.26:/ssd/xiedong/tts/GPT-SoVITS/GPT_SoVITS/pretrained_models ./
    ```


2. 从 G2PWModel_1.1.zip 下载模型，解压并重命名为 G2PWModel，然后将其放置在 GPT_SoVITS/text 目录中。（仅限中文TTS） https://paddlespeech.bj.bcebos.com/Parakeet/released_models/g2p/G2PWModel_1.1.zip


    ```bash
    scp -r -P 16120 xiedong@101.136.19.26:/ssd/xiedong/tts/GPT-SoVITS/GPT_SoVITS/text/G2PWModel ./
    ```

3. 对于 UVR5（人声/伴奏分离和混响移除，额外功能），从 UVR5 Weights 下载模型，并将其放置在 tools/uvr5/uvr5_weights 目录中。


    ```bash
    scp -r -P 16120 xiedong@101.136.19.26:/ssd/xiedong/tts/GPT-SoVITS/tools/uvr5/uvr5_weights/* ./
    ```

    ![image.png](/static/img/a3f8b19b209340ac57913c9dd770b400.image.webp)

4. 对于中文 ASR（额外功能），从 [Damo ASR Model](https://modelscope.cn/models/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/files)、[Damo VAD Model](https://modelscope.cn/models/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch/files) 和 [Damo Punc Model](https://modelscope.cn/models/iic/punc_ct-transformer_zh-cn-common-vocab272727-pytorch/files) 下载模型，并将它们放置在 tools/asr/models 目录中。
5. 对于英语或日语 ASR（额外功能），从 Faster Whisper Large V3 下载模型，并将其放置在 tools/asr/models 目录中。此外，其他模型 可能具有类似效果且占用更少的磁盘空间。
https://huggingface.co/Systran/faster-whisper-large-v3/tree/main



    ![image.png](/static/img/a87353aaee7ff2481efd16cebcc15f71.image.webp)



## 启动容器

目录介绍：
1. GPT-SoVITS/GPT_weights_v2/ 存放训练后的GPT模型，pt结尾
2. GPT-SoVITS/SoVITS_weights_v2/ 存放训练后的SoVITS模型，pth结尾


运行容器：

```bash
docker run -it --shm-size=16g --env=is_half=False --gpus all --net host -v /root/xiedong/tts:/root/xiedong/tts kevinchina/deeplearning:2.1.2-cuda12.1-cudnn8-devel-gptsovitsv4 bash
```


## 启动webui


```bash
cd /root/xiedong/tts/GPT-SoVITS-items
python webui.py
```

## 用自带的UVR5处理音频


### **第一步：分离人声**：
   - 人声/伴奏分离与混响去除的任务。使用 **model_bs_roformer_ep_317_sdr_12.9755** 模型进行处理，这是当前效果最好的模型，目的是提取人声。


    记住：一定要mkdir创建好文件目录再开始。我的wav文件目录是/root/xiedong/tts/datasets/shiyu，我vocal存/root/xiedong/tts/datasets/shiyu_uvr5，我accompaniment存/root/xiedong/tts/datasets/shiyu_uvr5_accompaniment。我就像下图设么设置。


    ![image.png](/static/img/0910e0d3161c3e87222f6e40263d6add.image.webp)
    


### **第二步：混响去除**：
   
   将输出的干声音频使用 **onnx_dereverb_By_FoxJoy** 处理去混响。

    再mkdir一个存人声的目录：mkdir /root/xiedong/tts/datasets/shiyu_uvr5_2,然后这样写入去除这个路径的混响：/root/xiedong/tts/datasets/shiyu_uvr5。这一步很慢。
   
    ![image.png](/static/img/f8d8d53cca5e65a3896a4f5d5360bd93.image.webp)
    

3. 第三步：混响去除 使用 **DeEcho-Aggressive** 进行最后的混响去除。





4. **输出格式**：
   - 输出格式选择 **wav**。

5. **输出路径**：
   - 默认输出文件夹为 **GPT-SoVITS-beta\output\uvr5_opt**，建议不要修改输出路径，避免后续找不到文件。

6. **处理结果文件说明**：
   - `(vocal)` 表示处理后的人声。
   - `(instrument)` 表示伴奏。
   - `(_vocal_main_vocal)` 表示无混响的音频文件。
   - `(others)` 是混响文件。
   - 最终使用的文件是 `(vocal)` 和 `(_vocal_main_vocal)`，其他文件可以删除。

7. **结束步骤**：
   - 处理结束后，记得在 **WebUI** 中关闭 **UVR5** 来节省显存。



## 切割音频

我不切

## 音频降噪

我不降噪

## 打标

开启打标后，模型会对所有wav打标记，生成一个文件/root/xiedong/tts/datasets/shiyu_uvr5/asr_opt/shiyu_uvr5.list

![image.png](/static/img/61d1a80d8c1aa34049f5ab015a6944a8.image.webp)

现在这个/root/xiedong/tts/datasets/shiyu_uvr5/asr_opt/shiyu_uvr5.list里是这个样子：



也就是这个格式：

```bash
vocal_path|speaker_name |language|text
```


## 校对标注

我其实本身有标注，我要把/root/xiedong/tts/datasets2/shiyuv2_vk2下面所有wav文件都标注出来。

我希望生成一个文件`/root/xiedong/tts/datasets2/shiyuv2_vk2.list`，每一行都是一个数据集的一个样本，格式是这样的：

```bash
vocal_path|speaker_name|language|text
```
1. vocal_path 是wav文件绝对路径
2. speaker_name 是说话人，我希望写成“shiyu”
3. language得看情况，tts文本如果全是中文，那就是zh；全是英文，那就是en；两者都有，那也给zh。
>     Language dictionary:
>     'zh': Chinese
>     'ja': Japanese
>     'en': English
>     'ko': Korean
>     'yue': Cantonese
4. text 是tts的文本。

我希望整体顺序是先zh，再en，最后中英混合的zh。




## 启动webui训练


```bash
cd /root/xiedong/tts/GPT-SoVITS-items
python webui.py
```

检查是否有这几个文件：


```bash
root@k8s-node-10:~/xiedong/tts/GPT-SoVITS# ll GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2G2333k.pth
-rw-r--r-- 1 root root 106035259 Sep 12 03:09 GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2G2333k.pth
root@k8s-node-10:~/xiedong/tts/GPT-SoVITS# ll GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2D2333k.pth
-rw-r--r-- 1 root root 93534164 Sep 12 03:09 GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s2D2333k.pth
root@k8s-node-10:~/xiedong/tts/GPT-SoVITS# ll GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s1bert25hz-5kh-longer-epoch=12-step=369668.ckpt
-rw-r--r-- 1 root root 155315150 Sep 12 03:09 'GPT_SoVITS/pretrained_models/gsv-v2final-pretrained/s1bert25hz-5kh-longer-epoch=12-step=369668.ckpt'
```

### 0-前置数据集获取工具

一键三连：

![image.png](/static/img/a27b4ed243dcc0f5a024f8b7d3e6d438.image.webp)



### 1B-微调训练

![image.png](/static/img/7e3d8f21fd372e642692368406cd48fc.image.webp)



![image.png](/static/img/c0aec8992834bdf16d58b946e9490dc9.image.webp)


![image.png](/static/img/bc47b690648150fed6af2aedb3a4930b.image.webp)

###  1C-推理

![image.png](/static/img/02d4e33d7a01df320e169893f1849777.image.webp)



## 源码的推理

【深度学习】【语音TTS】GPT-SoVITS v2 实战，训练一个人的音色，Docker镜像

错误：





```go
-- Process 0 terminated with the following error:
Traceback (most recent call last):
  File "/opt/conda/lib/python3.10/site-packages/torch/multiprocessing/spawn.py", line 74, in _wrap
    fn(i, *args)
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/s2_train.py", line 255, in run
    train_and_evaluate(
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/s2_train.py", line 340, in train_and_evaluate
    ) = net_g(ssl, spec, spec_lengths, text, text_lengths)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1519, in forward
    else self._run_ddp_forward(*inputs, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/parallel/distributed.py", line 1355, in _run_ddp_forward
    return self.module(*inputs, **kwargs)  # type: ignore[index]
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/module/models.py", line 923, in forward
    ge = self.ref_enc(y[:,:704] * y_mask, y_mask)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "/ssd/xd/tts/GPT-SoVITS/GPT_SoVITS/module/modules.py", line 756, in forward
    x = x.masked_fill(mask.unsqueeze(-1), 0)
  File "/opt/conda/lib/python3.10/site-packages/torch/utils/data/_utils/signal_handling.py", line 66, in handler
    _error_if_any_worker_fails()
RuntimeError: DataLoader worker (pid 12218) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

### 在 Docker 中处理 PyTorch DataLoader 内存不足的问题

当我们使用 Docker 容器进行深度学习任务时，有时会遇到以下错误：

```
RuntimeError: DataLoader worker (pid 12218) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

这个错误通常出现在使用 PyTorch 的 DataLoader 时，尤其是在数据量大或者使用了多个 worker 进程的情况下。这篇博客将解释这个错误的原因，并介绍如何通过调整 Docker 配置来解决问题。

#### 什么是共享内存？

共享内存（shared memory）是一种进程间通信的方式，允许多个进程共享同一块内存区域。在深度学习任务中，DataLoader 的多个 worker 进程常常需要共享大量数据以高效处理数据加载。当共享内存不足时，便会导致上述错误。

#### Docker 默认的共享内存大小

在 Docker 中，默认的共享内存大小仅为 **64MB**。对于大多数深度学习任务来说，这个默认值往往是不够的，特别是在处理大量数据或使用多个 DataLoader worker 时。

#### 如何调整 Docker 的共享内存大小？

幸运的是，我们可以通过 Docker 的 `--shm-size` 参数来调整容器的共享内存大小。以下是具体的操作步骤：

1. **启动 Docker 容器时设置共享内存大小**  

   你可以在启动 Docker 容器时通过 `--shm-size` 参数来调整共享内存大小。例如，将共享内存设置为 1GB：

   ```bash
   docker run --shm-size=1g <your_docker_image>
   ```

2. **适当的共享内存设置**  

   - **64MB（默认）**: 适合一些简单、不需要大量内存的应用。

   - **1GB**: 对于大多数深度学习任务，这是一个合适的起点。

   - **2GB 或以上**: 如果你的任务数据量特别大，或者需要使用多个 DataLoader worker 进程，可能需要将共享内存增加到 2GB 或更高。

#### 其他建议

除了调整共享内存大小，你还可以通过以下方式进一步优化性能并减少内存问题：

- **减少 DataLoader 中的 worker 数量**：在 `DataLoader` 中将 `num_workers` 设置为较低的值，如 1 或 2，这样可以减少对共享内存的需求。

  

  ```python
  DataLoader(dataset, num_workers=2, ...)
  ```

- **调整批次大小（batch size）**：减小批次大小可以降低内存占用，从而减少发生内存不足错误的可能性。

- **使用 pin_memory**：如果你在使用 GPU，考虑在 DataLoader 中启用 `pin_memory=True`，这可以提高数据加载的效率。

#### 总结

当你在 Docker 容器中使用 PyTorch 进行深度学习任务时，默认的 64MB 共享内存可能不足，导致 DataLoader 出现内存不足的错误。通过调整 Docker 的 `--shm-size` 参数，你可以有效解决这个问题。对于大多数应用场景，建议将共享内存设置为至少 1GB，如果任务复杂或数据量较大，考虑增加到 2GB 或以上。同时，适当地减少 DataLoader 的 worker 数量或调整批次大小也是有效的优化手段。

通过这些调整，你可以更稳定高效地运行深度学习任务，避免因内存不足导致的错误。

【运维】out of shared memory. Please try to raise your shared memory limit

![在这里插入图片描述](/static/img/images/00070.png)







你可以使用Python程序或Linux命令来将M4A文件转换为WAV文件。下面分别介绍这两种方法。

### 方法一：使用FFmpeg命令行工具（Linux命令）

FFmpeg 是一个强大的多媒体处理工具，支持音视频转换、处理等操作。你可以在终端中使用以下命令将M4A文件转换为WAV文件：

```bash
ffmpeg -i input.m4a output.wav
```

这里`input.m4a`是你要转换的M4A文件的路径，`output.wav`是你希望生成的WAV文件的路径和文件名。

如果你的系统没有安装FFmpeg，可以通过以下命令安装：

- 在Ubuntu/Debian上：

  ```bash
  sudo apt-get install ffmpeg
  ```

- 在CentOS/RHEL上：

  ```bash
  sudo yum install ffmpeg
  ```

- 在macOS上（使用Homebrew）：

  ```bash
  brew install ffmpeg
  ```

### 方法二：使用Python中的`pydub`库

你也可以使用Python中的`pydub`库来实现M4A到WAV的转换。首先，需要安装`pydub`库和FFmpeg：

```bash
pip install pydub
```

你还需要确保系统上已经安装了FFmpeg，因为`pydub`依赖它来进行格式转换。

下面是一个Python示例代码，将M4A文件转换为WAV文件：

```python
from pydub import AudioSegment
# 打开M4A文件
audio = AudioSegment.from_file("input.m4a", format="m4a")
# 导出为WAV文件
audio.export("output.wav", format="wav")
```

这里`input.m4a`是输入的M4A文件路径，`output.wav`是输出的WAV文件路径。

### 总结

- **FFmpeg**: 适合直接在终端进行批量转换，非常快捷。

- **pydub**: 适合在Python程序中集成音频转换功能，灵活性高。

m4a转wav，使用FFmpeg和Python将M4A文件转换为WAV

![在这里插入图片描述](/static/img/images/00071.png)






深入理解 Linux 中的 `mv` 命令：移动文件和文件夹的艺术

在日常使用 Linux 的过程中，`mv`（move）命令是我们经常会用到的一个命令，它不仅可以用来移动文件和文件夹，还可以用于重命名。尽管 `mv` 看似简单，但在实际使用中，我们可以通过一些技巧使其更为强大和灵活。本篇博客将深入探讨 `mv` 命令的各种用法，并分享一些实用的小技巧，帮助你更高效地管理文件。

### 一、基本语法

`mv` 命令的基本语法如下：

```bash
mv [选项] 源文件 目标路径
```

其中，`源文件` 是你想要移动或重命名的文件或文件夹，`目标路径` 是你希望将其移动到的目的地。

### 二、基本用法

1. **移动文件：**

   ```bash
   mv filename.txt /home/user/documents/
   ```

   这条命令将 `filename.txt` 文件从当前目录移动到 `/home/user/documents/` 目录下。

2. **移动并重命名文件：**

   ```bash
   mv filename.txt /home/user/documents/newname.txt
   ```

   这条命令不仅移动了文件，还将文件重命名为 `newname.txt`。

3. **移动文件夹：**

   ```bash
   mv foldername /home/user/documents/
   ```

   这条命令将文件夹 `foldername` 及其内容移动到 `/home/user/documents/` 目录下。

### 三、使用 `mv` 移动所有文件但排除特定文件或文件夹

有时候，我们可能需要移动一个目录中的所有文件和文件夹，但希望排除某些特定的文件或文件夹。假设你要移动所有文件和文件夹，但排除 `.git` 文件夹，可以使用以下方法：

```bash
shopt -s extglob
mv !( .git ) /path/to/destination/
```

#### **命令解释：**

- `shopt -s extglob`：这是一个 Bash 内建命令，用于启用扩展模式匹配（extglob）。

- `mv !( .git ) /path/to/destination/`：在这个命令中，`!( .git )` 是一个模式匹配表达式，表示匹配除了 `.git` 文件夹之外的所有文件和文件夹。

这个命令会将当前目录下所有的文件和文件夹（除了 `.git`）移动到指定的目的地 `/path/to/destination/`。

### 四、其他常用选项

1. **覆盖提示：** 默认情况下，`mv` 会直接覆盖目标路径中的同名文件。如果你希望在覆盖文件之前得到提示，可以使用 `-i` 选项。

   ```bash
   mv -i filename.txt /home/user/documents/
   ```

2. **强制覆盖：** 如果你希望在移动文件时强制覆盖目标路径中的文件，可以使用 `-f` 选项。

   ```bash
   mv -f filename.txt /home/user/documents/
   ```

3. **显示移动过程：** 使用 `-v` 选项可以显示移动过程，便于调试。

   ```bash
   mv -v filename.txt /home/user/documents/
   ```

### 五、总结

通过本文的介绍，我们可以看到 `mv` 命令不仅仅是一个简单的移动工具，通过一些小技巧和选项，我们可以灵活地处理文件和文件夹的移动与重命名任务。特别是在需要排除特定文件或文件夹的情况下，使用扩展的模式匹配可以极大地方便操作。掌握这些技能，将有助于你更高效地管理 Linux 系统中的文件。

【运维】深入理解 Linux 中的 `mv` 命令，使用 `mv` 移动所有文件但排除特定文件或文件夹

![在这里插入图片描述](/static/img/images/00072.png)





# 报错信息

```go
able of handling various complex tasks. Please report the progress of this project to the team members.
 > ===========================
  0%|                                                                                                                                         | 0/7 [00:00<?, ?it/s]
Traceback (most recent call last):
  File "/ssd/xd/tts/MeloTTS/x01.py", line 37, in <module>
    model.tts_to_file(text, speaker_ids['EN-US'], output_path, speed=speed)
  File "/ssd/xd/tts/MeloTTS/melo/api.py", line 100, in tts_to_file
    bert, ja_bert, phones, tones, lang_ids = utils.get_text_for_tts_infer(t, language, self.hps, device, self.symbol_to_id)
  File "/ssd/xd/tts/MeloTTS/melo/utils.py", line 23, in get_text_for_tts_infer
    norm_text, phone, tone, word2ph = clean_text(text, language_str)
  File "/ssd/xd/tts/MeloTTS/melo/text/cleaner.py", line 12, in clean_text
    phones, tones, word2ph = language_module.g2p(norm_text)
  File "/ssd/xd/tts/MeloTTS/melo/text/english.py", line 242, in g2p
    phone_list = list(filter(lambda p: p != " ", _g2p(w)))
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/g2p_en/g2p.py", line 162, in __call__
    tokens = pos_tag(words)  # tuples of (word, tag)
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/__init__.py", line 165, in pos_tag
    tagger = _get_tagger(lang)
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/__init__.py", line 107, in _get_tagger
    tagger = PerceptronTagger()
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/perceptron.py", line 183, in __init__
    self.load_from_json(lang)
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/tag/perceptron.py", line 273, in load_from_json
    loc = find(f"taggers/averaged_perceptron_tagger_{lang}/")
  File "/ssd/xd/miniconda3/envs/melotts/lib/python3.10/site-packages/nltk/data.py", line 582, in find
    raise LookupError(resource_not_found)
LookupError:
**********************************************************************
  Resource averaged_perceptron_tagger_eng not found.
  Please use the NLTK Downloader to obtain the resource:
  >>> import nltk
  >>> nltk.download('averaged_perceptron_tagger_eng')
  For more information see: https://www.nltk.org/data.html
  Attempted to load taggers/averaged_perceptron_tagger_eng/
  Searched in:
    - '/home/xd/nltk_data'
    - '/ssd/xd/miniconda3/envs/melotts/nltk_data'
    - '/ssd/xd/miniconda3/envs/melotts/share/nltk_data'
    - '/ssd/xd/miniconda3/envs/melotts/lib/nltk_data'
    - '/usr/share/nltk_data'
    - '/usr/local/share/nltk_data'
    - '/usr/lib/nltk_data'
    - '/usr/local/lib/nltk_data'
    - '/home/xd/nltk_data'
***************************************************************
```

# 解决

python代码前加这几句，开魔法执行，会下载好对应包，就不会报错了。
```go
import nltk
nltk.data.path.append('/home/xd/nltk_data')  # 添加路径
nltk.download('averaged_perceptron_tagger_eng')
```

要有魔法才行，路径可以改为自己喜欢的，python能找到的。比如显示在这些地方找，那就选一个。

![在这里插入图片描述](/static/img/images/00073.png)

【运维】报错Resource averaged_perceptron_tagger_eng not found.

一直要求输入密码，很烦人：





![在这里插入图片描述](/static/img/images/00079.png)

如何免密连接？

1 重新打开gateway，来到这个界面点新建连接：

![在这里插入图片描述](/static/img/images/00080.png)

2 点这里设置：

![在这里插入图片描述](/static/img/images/00081.png)

3 在这一页，你可以改你的所有配置，只要设置为password并且保存密码，就可以一直爽：

![在这里插入图片描述](/static/img/images/00082.png)

【运维】JetBrains Gateway (Pycharm) SSH免密连接，改为免密连接

![在这里插入图片描述](/static/img/images/00083.png)





## 深入了解 `grep` 命令：全面指南

`grep` 是 Linux/Unix 系统中的一款非常强大的命令行工具，用于在文本中搜索特定的模式或字符串。无论是日常任务还是复杂的文本处理，`grep` 都能帮助你高效地找到所需的信息。在这篇博客中，我们将详细介绍 `grep` 的基本用法、常用选项以及一些高级技巧和实际应用场景。

### 基本用法

`grep` 的最基本用法如下：

```bash
grep 'pattern' filename
```

- **pattern**：你要搜索的字符串或正则表达式。

- **filename**：要在其中搜索的文件名。

#### 示例：查找文件 `sample.txt` 中包含 `hello` 的行

```bash
grep 'hello' sample.txt
```

这个命令将搜索 `sample.txt` 中所有包含 `hello` 字符串的行，并将匹配的行输出到终端。

### 选项和常用参数

`grep` 提供了多种选项，帮助用户更灵活地进行搜索。下面是一些常用的参数及其示例。

#### 1. 忽略大小写：`-i`

```bash
grep -i 'hello' sample.txt
```

此命令忽略大小写，找到所有形式的 `hello`（如 `HELLO`、`Hello` 等）。

#### 2. 显示行号：`-n`

```bash
grep -n 'hello' sample.txt
```

此命令会显示匹配行的行号，方便定位。

#### 3. 递归搜索：`-r`

```bash
grep -r 'hello' /path/to/directory
```

递归搜索指定目录下的所有文件，查找包含 `hello` 的行。

#### 4. 只显示匹配的行：`-o`

```bash
grep -o 'hello' sample.txt
```

只显示匹配的字符串，而不是整行内容。

#### 5. 显示匹配行的上下文：`-C`

```bash
grep -C 3 'hello' sample.txt
```

显示匹配行以及上下各三行的内容，以便了解匹配所在的上下文。

#### 6. 匹配整个单词：`-w`

```bash
grep -w 'hello' sample.txt
```

只匹配完整的单词，如 `hello`，而不会匹配 `helloworld`。

#### 7. 统计匹配的行数：`-c`

```bash
grep -c 'hello' sample.txt
```

统计文件中包含 `hello` 的行数。

### 使用正则表达式

`grep` 支持正则表达式，使其在处理复杂的文本匹配时更加得心应手。

#### 匹配以某字符串开头的行

```bash
grep '^hello' sample.txt
```

匹配以 `hello` 开头的行。

#### 匹配以某字符串结尾的行

```bash
grep 'hello$' sample.txt
```

匹配以 `hello` 结尾的行。

#### 匹配任意字符

```bash
grep 'h.llo' sample.txt
```

匹配 `h` 和 `llo` 之间有一个任意字符的行，如 `hello` 或 `hallo`。

### 实际应用场景

`grep` 的应用非常广泛，从搜索日志文件到查找特定的代码片段，以下是一些常见的使用场景。

#### 1. 查找日志文件中的错误信息

假设你有一个日志文件 `logfile.txt`，你希望找到所有包含 `error` 的行，并且忽略大小写，显示行号并提供上下文信息：

```bash
grep -inC 2 'error' logfile.txt
```

#### 2. 搜索特定文件类型

你可以通过 `grep` 在特定类型的文件中搜索。例如，要在一个目录及其子目录中的所有 `.py` 文件中搜索包含字符串 "reg_model.pt" 的文件：

```bash
grep -r --include="*.py" 'reg_model.pt' /path/to/directory
```

#### 3. 查找代码中的 `TODO` 注释

如果你想在项目中找到所有标记为 `TODO` 的注释：

```bash
grep -r --include="*.py" 'TODO' /home/user/projects
```

#### 4. 排除特定文件或目录

在递归搜索时，排除某些不相关的文件或目录可能会更有效率：

```bash
grep -r --exclude="*.log" 'failure' /var/logs
```

### 其他实用例子

#### 查找并高亮显示匹配项

你可以使用 `--color` 参数来高亮显示匹配到的内容：

```bash
grep --color 'pattern' filename.txt
```

#### 查找空行

查找文件中所有的空行（即没有任何字符的行）：

```bash
grep '^$' filename.txt
```

#### 查找不包含某个字符串的行

使用 `-v` 参数查找不包含特定字符串的行：

```bash
grep -v 'error' logfile.txt
```

### 总结

`grep` 是一个功能强大且灵活的工具，广泛应用于文本处理和日志分析。通过熟练掌握其各种选项和正则表达式，你可以更高效地处理日常任务。在工作中，`grep` 可以帮助你快速定位问题，提升工作效率。

无论你是新手还是经验丰富的开发者，`grep` 都是你工具箱中不可或缺的利器。通过不断实践和应用，你会发现 `grep` 的强大之处，并逐渐掌握它的高级用法。