https://arxiv.org/pdf/2509.14786

这篇论文《无限算力下的预训练》（Pre-training under infinite compute）由斯坦福大学的研究者撰写，核心探讨了在高质量训练数据有限但计算资源无限的未来场景下，如何通过算法改进来极大提升语言模型预训练的数据效率。以下是全文的核心总结：

1. 问题背景

• 算力增长（每年约4倍）远快于高质量网络文本数据的增长（每年约1.03倍）。
• 传统方法在数据受限时（如固定200M tokens），单纯增加训练轮次（epoch）或模型参数（parameters）会导致过拟合，性能下降。

2. 核心方法 & 发现

a) 正则化（Regularization）是关键

• 发现权重衰减（Weight Decay） 的最佳值比常规实践（如0.1）大30倍，能有效防止过拟合。
• 优化后的正则化方法使损失随参数增加遵循幂律下降，可外推其渐近线（asymptote）以估计无限算力下的最佳性能。

b) 集成学习（Ensembling）优于单一模型

• 训练多个独立模型并集成（平均输出），比单一大型模型达到更低的损失渐近线。
• 集成模型能更好地学习数据中的多种特征（“多视图”结构），避免单一模型的偏差。

c) 联合扩展配方（Joint Scaling Recipe）

• 结合轮次调整、正则化、参数扩展和集成扩展，在200M tokens上达到最佳渐近线。
• 相比基线方法，数据效率提升5.17倍（即用更少数据达到相同效果）。

d) 知识蒸馏（Distillation）压缩模型

• 将集成模型蒸馏为单个小模型（如参数量减少8倍），仍保留83%的集成收益。
• 自蒸馏（Self-Distillation）：用同一架构的教师模型训练学生模型，性能反而提升，无需增加参数量。

Ctrl+Shift+P

输入

bash
展开代码
Word Wrap

快捷键

Alt+Z

在win上安装这个：docker desktop

注册账号：

检查是否联网，没有联网就自动重连wifi Guest。

bash
展开代码
mkdir/root/autowifi/ && vim /root/autowifi/wifi-watchdog.sh

写入：

bash
展开代码
#!/bin/bash
interface="wlan0" # 请根据你的实际接口名修改，如 wlp3s0
while true; do
  if ! ping -c 1 www.baidu.com &> /dev/null; then
    echo "WiFi disconnected. Attempting to reconnect..."
    sudo systemctl restart NetworkManager
    sleep 5
    sudo nmcli device wifi connect "Guest" password "Guest"
  fi
  sleep 300 # 每300秒检查一次网络状态
done

设置屏幕dpi

bash
展开代码
adb shell wm density 270

强制杀死某个包：

bash
展开代码
adb shell am force-stop com.xx.xx

我在win的cmd里一打python3，就跳转到windows的应用商店了，我安装了miniconda3，也指定path了，为啥不用我的miniconda3呢?

这个问题很常见，主要是因为Windows 10/11有一个默认的Python应用别名会拦截python3命令。即使你安装了miniconda3并设置了PATH，Windows的应用执行别名优先级更高。

• 训练数据问题。实际跑的手机和训练数据采集的数据不一致。

https://blog.csdn.net/cd80988864/article/details/141758054

打开powershell执行这三句：

js
展开代码
reg add "HKLM\SOFTWARE\CorpLinkConfig" /v CheckUninstallPassword /t REG_SZ /d 0 /f
reg add "HKLM\SOFTWARE\CorpLinkConfig" /v CompanyId /t REG_SZ /d 0 /f
reg add "HKLM\SOFTWARE\CorpLinkConfig" /v UserLoginState /t REG_DWORD /d 0 /f

然后卸载即可。

使用微PE与M.2硬盘盒为新电脑安装Windows 10终极指南

本文旨在为你提供一份清晰、无废话的教程，帮助你利用M.2硬盘盒（RTL9210B芯片）和微PE工具，为新电脑安装Windows 10系统。我们将避开繁琐的理论，直接聚焦于关键概念和操作步骤。

一、核心概念解析：理解你的工具

在开始之前，理解以下几个关键概念至关重要，它们决定了安装过程的成败。

项目现在更新了不少，来一把训练。目的是训练qwen2.5vl 7b，fork项目在此：https://github.com/xxddccaa/EasyR1QwenVL