下面代码会将List的files分为List[List[...],...]的样子，每隔1000个就是一个子列表，最后除不尽的那个子列表的元素个数 小于等于 1000。

展开代码
files=[files[i:i + 1000]   for i in range(0, len(files), 1000)]

多进程应用，下面的代码使用多进程执行overwrite函数，将所有jpg和png文件重写或者删除。

python
展开代码
import multiprocessing
import os
import cv2
def listPathAllfiles(dirname):
    result = []
    for maindir, subdir, file_name_list in os.walk(dirname):
        for filename in file_name_list:
            apath = os.path.join(maindir, filename)
            result.append(apath)
    return result
def overwrite(files1):
    for fname in files1:
        try:
            if fname.endswith(".jpg") or fname.endswith(".png"):
                img = cv2.imread(fname)
                cv2.imwrite(fname, img)
        except:
            os.remove(fname)
            print(fname)
if __name__ == '__main__':
    root = r"/ssd/xd/datasets/multilabel"
    files = listPathAllfiles(root)
    p = multiprocessing.Pool()  # 创建一个包含2个进程的进程池
    # split files to several parts
    for i in range(0, len(files), 1000):
        p.apply_async(func=overwrite, args=(files[i:i + 1000],))  # 往池子里加一个异步执行的子进城
    p.close()  # 等子进程执行完毕后关闭进程池
    p.join()  # 主进程等待