删除下载的TensorFlow和Pytorch（拥抱面）型号

Question

我想从笔记本电脑上删除Tensorflow和拥抱面部型号。 我确实找到了一个链接 https://github.com/github.com/huggingface/transforceface/transformers/sissues/861 但是是否没有命令可以删除它们一些错误。

Answer 1

变形金刚库将将下载的文件存储在您的缓存中。据我所知，没有内置方法可以从缓存中删除某些模型。但是您可以自己编码一些内容。这些文件与具有 .json 的两个附加文件一起存储。 >附加到神秘的名称。 JSON文件包含一些可用于识别文件的元数据。以下是这样一个文件的示例：

{"url": "https://cdn.huggingface.co/roberta-base-pytorch_model.bin", "etag": "\"8a60a65d5096de71f572516af7f5a0c4-30\""}

我们现在可以使用此信息来创建您的缓存文件列表，如下所示：

import glob
import json
import re
from collections import OrderedDict 
from transformers import TRANSFORMERS_CACHE
 
metaFiles = glob.glob(TRANSFORMERS_CACHE + '/*.json')
modelRegex = "huggingface\.co\/(.*)(pytorch_model\.bin$|resolve\/main\/tf_model\.h5$)"

cachedModels = {}
cachedTokenizers = {}
for file in metaFiles:
     with open(file) as j:
         data = json.load(j)
         isM = re.search(modelRegex, data['url'])
         if isM:
             cachedModels[isM.group(1)[:-1]] = file
         else:
             cachedTokenizers[data['url'].partition('huggingface.co/')[2]] = file

cachedTokenizers = OrderedDict(sorted(cachedTokenizers.items(), key=lambda k: k[0]))

现在您要做的就是检查 cachedmodels and <代码> cachedtokenizers 并决定是否要保留它们。如果要删除它们，只需检查字典的值，然后从缓存中删除文件即可。不要忘记还删除相应的*。json 和*。锁定文件。

Answer 2

您可以运行此代码以删除所有模型

from transformers import TRANSFORMERS_CACHE
print(TRANSFORMERS_CACHE)

import shutil
shutil.rmtree(TRANSFORMERS_CACHE)

Answer 3

pip uninstall tensorflow 
pip uninstall tensorflow-gpu
pip uninstall transformers

并找到您保存的gpt-2

model.save_pretaining（“ ./ English-gpt2”）。

English-gpt2 =您下载的型号名称。

您可以手动删除那条路。

Answer 4

使用

pip install huggingface_hub["cli"]

然后

huggingface-cli delete-cache

您现在应该查看可以选择/取消选择的修订列表。

参见此链接 。

Answer 5

来自注释找到缓存目录，以便您可以清洁：

from transformers import file_utils
print(file_utils.default_cache_path)