代码之家  ›  专栏  ›  技术社区  ›  lucasa.lisboa

无法从“huggingface_hub”导入名称“split_torch_state_dict_into_shards”

  •  1
  • lucasa.lisboa  · 技术社区  · 11 月前

    我已经使用LLAMA 2进行研究几个月了,我导入如下:

    from transformers import AutoModelForCausalLM, AutoTokenizer
    device = torch.device("cuda")
    tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key",torch_dtype="auto")
    model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf",token = "token_key", torch_dtype="auto", load_in_4bit=True)
    

    它一直有效。然而,今天它显示了以下错误: 运行时错误:由于以下错误,无法导入变压器.models.llama.modeling_llama(查找以查看其回溯): 由于以下错误,无法导入transformers.generation.utils(查找以查看其回溯): 无法从“huggingface_hub”(/opt/conda/lib/python3.10/site-packages/huggingface_hub)导入名称“split_torch_state_dict_into_shards”/ init .py)

    重新创建了拥抱脸令牌,但它不起作用。我正在使用谷歌Colab和Kaggle笔记本。

    1 回复  |  直到 11 月前
        1
  •  2
  •   Free Palestine    11 月前

    您遇到的错误是由于 split_torch_state_dict_into_shards 功能在中不可用 huggingface-hub version < 0.23.0 .

    此功能从版本开始包含 0.23.0 .

    要解决此问题,请更新 huggingface-hub 库升级到0.23.0或更高版本

    这是一个git链接: https://github.com/run-llama/llama_index/discussions/14605