VL模型无法load

[lucasjinreal]

ValueError: Non-consecutive added token '' found. Should have index 64000 but has index 0 in saved vocabulary.

显然是tokenizer不对，为何

[WSR-wsr]

pip install transformers==4.34.0可以解决这个问题

但是我遇到了其他问题，按照llava上的#966更改llava文件后，会提示timm load错误，unknown model clip-vit-H-14-laion2B-s32B-b79K-yi-vl-6B-44B

[WSR-wsr]

已解决，使用yi_vl分支即可

[lucasjinreal]

int4 能量化吗？ OSError: ../../../../models/Yi-VL-34B/ does not appear to have a file named preprocessor_config.json. Checkout 'https://huggingface.co/../../../../models/Yi-VL-34B//main' for available files.

[Genihamber]

大佬我按你的方式更新了transformers和调整了config里的mm_vision_tower以后有新的报错ValueError: Unknown projector type: mlp2x_gelu_Norm，这个该如何解决

[WSR-wsr]

大佬我按你的方式更新了transformers和调整了config里的mm_vision_tower以后有新的报错ValueError: Unknown projector type: mlp2x_gelu_Norm，这个该如何解决

使用github.com/01-ai/Yi/tree/liuyudong/yi_vl

分支，里面的VL/single_inference.py可以直接运行，记得改mm_vision_tower

[Genihamber]

好的，谢谢大佬，我试一下

[WSR-wsr]

int4 能量化吗？ OSError: ../../../../models/Yi-VL-34B/ does not appear to have a file named preprocessor_config.json. Checkout 'https://huggingface.co/../../../../models/Yi-VL-34B//main' for available files.

还没试，但我看代码里有写量化

[bill815]

out, q, k, v, out_padded, softmax_lse, S_dmask, rng_state = flash_attn_cuda.fwd(

RuntimeError: FlashAttention only supports Ampere GPUs or newer.
运行后出现这个问题怎么解决

[eternal8080]

我想把模型下载到别的路径下，怎么修改代码呢