Qwen-14B-Chat-Int4运行后预测结果不对 #68
Description
在A100 80G上执行，按照要求，安装了相关的包后，按照“运行指南（int4-gptq篇）”执行第一步和第三步后，查看日志为：
，生成的文件如图：
执行第三步后，正常生成的文件是这几个吗？
最后执行python3 run.py --tokenizer_dir=Qwen-14B-Chat-Int4，发现预测结果不对，本次预测结果为：
，请问如何解决这个问题？
{{ message }}
在A100 80G上执行，按照要求，安装了相关的包后，按照“运行指南（int4-gptq篇）”执行第一步和第三步后，查看日志为：
，生成的文件如图：
执行第三步后，正常生成的文件是这几个吗？
最后执行python3 run.py --tokenizer_dir=Qwen-14B-Chat-Int4，发现预测结果不对，本次预测结果为：
，请问如何解决这个问题？