qwen 1.5 110b的性能有办法提升么

[Xiangzhenhui]

我们现在使用 qwen 1.5 110b 作为问答的基座，模型的问答每次耗时基本到4秒左右，高的有 6 7 秒。请问有办法可以优化吗

[Xiangzhenhui]

硬件和速率如下
硬件4*RTX4090
框架： lmdeploy
运行命令：lmdeploy serve api_server Qwen1.5-110B-Chat-AWQ --server-port 9001 --session-len 9000 --enable-prefix-caching --max-batch-size 25 --tp 4 --quant-policy 8
单请求吞吐速度：约30token/s

[Xiangzhenhui]

请问有老师在么