David's random thoughts

David's random thoughts

HP这台是我多年来买过的首发笔记本新平台机器里对Linux支持最好的，没有之一。不过都已经拿去做Ubuntu认证了也不意外。。 LLM暂时简单测了一个Linux ROCm UMA的llama.cpp运行70B投机解码，理想情况下可以做到大约8.7 t/s左右。后面有空再做详细测试。

8-9 t/s并没有完全发挥8060S的潜力，llama.cpp的llama-server有一个小问题导致server配speculative decoding时性能欠佳（与具体硬件无关）：https://github.com/ggml-org/llama.cpp/issues/12968

动手简单修一下这个问题之后Qwen 2.5 72B iq4_xs + 1.5B draft在acceptance rate理想时可达到10-12 t/s左右
https://github.com/hjc4869/llama.cpp/commit/0b32f64ffbe973e99e0dc7097be31d4d966d476e

www.tg-me.com/us/telegram/com.david_random/564

1.6K viewsApr 19 at 11:57

8-9 t/s并没有完全发挥8060S的潜力，llama.cpp的llama-server有一个小问题导致server配speculative decoding时性能欠佳（与具体硬件无关）：https://github.com/ggml-org/llama.cpp/issues/12968

动手简单修一下这个问题之后Qwen 2.5 72B iq4_xs + 1.5B draft在acceptance rate理想时可达到10-12 t/s左右
https://github.com/hjc4869/llama.cpp/commit/0b32f64ffbe973e99e0dc7097be31d4d966d476e

BY David's random thoughts