Ну локально они много ресурсов жрут не только карты, но и процессора. Всё жрут. В принципе я поэтому я и Qwen32B стараюсь не использовать он думает над ответом более получаса. Полная модель как вот эта 128B у меня же даже Qwen 64B не пойдёт тупо памяти не хватит.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
Date: 2025-06-17 05:08 pm (UTC)