ИИ-железное...

[twilightshade]

Надоело мучиться с ИИ на своём железе и решил поторопиться боюсь что цены на железо улетят к лету в космос... Покупаю что могу (и на что денег не жалко) RX 9060 XT (16 ГБ) с уже встроенными ядрами для ии вычислений.. Плюс моя RX6600 8Gb будут две карты с распределенными вычислениями на 24 гигабайта видеопамяти суммарно, по сути домашняя станция ИИ уровня чуть ниже среднего... Плюс 40 гигабайт оперативной памяти пусть и DDR4 но разогнанной до 3466Mhz под управлением Ryzen 7 5700X Да красные (АMD) это не зеленая нвидиа, но они дешевле и уже в игре, с этого года Rocm поддерживающий все серии начиная с седьмой. И надеюсь они разобрались с утечками видеопамяти... Мою RX6600 увы нет, но для LM-Studio поддержка программная на уровне Vulcan а для генеративок будут распределенные вычисления где RX6600 будет отвечать за видео Windows а RX 9060 XT крутить тот же Flux если что незначительная выгрузка в оперативку уже нетак страшно. Посмотрим как оно будет работать... P.S. Вообще 64 гигабайта совокупной памяти с обязательной 16+ видеопамятью это нижайший рубеж с которого стартуют настоящие ИИ-ништяки... Так снизу пощупать что такое LLM 70B модель пусть квантованную или поговорить запанибратски с 27B-31B моделью даже не особо квантованной или запустить Flux без боли и мучительных ожиданий...