О моделях ИИ и чуть о лорах
Apr. 27th, 2025 12:07 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
twilightshadeЯ понял одно, жертвовать качеством в угоду скорости тоже не вариант. Нужен какой-то баланс.
Дело в том что у тех же флюксов (и не только у них, а вообще у любых ИИ, но мне интересен Flux ) существуют разные по тяжести модели. Конкретно о моделях ИИ на Хабре
https://habr.com/ru/companies/serverflow/articles/847068/
FP64 это модели для научных лабораторий с суперкомпьютерами (имено те которых все боятся, что они уничтожат человечество). FP32 это если лаборатория нищая и денег на суперкомпьютеры нет. FP16 это уже можно использовать дома, но далеко не для всех. И наконец FP8 самый слабый из полноценных ИИ для дома так сказать. Есть ещё урезанные варианты ИИ, т.н. квантованные модели, которые вроде жрут меньше, но и результат слабее, они называются уже не FP а Q самая слабая Q2 и потом Q3 до той же Q8 они весят меньше работают быстрее и неполноценны т.е. для них нужны допфайлы словарей и проч тогда как FP8 модель сама в себе самодостаточна и как бы первая любовь просто потому что пошла без условий, потому моя самая любимая пока что на сегодняшний день FLUX.1-schnell-dev-merged-fp8-4step.safetensors Удобная тем что она одновременно и Schnell и Dev что удобно для работы с разными лорами. Но требует ресурсов чертовка. 1,5-3 минуты на шаг, в зависимости от нагрузки в виде лор, а шагов для хорошего качества вынь да положь 4. Кстати это тоже положительная особенность модели тут точно знаешь сколько шагов нужно, для остальных нужно этот вопрос гуглить и может вполне оказаться что из-за большого количества шагов выигрыша в скорости то и не будет, как в случае моделей Stable Diffusion. Да и поиск прог-интерфейсов я закончил лучше StableDiffusionAMDForge для моего компа нет, у неё вcё сбалансировано для моего компа, у неё всё интуитивно понятно и она не грешит избирательностью к моделям
Upd Гайд по Stable Diffusion Forge как поставить и как пользоваться. Только модель там имхо рекомендуется не самая лучшая меньше 8 шагов не рисует и это получается дольше, та модель что я предлагал выше рисует даже за 3 шага и ей не надо словарей (encoders/vae) Но в целом тоже полезный, пару вещей оттуда узнал. В принципе даже такая видеокарта как моя прошлая 1650 c 4 GB кое как потянет ИИ , но с её охлаждением сгореть просто может... Но владельцам AMD этого мало там ещё нужен гайд по zluda/rocm/hip
Есть ещё современная квантованная и говорят очень быстрая в разы быстрее стандартных и качеством как неквантованная Flux модель NF4 но ей нужна прога Bitsandbytes которая увы не работает с моей амдшной средой Zluda (или нжно делать очень много тонких настроек), поэтому увы, попробовать не могу... это для владельцев NVIdia
Ну и чуть по лорам...
Нaпример эта LoRA посвящена странной флоре и фауне, чем-то напоминает человеческую кровеносную систему или корневую или что-то типа. Очень сильный вайб Codex Seraphinianus То есть то что Луиджи Серафини мучился создавал в 70-е сейчас доступно любому.
https://civitai.com/models/866553/arteries-anatomy
Конечно в идеале люди сами создают эти лоры, таким образом обучая ИИ создавать что-то своё особенное, но я этого пока что не умею, да и не знаю потянет ли моя карта... Да и по времени это наверное занимает много, сотни шагов... Лучшие лоры потом выкладывают на сайте civit.ai вот например стимпанк для флюкса
https://civitai.com/search/models?baseModel=Flux.1%20S&baseModel=Flux.1%20D&modelType=LORA&sortBy=models_v9&query=steampunk
Я взял оттуда одну и у меня получилось что-то типа
UPD. Вспомнил что завалялась планка памяти и аапгрейдился на 28 GB RAM что дало неплохой такой прирост в скорости с 1:45 до 1:14 на простой шаг flux с семпилнгом эйлер это всё что я выжал из системы и вряд ли можно выжать больше при такой видеокарте, процессор в ИИ погоды не делает ), вот оперативка да, прикупить что-ли ещё... К количеству памяти он чувствителен а вот к скорости нет, у меня памяти сейчас пересортица (3 разных модели) и включить XMP профиль невозможно, одна из планок ту что поставил как раз его не поддерживает зато она 2666 без XMP вот на такой скорости и работает. ИИ генератору пофиг вообще ему только память давай а вируталку он не любит, ест конечно, но тормозит при этом очень, несмотря на то что она на NVMe SSD. Прожорливый он этот искин...
ЗЗЫ У меня есть мысли как сделать генерацию быстрее. Оперативной памяти ещё прикуплю 32 гига до конфигурации 48-ми гиг XMP, это гораздо дешевле чем что либо из железа и вполне может быть промежуточным решением, можно в Forge поставить эмуляцию видеопамяти в оперативке swap location: shared.Сейчас не могу он её всю сожрет (ага 28гиг) и выдаст ошибку нехватки памяти Да, это увы быстрее не будет хотя чем черт не шутит, разгоню оперативку чуть до 3 ГГц если проц вытянеn ну или до 2933 как у меня уже было и 48 ГБ мож хватит на 8 битную модель в том числе и на генерацию HD 1080*1920 типа обои генерировать (там два варианта либо сразу генерировать либо использовать апскейлер но и то и другое требует памяти, пока что размер 1024*1080 мой примерный потолок по памяти). По сути там только память нужна. Много памяти (в интернете говорят что виртуалку нельзя отключать пока оперативной памяти меньше 64Гиг да и в этом случае не советуют). А скорость я уже понял что на моих дровах и 10 минут норм главное чтобы при этих 10 минутах было хорошее качество на выходе. Вернулся пока к 24 GB разогнал XMP до 3ГГц сколько проц позволяет. Скорость памяти тоже кричтина, а 4 лишних гига оперативы пока что мне погоды не сделают, вот 24 на 3ГГц да, очень нужно для ИИ, ОЗУ, её количество и скорость это ресурс соящий для ИИна втором месте после видеокарты с видеопамятью. В целом рекоменлдуется 16 видопамяти и 64 ОЗУ, сейчас у меня 24 ОЗУ но я скоро попробую со своими 8 видео 48 ОЗУ.
Дело в том что у тех же флюксов (и не только у них, а вообще у любых ИИ, но мне интересен Flux ) существуют разные по тяжести модели. Конкретно о моделях ИИ на Хабре
https://habr.com/ru/companies/serverflow/articles/847068/
FP64 это модели для научных лабораторий с суперкомпьютерами (имено те которых все боятся, что они уничтожат человечество). FP32 это если лаборатория нищая и денег на суперкомпьютеры нет. FP16 это уже можно использовать дома, но далеко не для всех. И наконец FP8 самый слабый из полноценных ИИ для дома так сказать. Есть ещё урезанные варианты ИИ, т.н. квантованные модели, которые вроде жрут меньше, но и результат слабее, они называются уже не FP а Q самая слабая Q2 и потом Q3 до той же Q8 они весят меньше работают быстрее и неполноценны т.е. для них нужны допфайлы словарей и проч тогда как FP8 модель сама в себе самодостаточна и как бы первая любовь просто потому что пошла без условий, потому моя самая любимая пока что на сегодняшний день FLUX.1-schnell-dev-merged-fp8-4step.safetensors Удобная тем что она одновременно и Schnell и Dev что удобно для работы с разными лорами. Но требует ресурсов чертовка. 1,5-3 минуты на шаг, в зависимости от нагрузки в виде лор, а шагов для хорошего качества вынь да положь 4. Кстати это тоже положительная особенность модели тут точно знаешь сколько шагов нужно, для остальных нужно этот вопрос гуглить и может вполне оказаться что из-за большого количества шагов выигрыша в скорости то и не будет, как в случае моделей Stable Diffusion. Да и поиск прог-интерфейсов я закончил лучше StableDiffusionAMDForge для моего компа нет, у неё вcё сбалансировано для моего компа, у неё всё интуитивно понятно и она не грешит избирательностью к моделям
Upd Гайд по Stable Diffusion Forge как поставить и как пользоваться. Только модель там имхо рекомендуется не самая лучшая меньше 8 шагов не рисует и это получается дольше, та модель что я предлагал выше рисует даже за 3 шага и ей не надо словарей (encoders/vae) Но в целом тоже полезный, пару вещей оттуда узнал. В принципе даже такая видеокарта как моя прошлая 1650 c 4 GB кое как потянет ИИ , но с её охлаждением сгореть просто может... Но владельцам AMD этого мало там ещё нужен гайд по zluda/rocm/hip
Есть ещё современная квантованная и говорят очень быстрая в разы быстрее стандартных и качеством как неквантованная Flux модель NF4 но ей нужна прога Bitsandbytes которая увы не работает с моей амдшной средой Zluda (или нжно делать очень много тонких настроек), поэтому увы, попробовать не могу... это для владельцев NVIdia
Ну и чуть по лорам...
Нaпример эта LoRA посвящена странной флоре и фауне, чем-то напоминает человеческую кровеносную систему или корневую или что-то типа. Очень сильный вайб Codex Seraphinianus То есть то что Луиджи Серафини мучился создавал в 70-е сейчас доступно любому.
https://civitai.com/models/866553/arteries-anatomy
Конечно в идеале люди сами создают эти лоры, таким образом обучая ИИ создавать что-то своё особенное, но я этого пока что не умею, да и не знаю потянет ли моя карта... Да и по времени это наверное занимает много, сотни шагов... Лучшие лоры потом выкладывают на сайте civit.ai вот например стимпанк для флюкса
https://civitai.com/search/models?baseModel=Flux.1%20S&baseModel=Flux.1%20D&modelType=LORA&sortBy=models_v9&query=steampunk
Я взял оттуда одну и у меня получилось что-то типа
UPD. Вспомнил что завалялась планка памяти и аапгрейдился на 28 GB RAM что дало неплохой такой прирост в скорости с 1:45 до 1:14 на простой шаг flux с семпилнгом эйлер это всё что я выжал из системы и вряд ли можно выжать больше при такой видеокарте, процессор в ИИ погоды не делает ), вот оперативка да, прикупить что-ли ещё... К количеству памяти он чувствителен а вот к скорости нет, у меня памяти сейчас пересортица (3 разных модели) и включить XMP профиль невозможно, одна из планок ту что поставил как раз его не поддерживает зато она 2666 без XMP вот на такой скорости и работает. ИИ генератору пофиг вообще ему только память давай а вируталку он не любит, ест конечно, но тормозит при этом очень, несмотря на то что она на NVMe SSD. Прожорливый он этот искин...
ЗЗЫ У меня есть мысли как сделать генерацию быстрее. Оперативной памяти ещё прикуплю 32 гига до конфигурации 48-ми гиг XMP, это гораздо дешевле чем что либо из железа и вполне может быть промежуточным решением, можно в Forge поставить эмуляцию видеопамяти в оперативке swap location: shared.Сейчас не могу он её всю сожрет (ага 28гиг) и выдаст ошибку нехватки памяти Да, это увы быстрее не будет хотя чем черт не шутит, разгоню оперативку чуть до 3 ГГц если проц вытянеn ну или до 2933 как у меня уже было и 48 ГБ мож хватит на 8 битную модель в том числе и на генерацию HD 1080*1920 типа обои генерировать (там два варианта либо сразу генерировать либо использовать апскейлер но и то и другое требует памяти, пока что размер 1024*1080 мой примерный потолок по памяти). По сути там только память нужна. Много памяти (в интернете говорят что виртуалку нельзя отключать пока оперативной памяти меньше 64Гиг да и в этом случае не советуют). А скорость я уже понял что на моих дровах и 10 минут норм главное чтобы при этих 10 минутах было хорошее качество на выходе. Вернулся пока к 24 GB разогнал XMP до 3ГГц сколько проц позволяет. Скорость памяти тоже кричтина, а 4 лишних гига оперативы пока что мне погоды не сделают, вот 24 на 3ГГц да, очень нужно для ИИ, ОЗУ, её количество и скорость это ресурс соящий для ИИна втором месте после видеокарты с видеопамятью. В целом рекоменлдуется 16 видопамяти и 64 ОЗУ, сейчас у меня 24 ОЗУ но я скоро попробую со своими 8 видео 48 ОЗУ.
