ИИ-голосовой

[twilightshade]

Захотел я поставить голосовой движок ии при помощи чатGPT думаю ну раз я другие модели ставил то тут больших проблем не будет. Так же как и с интеррогатором отладка при помощи чатGPT, он мне дает инструкции, а я запускаю и копипащу ему ошибки. Ага, хер там плавал!. Всё сложнее чем кажется, даже без учета того, что нужно создавать свою сonda среду чтобы не сломать Forge, всё настолько заморочено этими версиями питорч, а тут ещё и звукосинтезирующие движки подключаются.. Уфф... В общем стендалон создать не получилось ни Coqui TTS ни Silero TTS. Что получилось, это поставить простую прогу озвучки Balabolka с доп голосами от RHVoice, рекомендую, это не ИИ, не питон, а простая прога для чайников, достаточно отработанная не ИИ модель, достаточно мягкая, но... не ии. Но и наконец одну ии поставил. Там тоже питоновый скрипт с миниинтерфейсом и сохранением в качестве аудиофайла (чтобы в реальном времени говорила так и не смог настроить голосовой движок, плюнул...) Но эта модель EdgeTTS уже по названию понятно, что майкрософтовская и... не стендалон, они используют модель на своём сайте и вообще не поручусь что они там используют, это вообще скрипт для их браузера, бесплатный до поры до времени. Но типа есть, можно сравнивать. Пока что ощущения что ИИ не сильно лучше чем старые классические голосовые движки, хоть интонационно и помягче. Но и голосовые движки от RHVoice это уже не вибрирующие голоса роботов хотя в ударениях и ошибаются (ну этим и ИИ грешит). В общем неоднозначное ощущение от пока что несовершенных технологий (хотя это мы говорим про бесплатные и для чайников).

P.S. Чисто теоретически я бы мог попробовать разобраться как с Forge без всяких чатов GPT. В принципе в интернете и на гитхабе и на реддит есть инструкции. Но. У меня уже стоит Forge и вроде как поставленный не в conda среде (что ошибка), а рекомендуется ставить в conda среду или разные питон проги использующие разные версии питорч (а они очень привередливы к версиям) могут конфликтануть или просто нужно не держать больше одной питоновой программы. Второе препятствие это AMD карта, всё таки ИИ очень любит Geforce с его cuda и для других моделей менее популярных и развиваемых чем генеративные затычек типа zluda или directml просто нет...

Comments

[juan_gandhi]

А в чём задача? Голосом разговаривать с локальной моделью?

[twilightshade]

Ну да. Плюс возможно аудиокниги...

[twilightshade]

Если брать целиком ТЗ то я его только сейчас начинаю формулировать. Звучит оно как ИИаватар ИИчатбота который будет отвечать голосом (в идеале ИИ но можно и хорошим синтезаторным) на текстовый ввод (в идеале на голосовой) и это на локалке и это будет уже полноценная ИИ-мини-дополненная реальность. Как говорится ишшь чего захотел! Но мечтать не вредно, вредно не мечтать. Пока что у меня от силы 30% от этого билда и нет знаний программирования на питоне, но есть знания как к этому подступиться, т.е. установки сборок при помощи "пьяного помощника" чатаGPT