Привет замена голоса в звонках и как это распознать
Давненько не виделись! Сегодня обзор, который заинтригует всех любителей голосовых сообщений. Недавно я наткнулся на несколько очень необычных проектов. И необычны они не только потому, что практически все на китайском, включая компоненты, а потому что технология замены голоса в звонках стала очень доступной и открытой.
В репозиториях GitHub можно найти несколько очень популярных проектов, которыми уже воспользовалось как минимум 15 тысяч человек, а на самом деле, и больше. Представьте себе, что достаточно всего лишь нескольких фрагментов вашего голоса, длительностью по 10 секунд каждый, и мощная машина способна обучить модель. Вот теперь ваш голос — независимо от того, женский он, мужской, молодой или старый — может быть использован другим человеком для звонков по Telegram, Zoom, через любое другое приложение или без него.
А как определить, что к вам звонят не с вашим настоящим голосом? Этого вы не найдете в интернете, так как я поделюсь с вами своими наблюдениями.
Разберемся, как всё это работает с практической точки зрения и изнутри. Первый репозиторий — Voice Changer. Это именно то, что изменяет ваш голос. Установщики доступны бесплатно и не требуют настройки. И самое интересное — для этого не нужен мощный компьютер, это #приложение работает и на слабом железе. Это и круто, и опасно!
Проект способен работать с голосом в режиме реального времени. Вы говорите в микрофон, а человек на другом конце линии слышит с небольшой задержкой совершенно другой #голос — всего пара секунд. Здесь очень важна мощность компьютера: чем выше мощность, тем меньше задержка. И ещё вы можете изменять звуковые эффекты и даже голос из музыки.
Для использования приложения вам просто нужно его запустить, выбрать модель из списка или добавить свою собственную. Затем вы переходите в настройки. Не секрет, что мужской и женский голоса отличаются, однако это не значит, что грубый мужской голос нельзя превратить в женский, и наоборот. Для этого в программе есть настройки тона и индекса, которые связаны с параметрами модели, содержащей уникальный отпечаток голоса, и нейронная сеть для очистки шума, которая, кстати, съедает окончания слов, если вы немного их не выговариваете.
Кстати, посмотрите #стрим с канала Neural Magic, где я продемонстрировал, как работает замена голоса прямо в стриме, и показал, как можно изменить голос из музыки на любого исполнителя. В обзоре нам попался голос Niletto. В описании к видео вы найдете ссылки, где можно найти уже готовые модели известных голосов.
Вся «магия» замены голоса на лету сосредоточена в проекте so-vits-svc. Несомненно, это so-vits-svc, о котором я писал ранее, как об улучшенном инструменте клонирования речи. Невероятно, но в создании каверов под капотом подходов Suno, Udio, Sonano, Stable Audio есть что-то очень похожее на so-vits-svc. Но не стоит думать, что so-vits-svc — это всё, из чего состоит эта система.
Система работает следующим образом: сначала происходит извлечение характеристик входного голоса, который анализируется для получения высоты тона, тембра и других акустических характеристик. Затем в дело вступает алгоритм преобразования: извлеченные характеристики передаются в выбранную модель искусственного интеллекта (например, MMVC или RVC). Модель искусственного интеллекта использует полученные #знания для преобразования этих характеристик, перенастраивая их в соответствии с желаемым изменением голоса. Затем эти уникальные характеристики применяются к новому звуку, изменяя его частоту колебаний. И вот здесь so-vits-svc вступает в игру: преобразованные голосовые характеристики синтезируются в аудиовыход, который отражает целевой голос.
Всё это делается на лету и в режиме реального времени. Такая система находится в состоянии быстро и точно преобразовывать голос, что критически важно для таких приложений, как голосовой чат или звонки.
Хорошо, теперь мы представляем, как всё это работает без тонкостей. И, казалось бы, это не сильно влияет на нашу жизнь, пока рядом не окажется репозиторий, который тоже имеет установщик, не требует серьезных знаний и где можно создавать подобные модели. Раньше люди создавали эти модели в Google Colab и Kaggle, но последнии предприняли попытки, и теперь все обратили внимание на сервисы аренды игровых ПК. Например, видео как арендовать и подключиться к такому ПК. За всего лишь 4 часа по ставке 65р в час вы можете получить модель голоса любого человека, которую можно использовать даже на слабых устройствах. Вам нужно лишь разделить ваш аудиофайл чистой речи на отрывки по 10 секунд, желательно содержащие полные слова без тишины в начале и конце. Общая продолжительность таких отрывков не должна превышать 10 минут. Если есть фоновый шум, вы можете воспользоваться аудио-разделителем, о котором я рассказывал ранее. Такие инструменты бесплатны и доступны онлайн. Затем просто укажите путь к папке с файлами, и буквально за несколько щелчков мыши сначала получите индекс, а затем уже модель. И вуаля! Голос Шрека, Гендальфа или Илона Маска — на ваш выбор.
Всё это оказывается на удивление доступным, и внезапно вы начинаете чувствовать себя несколько незащищенным. Не хочется отвечать на звонки с неизвестных номеров. Хорошо, что некоторые банковские приложения предостерегают вас уведомлением о том, с какого номера и кем должен быть сделан звонок. Странно, что такие важные приложения, как Госуслуги или ФНС, ещё не внедрили подобную практику. Надеюсь, в будущем ситуация изменится в пользу пользователей.
И самое главное: как можно определить подобную подмену голоса, если она не имеет цифровой подписи? Слушая, я понял, что для обработки голоса нужно время, и даже на самых мощных компьютерах задержка составит минимум 2 секунды. Если человек говорит быстро и выражает длинные фразы за короткое время, такая программа не сможет корректно обработать его #речь и «проглотит» конец предложения. Поэтому интересной практикой, которую я не нашёл в интернете, является просьба собеседнику произнести что-то быстро, если звонок для вас важен или содержит персональные данные.
Кроме того, все ещё остаётся вопрос о качестве модели. Например, программа не слишком хорошо обрабатывает шепот для подмены грубых мужских голосов или звуки «р» в тонких женских голосах, если их не произносить чётко. Невозможно всегда произносить звуки однотонно, и когда собеседник расслабляется, разница между шепотом, шипящими и другими звуками становится более заметной.
На этом заканчиваю. Хочется верить, что технологии автоматического распознавания речи наконец будут внедрены в звонки, что сделает наше цифровое пространство более безопасным. А обзвоны из колл-центров не будут просто так использоваться, а только по согласию пользователей через их собственные приложения.
