Den4ik Research

https://youtu.be/NrO20Jb-hy0?si=GtwCAwN77gf8y1zwПодарите мне постер пж 😮

Думаю уже можно поднять занавес перед своим ресерчем. Мне уже не терпится)Прошло 2 месяца и мы с Денисом наконец-то завели эксперименты. Точнее, мы их заводили лишь последние трое суток и спали по 3 часа, ибо лишь недавно компьют освободился. Очень тороплюсь, потому что хочется поехать на "Лето с AIRI", а сегодня последний день для подачи заявки. Буду заполнять proposal research и записывать видосик.Объясню на скорую руку. Кароч, я делаю метод для обучения моделей, основанных на VQ-VAE, который адаптирует размер кодовой книги для задач генерации и ретривала. Часто модели, которые решают эти задачи на основе VQ-VAE используют кодовую книгу, подобранную для задачи реконструкции, ее не обучают для целевой задачи. Поэтому кодовая книга может быть не совсем подходящей, то есть ее распределение либо слишком простое, либо слишком сложное для целевой задачи, не говоря о том, что оно может просто плохо перекрывать датасет. Я предлагаю метод для динамического обновления размера кодовой книги в процессе обучения, ориентируясь на датасет и целевую задачу. Кодовая книга должна идеально адаптироваться под задачу, модель и данные, полностью раскрывая потенциал модели))При всем при этом:*️⃣ кодовая книга будет оставаться замороженной в процессе всего обучения*️⃣ нам не нужно заново инициализировать кодовую книгу, достаточно использовать предобученную или инициализировать ее 1 раз*️⃣ латентное пространство модели остается стабильным и не меняется критично в процессе адаптации кодовой книги*️⃣ упрощается подбор архитектуры и гиперпараметров модели*️⃣ (скоро проверим на практике) улучшает качество модели в случаях, когда с фиксированной кодовой книгой лосс вышел на платоЭкспов еще будет весьма много. Ожидайте подробностей в скором времени...#research #carieer

Запускаю наш с Захаром рисерч по кодекам для ттс. Также первые звуки модели:

(не задано)

Дайте нам 8 H100 на трейн своего кодека))