Сергей Марков: машинное обучение, искусство и шитпостинг

NoHumansRequired: Autonomous High-Quality Image Editing Triplet MiningВышел наш первый препринт из запланированного цикла статей по теме редактирования изображений. Основная мысль, вокруг которой построено повествование, это как бы так автоматизировать процесс сбора данных (триплетов <входное изображение, инструкция, выходное изображение>), чтобы было одновременно и качественно, и без участия человека. Обычно одно из двух (или даже ни одно из).Многие исходят из идеи, что в мире уже понаделано очень много специализированных моделей, они работают неплохо, а значит можно как-то собрать инженерный пайплайн, чтобы на выходе были чистые данные 😳Например, за года развития накоплено множество неплохих данных с сегментацией \ ббоксами объектов и есть inpaint модели, как например разные варианты с FLUX, так что объекты можно заменять почти бесконечно, формируя триплеты. По нашему опыту, такие пайплайны даже имеют приемлемое качество. Но, получить что-то выше «приемлемо», т.е. чистые автоматические данные, так нельзя. Слишком много всего должно быть собрано вручную и с применением клея. Добавляет радости отсутствие в области надёжного автоматического способа оценки результатов редактирования. И, что даже важнее, сильно разнообразных операций таким образом, тоже, конечно, не собрать.А в методах, которых можно разгуляться посильнее, например, в основанных на контроле внимания (Prompt2Prompt), качество будет совсем печальным, см. InstructPix2Pix и его метрики в нашей работе.Очевидное решение — валидировать данные вручную, на крауд-сорсе, например.Но люди тоже ошибаются, а ещё нужно большое перекрытие, всё это не дёшево и медленно, когда нужны десятки миллионов триплетов. Так, конечно, в любой задаче, но именно в инструктивном редактировании совсем нечем надёжно проверить результат и сигнал выходит особенно грязный.В общем, с автовалидацией как с больным зубом — можно какое-то время проблему игнорировать или отодвигать полумерами, можно надеяться на лучшее, но нормально решать всё равно однажды придётся. Нужно, однако, осозновать, для оценки результата редактирования во всём его многообразии модель должна понимать очень много всего от абстрактных вещей до физики нашего мира, что не всегда разгребают даже относительно комплексные модели.Что говорить о моделях поменьше, на которых пытаются ехать многие авторы.Можно попробовать использовать лучшие доступные MLLM по API с каким-то промптом. Но, спойлер, они к этим задачам не адаптированы и пока тянут плохо (числа см. в нашей работе). Мы всё это прошли пару итераций назад, и дошли до того, что используем специально затюненные под задачу ChatGPT и Gemini. Причём без всякого ризонинга.В статье мы описываем подробно, как это сделали и почему так лучше. Таким образом, всё, что нужно для создания данных прямо совсем без участия человека, получается уже создано: ✅ модели, которые будут придумывать сцены и что в них поменять — есть.✅ модели для генерации изображений — есть.✅ модели для редактирования изображений — есть.✅ валидатор — теперь тоже есть.И у всех текстовый интерфейс, а значит можно собрать вместе самых лучших, дать безлимитный запас пива🍻 и попросить общаться. Что-то будет редактироваться не с первого раза, ну так мы повторим, пока не получится.Примерно так мы и поступили. Вышла 🌿 среди датасетов. Конечно, ещё не идеально, но уже бесконечно далеко от типичной синтетики. Поскольку каждый бит информации в пайплайне был получен совершенно без участия человека, такой метод можно даже использовать в цикле самоулучшения с агентом.Короче:— Собрали и опубликовали новый открытый датасет на 358К триплетов с разнообразными операциями, стилями, соотношениями сторон, тематиками и пр — NHR-Edit 📈— Провели самое масштабное и полное сравнение всех датасетов на данный момент.— Описали наш способ валидации и показали, почему он лучший.— Чуть-чуть дообучили на полученных данных нашумевший Bagel от ByteDance и выбили SOTA метрики на открытых бенчмарках 🌿🔗 Датасет, демо Bagel-NHR-Edit, ссылка на статью, всё >> тут <<

#251«Если бы да кабы, во рту росли бобы» Я рад успехам своего друга Саши Шулепова — IT предпринимателя, основателя стартапа для тенниса 40-30, разработчика, дата-инженера и веб-девелопера, №1 в рейтинге на русскоязычных биржах фриланса в категории «разработка сайтов». И это все в 33 года. Человек, который идёт по своему крутому и независимому пути. Недавно он запустил свой авторский подкаст «Код Автоматизации», где уже были интересные выпуски про 1С, фронтенд-разработку, инфобез, нейросети, ремонт гаджетов и др. айтишные темы.И вот теперь он взял динамичное интервью для своего подкаста у Сергея Маркова — одного из ведущих российских специалистов в области ИИ и разработчика GigaChat, популяризатора науки, директора по развитию ИИ в Сбере.Маркова всегда интересно слушать. Он умеет долго и увлечённо рассказывать про ИИ с прекрасными мудрыми аналогиями из жизни (пословица про бобы из интервью). 🫥Сергей, кстати, родом из Орла, закончил местный Орловский политех, а в далеком 2002 году со своей командой вошел в число лучших на международной студенческой олимпиаде по программированию в США.Обсудили все основные темы: GigaChat, DeepSeek, ChatGPT, промт-инженерию, будущие профессии, почему генеративные модели ошибаются в количестве пальцев и ещё много чего. Детально объяснил, мог ли GigaChat выйти раньше на рынок, чем ChatGPT. Выпуск размещен на всех ресурсах — кому как удобно. Ссылка на интервью здесь.P. S. Скоро у Саши выйдет выпуск про российский геймдев с CEO 1C Game Studios Альбертом Жильцовым.🔝

Гигачад из пазырыкской культуры

Специально для тех, кто думает, что я ругаю только Яндекс))Вообще долгое время считал Ozon примером удобного сервиса с хорошим UI/UX (правда, у них абсолютно проклятая сортировка заказов в списке, сломан поиск по купленным товаром в браузерной версии и периодически приходят письма с битыми ссылками на заказы, но это всё мелочи по сравнению с тем, что творится на других маркетплейсах).Но в последние дни я полностью в них разочаровался. Ну ладно, переносы доставки бывают у всех (хотя в Озоне это скорее правило, чем исключение, переносится четверть, если не треть доставок). Ну ладно, бывают повторные переносы. В результате иногда возникает ситуация, что ты не можешь получить заказ по адресу, который изначально был указан. В принципе, ситуация типичная. Ты приехал с дачи на денёк-другой в город, заказал что-то в квартиру, но не срослось — два переноса и всё. Ясно, что это косяк маркетплейса, и в такой ситуации, наверное, нормальным поведением было бы, скажем, привезти товар в новое место ну или хотя бы оставить его в ближайшем пункте выдачи, которых у ведущих маркетплейсов много. Так сделал бы любой маркетплейс, которому не напревать на своих клиентов.Любой, но не Ozon. Эти персонажи бесконечно кормят тебя шаблонными ответами, объясняют, что проблему никак решить нельзя, извините-простите, пук-среньк. Когда наконец-то ты достукиваешься до оператора, оператор тебе тоже отвечает шаблонными фразами, не читает историю переписки, прекращает переписку без спроса, Вообще нулевое желание хоть в чём-то пытаться разобраться. Почему достаточно недешёвый заказ не могут привезти в центр Москвы два дня подряд? Есть ли реальный шанс заказ всё-таки получить? Нельзя ли забрать заказ самовывозом? Это неизвестно, тайна, никак невозможно узнать: отменяйте заказ, если не нравится, кушайте, не подавитесь. После этого, конечно, желание забыть раз и навсегда дорогу к ним. Причём продавцы разводят руками: товар передан маркетплейсу 4 дня назад. А что маркетплейс? А маркетплейсу поебать

(не задано)