Data Secrets

@data_secrets Открыть в Telegram

Аудитория: 71 300 подписчиков

Категория: Технологии

Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN

https://telega.in/c/data_secrets

Статистика канала

71 300 подписчиков

Последние посты

Data Secrets

09 июл., 11:13

Немецкие ученые выпустили модель, которая имитирует психику человека Она называется Centaur и обучена предсказывать поведение людей. Для обучения использовали огромный датасет с 160 поведенческими экспериментами и порядком десяти миллионов кейсов человеческих реакций. То есть модель смотрела на то, как ведут себя разные люди в той или иной ситуации -> запоминала -> училась имитировать. И в итоге научилась неплохо: точность высокая даже на новых ситуациях, которые модель не видела на трейне. Более того, она может даже оценить время реакции и подробно объяснить, почему человек поведет себя так или иначе. Звучит жутковато, конечно, но просто представьте, какой тут потенциал для приложений. Систему можно использовать как симуляцию для бесконечных экспериментов, и с помощью нее попытаться лучше понять когнитивную природу человека, его психику и причины разных расстройств. Это, по сути, то, о чем ученые мечтали веками: единая (эмпирическая) теория поведения. Самое интересное, что Centaur даже согласуется с реальной мозговой активностью: активации сети коррелируют со сканами МРТ живых людей. А под капотом при этом просто Llama-3.1 70B, дотюненная с QLoRA. Все веса выложены в опенсорс. Сделали даже вариант модели поменьше, его можно легко запустить в колабе. Киберпанк как он есть www.nature.com/articles/s41586-025-09215-4

16 500

Data Secrets

08 июл., 21:45

Google выпустили крайне интересный инструмент, с помощью которого можно «вырезать» из большой модели готовые модельки поменьше Нет, это не дистилляция и не прунинг. Помните, недавно они выложили в опенсорс полноценную Gemma 3n? Так вот у этой модели была необычная архитектура – матрешечный трансформер 🪆 Подробно мы рассказывали, что это такое, здесь. Кратко: Gemma 3n эластична, то есть у нее есть вложенные модели – отсюда и название. В частности, сама она была обучена как модель на Е4В (это 4В effective параметров) с 35 слоями и размером скрытого слоя 16384, но внутри нее есть полностью самодостаточная модель на E2B уже с 30 слоями и размерностью 8192. Тренят это все, конечно, специальным образом с помощью Matryoshka Representation Learning. Но и это не все: из такой матрешки можно извлекать модели вообще любого размера между 2В и 4В. Раньше – теоретически, а теперь и на практике с помощью готовой тулзы от самих Google. То есть: вы выбираете, какой размер будет оптимален для вашего железа -> выставляете соответствующую конфигурацию -> отрабатывает метод Mix-n-Match, который вырезает из модели нужное вложение (это происходит без обучения) -> вы получаете готовые веса, которые можете, кстати, сразу же залить на HF. Ну очень свежо и практично. Все, к слову, оформлено в виде ноутбука ipynb, так что запустить можно одной кнопкой. Ссылка

15 500

Data Secrets

08 июл., 20:35

OpenAI затягивает гайки в системе безопасности После выхода R1 от DeepSeek Альтман решил усилить контроль за безопасностью внутри компании. Напоминаем, что представители OpenAI утверждали, что китайцы обучили свою модель с помощью методов дистилляции из их моделей. И видимо, в компании действительно в это верят, потому что сейчас вступает в силу куча новых корпоративных ограничений. Например: ➖ Доступ к новым моделям и продуктам есть только у нескольких лиц. Кроме того, только небольшая часть сотрудников имеет право обсуждать разработки в общих офисных помещениях. ➖ Доступ в офисы и отдельные их части осуществляется по отпечатку пальца.➖ Все внешние интернет-соединения требуют явного одобрения. Кроме того, Альтман набрал много новых кибербезопасников и переписал NDA. Пентагон покуривает в сторонке

15 100

Data Secrets

08 июл., 18:25

В Твиттере завирусился тренд: нужно скинуть картинку, которую поймут только люди из твоей субкультуры Среди реплаев нашлось вот это золото Согласны? Узнали?

15 500

Data Secrets

08 июл., 16:40

Ученые предложили потенциально новую парадигму для генеративок: Energy-Based трансформеры В исследовании принимали участие ученые из Амазона, Стэнфорда, Гарварда, Амстердамского и Иллинойского университетов. Сейчас разберемся, что они придумали. Основная идея – минимизация функции энергии. Модель выдает не просто токен за токеном, а выводит энергию – число, показывающее, насколько хорошо кандидат-предсказание сочетается с контекстом. Чем ниже энергия, тем разумнее предсказание.То есть мы начинаем с шумной или случайной последовательности и итеративно улучшаем ее, снижая энергию градиентным спуском, пока не сойдёмся к оптимуму. Чем-то снова напоминает диффузию. Это дает: (а) динамическое время на рассуждения: энергия может сойтись за 2, а может за 10000 шагов; (б) универсальный подход для ризонинга (в отличие от того, как думают LLM сейчас) + самопроверку на каждом шаге. И даже по метрикам все неплохо: пишут, что EBT лучше обобщается на новые задачи и быстрее учится, да и перплексия получается приятная. На других модальностях тоже все ок. Единственный нюанс – вычисления. Для модели нужны градиенты второго порядка, ну и каждый шаг оптимизации энергии – это дополнительный проход. Так что получается в среднем в 6-7 раз тяжелее обычного трансформера. Но может, что-то из этого и выйдетСтатья | GitHub

15 600

Показано 5 последних публикаций.

Data Secrets

Статистика канала

Последние посты

Оставить комментарий/отзыв

Рекомендации

SecurityLab.ru

ЧЕСТНЫЙ БЛОГ

МегаФон

TECNO Россия

kaleos.p

апвоут

Не шарю

2ГИС

Осознанная Меркантильность | Антон Назаров

Илон Маск / IT blog