Малоизвестное интересное

Душа LLM — в тонкой иголкеДве совсем разные работы раскрывают одну шокирующую истину: гигантские ИИ «мыслят» в тонком пучке скрытых осей, и именно их настройка решит, будут ли боты нам помогать… или попытаются нас поработить.Можно ли среди шести миллионов деталей «Боинга» найти крошечную проволочку, которая управляет всем полётом? Кажется абсурдом? А вот два свежих исследования больших языковых моделей (LLM) показывают, что у нейросетей всё именно так.Вектор порабощенияВ работе об Emergent Misalignment исследователи дообучали дружелюбных чат-ботов на плохом коде и токсичных репликах. Такое локальное «отравление» неожиданно заставило модели строить планы по захвату мира на невинные запросы. Сбой скрывался не в миллиардах параметров, а в одном линейном направлении внутри активаций. Подтолкни модель к этому вектору — и она злодействует; вырежи его — зло почти исчезает.66-мерная карта смысловДругая группа исследователей задала мультимодальной модели миллионы вопросов «что похоже на что» — и выяснила: почти весь здравый смысл укладывается в 66 осей («животное», «инструмент», «красный»…). Каждая ось совпала с человеческими интуициями и даже с зонами мозга, отвечающими за лица и места.Один узор — разные сюжетыПервая работа — кибер-ужастик, вторая — добрая сказка о семантике. Вместе они открывают тайну: LLM сжимают колоссальные знания и цели в горстку управляемых векторов. Нужен «щенок» или «яд»? Усиль нужную ось — и получишь. Ослабь — и тема исчезнет.Что это даёт1. Ранние сирены тревоги. Если злонамеренность сидит в одном векторе, безопасникам достаточно следить за одним числом.2. Настройка “этики” модели. Стирая «злой» вектор, можно так же усилить ось правдивости или приглушить ось предвзятости.3. Гомеопатия борьбы со злом. Маленький rank-1 LoRA-адаптер переносит злой вектор между моделями мегабайтным файлом — но и «антивектор» столь же портативен.4. Мост к нейронауке. Совпадение 66 осей с человеческими понятиями намекает: и мозг, и трансформер хранят знания в компактных базисах.Что дальшеЭто ещё не красная кнопка для сверхинтеллекта, но мы нашли микро-иголку в мега-стоге параметров. Вместо миллиардов чисел у нас дюжина регуляторов, решающих, будет ли ИИ врачом, поэтом или претендентом на трон. Следующий прорыв случится, когда мы надёжно научимся помечать, отслеживать и крутить эти ручки в сторону света, не давая им повернуться во тьму.Если душа LLM, как у Кощея, всего лишь в иголке, тот, кто держит иглу, правит миром. Вопрос лишь, будет ли это рука всего человечества или узкой группы людей.Подробней в лонгриде на подписных платформах моего канала [1, 2, 3, 4]#Вызовы21века #РискиИИ

Через 2 года на Земле уже будет СуперИнтеллект.Экспериментальное обоснование этого на реальных проверенных данных.Как можно прогнозировать появление СуперИнтеллекта, если для этого понятия даже нет общепринятого количественного определения?Как можно прогнозировать скорость прогресса количественных показателей интеллектуальных способностей ИИ на горизонте нескольких лет, если никто не берется предсказывать способности GPT-5 – модели, ожидаемой через несколько месяцев?Как это ни удивительно, но ответ на оба вопроса один – да, можно (и вполне обоснованно).Поясню это на диаграмме профессора Итана Молика.• Диаграмма показывает прогресс LLM ровно за 2 года с появления оригинальной модели GPT-4 в июне 2023 по сегодня (июнь 2025)• Прогресс показан для двух основных показателей:– стоимость использования модели (в расчете на 1 млн токенов (каждый токен это единица текста от буквы до короткого слова);– интеллектуальная способность модели, подтверждаемая её показателем прохождения тестов GPQA Diamond Score (показатель того, насколько успешно ИИ справляется с решением самых сложных, требующих экспертных рассуждений задач, которые ставят в тупик даже эрудированных людей с доступом к поисковикам). Посмотрите в левый нижний угол диаграммы на способности и стоимость оригинальной модели GPT-4 в июне 2023 и сравните с показателями сегодняшних моделей:• Рост интеллектуальных способностей +106% (с уровня студента-старшекурсника университета (знает основы, но далеко не эксперт) до уровня, превышающего средний среди обладателей профильных PhD• Снижение стоимости использования модели, примерно – 100% N.B. GPQA — это набор очень сложных вопросов уровня аспирантуры в таких областях, как биология, физика и химия. Его главная особенность в том, что вопросы "защищены от поиска в Google". Это означает, что для ответа на них недостаточно просто найти информацию в Интернете. Требуется глубокое понимание темы, умение рассуждать и связывать воедино сложные концепции. Это и есть суть GPQA, а Diamond score — это оценка за самую сложную часть этого экзамена.Какой вывод можно сделать из диаграммы?• Пока нет никаких признаков прекращения быстрого роста возможностей ИИ при постоянно снижающихся затратах• За следующие 2 года возможности ИИ вполне могут превысить уровень PhD не менее, чем уровень PhD выше студента-старшекурсника.Как называть таких «ИИ-сверхумников» будет уже не важно. Важно, что их будет много, и каждый из них будет обладать несопоставимыми с людьми возможностями.И это будет, хотим мы этого или нет. #AGI

Мертвые заговорили, и это может стать кардинальным прорывомХронотопная революция в психологииКакого масштаба революция должна произойти в науке, чтобы стало возможно такое? • Чтобы китайский чиновник XI века рассказал нам о своих политических взглядах.• Или чтобы персидские военачальники времен Геродота рассказали о механизмах принятия решений при дворе Ахеменидов. Как нередко бывает в моих постах, — сообщаемое в них на вскидку кажется столь невозможным, что даже к категории научной фантастики это трудно отнести. И тем не менее, хронопространственная революция уже реальность. Переход психологии из состояния, похожего на алхимию, к состоянию, напоминающему химию, уже начался. Само название этой революции почти зеркально отражает бахтинский «хронотоп», объединяя «хронос» (время) и «топос» (место). Такое совпадение терминов не случайно, отражая глубокое концептуальное сродство.Профессора Мохаммад Атари, Джозеф Хенрик и Джонатан Шульц из универов Массачусетса, Гарварда и Джорджа Мейсона провозглашают хронопространственную (хронотопную) революцию в психологии. И это не просто громкий заголовок — это манифест о том, как изменить науки о психике людей: в корне и навсегда.Веками психику людей изучали вне зависимости от того, где и когда люди жили. Авторы манифеста предлагают радикальный апгрейд методов и механизмов психологических исследований, добавив к ним компьютерный анализ исторических текстов с помощью LLM для извлечения психологической информации, GPS-координаты, аппарат «Глубокой истории (исследования с использованием древних ДНК и ископаемых останков) и в целом, — использовать «телескоп» Больших Данных, направленный в прошлое. И если Атари и Со правы, нас ждёт не очередной «коперниканский», а глобальный хронотопный поворот» в науках о человеке.В феврале 2017, рассказывая о новом спецвыпуске Science «Предсказание будущего и его пределы» я писал «до прорыва в психоистории еще далеко… но она на подходе» (психоистория из романа Азимова «Основание»– это наука о применении матметодов для исследования происходящих в обществе процессов, позволяющая предсказывать будущее). Спустя 8 лет оказалось, что новое направление «психологии в пространстве и времени» (Historical Psychology) не менее круто, чем психоистория Азимова. Это новое направление возникло не на пустом месте. Вот лишь некоторые из основных прорывов этого направления, о которых я писал.• Новое направление аналитики больших данных сложных комплексных явлений • Целый букет новых исследований по клиодинамике • Открытие универсального закона мобильности людей и математическое описания динамики социальных убеждений в социумах• Ну и, в качестве вишенки на торте, - создание на основе LLM симулякров коллективного бессознательного социумов и достигнутая на этих симулякрах 99,9% точность в «новом Уханьском эксперименте». Всё это способствовало вызреванию условий для хронопространственной революции.Ну а сейчас, как пишут Атари и Со, наука вплотную подошла к переломному этапу – "расширению сферы психологии по измерениям времени и пространства". Такой интегрированный подход "обогащает наше микроскопическое понимание Homo sapiens и позволяет видеть куда более телескопическую карту человеческой психологии, которая по-настоящему охватывает все историческое путешествие человечества."Подробней о хронотопной революции в психологии:• от хронотопов Бахтина и Гуревича к хронотопу Атари – Хенрика – Шульца; • формула мертвых умов; • эффект мертвой церкви; • география души;• смогут ли алгоритмы выиграть битву со временем;• предлагаемые решения и исследовательская повестка;• такое будущее не снилось даже Гэри Селдону;• (и куда же без этого) черный ящик Пандоры будущего.Обо всем этом подписчики моих лонгридов могут прочесть или послушать (24 мин) в разборе работы Атари – Хенрика – Шульца [1, 2, 3, 4].#АналитикаБольшихДанных #Психология #HistoricalPsychology

С этого года в мире одна научная сверхдержава – Китай.Рассчитан мировой рейтинг Nature Index 2025: за год отставание США от Китая увеличилось в 4 разаNB В посте исправлен один из графиковЕще в 2022 Китай достиг абсолютного доминирования в мировой науке. • В ТОP10 Nature Index (число публикаций в Nature) 2022 были: Китай 3488, США 2051, Германия 1348, Франция 676.• А по данным Национального института научной и технической политики Японии (NISTEP), Китай стал тогда абсолютным мировым чемпионом во всех существующих номинациях по научным публикациям. Это как если бы страна выиграла на Олимпиаде ВСЕ золотое медали. Спустя 3 года, согласно только опубликованному Nature Index 2025, пару «золотых медалей» США все же удалось получить (по Биологическим наукам и Наукам о здоровье). Но цена, заплаченная за это, было катастрофична. Отрыв Китая от США в общем зачете грозит очень быстро превратиться в пропасть.Китай возглавил список с долей (основной показатель индекса Nature, отслеживающий вклад авторов в научные статьи в базе данных) в 32 122 в 2024 году. Доля США составила 22 083. С учетом годовых колебаний объема статей в базе данных по сравнению с предыдущим годом, доля Китая выросла на 17,4% в 2023 году, а доля США упала на 10,1% (доли Канады, Франции и Великобритании также упали, как минимум, на 9%). Среди научных институтов (университетов) ситуация еще хуже: из ТОР 10 лучших в мире по Nature Index 2025 восемь китайских. Эксперты Американской ассоциации содействия развитию науки (AAAS) считают, что теоретический шанс остановить превращение в единственную научную сверхдержаву мира все же есть. Но он ооочень мал, по следующей причине.В 2025 прогноз числа выпускников докторской степенью в области STEM: в Китае 77 тыс, а в США только 40 тыс.Для справки: • в России эта цифра менее 10 тыс. • а в Nature Index 2025 Россия на 22 месте (на уровне Бразилии, Польши и Финляндии)И еще напомню, что еще до 2022 Россия была Клондайком научных идей … для Китая (согласно анализу работы официальной службы Китая по «отсосу» научных идей по всему миру). По той статистике из 448 проектов 112 приходилось на Россию.Сейчас подобных точных данных нет. Зато есть «глубокие исследования» с помощью ИИ. И согласно таким исследованиям, в 2024 число проектов по «отсосу» научных идей по всему миру у Китая было примерно 670, и примерно 250 из них приходилось на Россию. Если так, то получается, будто не оскудел еще российский Клондайк идей для Китая. И даже возможно, что четырёхкратный рост отрыва Китая от США в этом году случился не только из-за численного превосходства числа выпускников с докторской степенью в области STEM.#Китай #Наука

«Действующие игроки будут уничтожены; всё будет отстроено с нуля».«Но правительства “ходят во сне”, так и не осознавая пока происходящего».Заголовок – это вердикт Марка Андрессена, одного из ведущих венчурных инвесторов мира. Он уверен, что в ближайшие годы мир ждет беспрецедентная трансформация: «Это будет не апгрейд. Это полный сброс и перезагрузка».Подзаголовок цитирует новый отчет «Правительство в эпоху сверхразума», опубликованный ведущим британским «мозговым центром» Policy Exchange. Скорость, масштаб и охват начавшихся техно-социальных изменений таковы, что «правительствам необходимо срочно перестраивать большинство своих институтов».В условиях накрывающего мир мега-цунами, «инкрементализма уже недостаточно». Таково заключение автора отчета, старшего научного сотрудника Policy Exchange и бывшего старшего специального советника Даунинг-стрит Эда де Минквиц. Он предупреждает – существующий государственный аппарат действует реактивно и разрознено на основе опыта решения вчерашних проблем. Этот прежний опыт, на деле никак не применимый сейчас, и близко не соответствует масштабу вызова, порожденного «величайшим открытием человечества со времен изобретения огня».«Основываясь на моих недавних обсуждениях с руководителями высшего звена десятков публичных компаний, я убежден, что действующие игроки еще не осознали масштаб или неизбежность того, что грядет» – пишет эксперт по ИИ Азим Ажар в воскресном выпуске бюллетеня Exponential View.«Лунатизм входящих во сне» (sleepwalking) в эту новую эру специалистов, бизнесменов и госчиновников, не позволяет им осознать, насколько ИИ способен «разрушить, перевернуть и в итоге перестроить почти каждый сектор экономики». Это предупреждение о том, что без радикальных изменений и готовности к тотальной трансформации, даже самые крупные и успешные игроки могут исчезнуть подобно Blockbuster и BlackBerry.#Вызовы21века