местный датасасер ☮️

Верим?

Вчера увидел, что мой твит с комментарием по уходу из OpenAI Bob McGrew, VP of Research, лайкнул сам Bob. А потом случайно на ютубе наткнулся на его интервью годовой давности, и решил послушать между делом.В целом не так много интересного, если активно следите за AI, но решил пересказать одну часть с историей про появление ChatGPT (вот таймкод):— к середине осени 2022-го уже была натренирована GPT-4 (по официальным данным, тренировка закончилась в августе); в компании знали, что если они смогут придумать, как использовать модель на полную, то это будет невероятно. Вся компания пыталась придумать, что же с ней делать.— John Shulman, глава команды, занимавшейся Reinforcement Learning (ныне ушёл в Anthropic), предложил сделать модель «разговорчивой», чтобы она могла вести диалог; для тех, кто не застал 2020-2022 годы в LLM: тогда модели просто дописывали текст по шаблону. В 2022м году их уже можно было промптить, давая какую-то задачу, примеры, но и всё.— ещё до этого было ясно, что в будущем роль AI можно будет описать как «ассистент», но казалось, что модели ещё не достигли нужного уровня, чтобы помогать реальным людям в реальных задачах; поэтому даже не думали о подобном. К тому моменту GPT-3.5 уже около полугода была доступна в публичном API, и никто не сделал прото-ChatGPT.— John сказал: «да, модели неидеальны, и мы знаем, что GPT-4 будет лучше, но давайте попробуем просто взять, обучить и выложить диалоговую модель в интернет. Может мы наберём хотя бы 10000 пользователей, и они помогут нам понять, где LLM плоха, и мы сможем начать итерироваться и улучшать её»— Команда немного подумала, так как казалось, что это требует большого количества работы, но в итоге решили сделать и уложиться в НЕДЕЛЮ (ранее об этом писали, кажется, в WSJ, но ссылку за декабрь 22-го не буду искать). По сути, это был сайд-проект компании, они называли его «low key research preview», не было никакого медиа-освещения, не было рекламы. Были минимальные ожидания.— Но по итогу всё полетело, и через 2 месяца ChatGPT оказался самым быстрорастущим продуктом из всех, достигнув планки в 100 миллионов пользователей. В это время многие сотрудники вообще другим занимались, но пришлось активно впрягаться и поддерживать проект; особенно активными были следующие 6 месяцев.Вот такой вот урок по истории получился 🤓 🥸===Сделать ChatGPT с нуля: неделяДобавить поиск по чатам: 2 года 😦

что если бы весь контент на реддите был сгенерирован, и все юзеры были ботами? посмотрите https://deaddit.xyz/когда уже все в интернете будет завалено сгенеренным контентом, и сюда можно будет перестать заходить?

🔉 Мимо всех прошёл новый генератор ультра-реалистичной речи — Cartesia озвучивает любой текст на 14 языках быстрее, чем Elevenlabs! Русский поддерживается. Сервис клонирует любой голос за 15 секунд для озвучки или дубляжа контента. Можно выбрать язык, уже готовый голос, скорость, акценты и даже эмоции. Бесплатно дают озвучку 10,000 знаков. У Elevenlabs мощный конкурент — тут. @notboring_tech

Нобелевку по физике дали... машинлернерам Хинтону и Хопфилдуhttps://www.interfax.ru/world/985736