Нейронный Кот

Проклятые токены 🤯 Замечали/задумывались, что всего один случайный токен может привести выход LLM к неправильному ответу или в случае с маленькими моделями — к бреду? Условно, на запрос Реализуй эндпоинт на FastAPI ... модель может случайно сгенерить токен…

Проклятые токены 🤯Замечали/задумывались, что всего один случайный токен может привести выход LLM к неправильному ответу или в случае с маленькими моделями — к бреду?Условно, на запрос Реализуй эндпоинт на FastAPI ...модель может случайно сгенерить токен "import Flask" вместо "import FastAPI"И дальше уже от этого проклятого токена никуда не деться — придется продолжать ответ с фласком.Как бы боролись с таким? На этапе обучения? На этапе инференса? CoT не предлагать 😁

Тоже прогромирую с LLM, но с О1-бомж-версией и руками всегда все файлы копировал и объяснял структуру проекта 😒Буду пробовать эти тулзы, кажется, они решают мою боль!

В последнее время я все больше программирую с LLM, и теперь добавил в связку o1 Pro:Когда Sonnet 3.6 с первого раза что-то не может починить, я беру ошибку и код который есть, и прошу o1 Pro разобраться – потом тупо копирую ее ответ в Cursor и он уже сам всё чинит/правит И чем больше я использую O1 Pro для кода, тем больше замечаю, что ей очень важна разметка промпта и структура кода, поэтому я обновил немного свои тулы для LLM-программирования:🗺️ Folder Map Generator – примитивно работает, вы ей папку, она вам дерево файлов и каталогов; нужно чтобы LLM правильно писала пути к файлам, так как любая модель путается; файлы не покидают вкладку браузера📄 Text File Merger for LLM – эта штука стала еще умнее: можно руками указать какие типы файлов взять из папки, автоматом расставятся пути и открывающие/закрывающие теги имен файлов (нужно для думающих моделей), все это поможет быстро добавить нужный кусок проекта в LLM-контекст; файлы не покидают вкладку браузераНо самое полезное, что если вы положите в папку пустой файл .ignore, то оба тула ее проигнорируют – то есть лишние папки/файлы можно убрать из контекста***В подтверждение моих слов про контекст, вот недавняя статья где команда смогла сильно бустнуть производительность АИ-ассистента для написания кода. Вот краткая выдержка, общими словами:1. Сначала, до кода, они дают LLM контекст проекта и просят его понять2. Группируют похожие файлы по контексту3. Просят модель прогнозировать, что именно затронет изменение кода4. Передают ей историю изменений кода

Системные промпты отменяютсяОказывается, openai не добавили какое-то новое поле для следования инструкциям, а просто решили заменить слово system на developerЗачем? 😩