Открытые ИИ-модели показали, что дорогой GPT — не единственный путь к качественному поиску: свежий эксперимент Castform и Neon доказал, что 4-миллиардная открытая модель после дообучения ищет данные так же точно, как GPT-5.6 Sol, но стоит в 100 раз дешевле. Обычный многошаговый поисковый запрос к GPT-5.6 Sol занимает больше 10 секунд и обходится примерно в $0.03 — для сервиса с тысячами запросов в день это ощутимые деньги. Маленькие открытые модели изначально дешевле на два порядка, но раньше проигрывали в качестве. Теперь разрыв закрыт — и это меняет расклад для всех, кто строит ИИ-продукты на ограниченном бюджете.
Почему поиск через GPT стал таким дорогим
С 2022 года индустрия делала ставку на embedding-поиск: pgvector, RAG-пайплайны, векторное сходство. К 2025 году агенты научились искать в несколько заходов — decompose big problem into smaller ones, как говорят разработчики. Каждый такой шаг — это отдельный вызов дорогой frontier-модели. Retrieval augmented generation превратился из одного запроса в цикл из десятков обращений к API, и счёт за инференс вырос пропорционально числу итераций. Именно multi-hop агентный поиск, а не сама модель, стал главным источником затрат.
Castform + Neon: дешевый ИИ без потери точности
Связка castform neon решает две разные задачи. Neon (Lakebase Postgres) через расширение Lakebase Search даёт агенту инструмент для поиска по корпусу документов прямо в базе данных. Castform занимается RL-дообучением: модель учится сама решать, что и как искать, через цикл проб и ошибок — попытка, оценка по функции вознаграждения, корректировка. Хранилище документов, генерация синтетических обучающих задач через lakebase_text и lakebase_vector, сам RL-тренинг и финальный инференс — всё крутится вокруг одного и того же инструмента поиска в Neon, без пересборки инфраструктуры между этапами.
Оптимизация ИИ-затрат: где взять данные для обучения
Для RL-дообучения нужны три вещи: задача, среда для агента и функция вознаграждения. У большинства компаний уже есть сырьё для этого — внутренняя документация, тикеты поддержки, вики, история переписки с клиентами. Проблема была не в отсутствии данных, а в том, что превратить их в чистый тренировочный датасет вручную — это месяцы разметки. Castform автоматизирует именно этот шаг, что и делает альтернативу gpt доступной без штата ML-инженеров.
Что это значит для вашего бизнеса
Для предпринимателей и фрилансеров, которые строят чат-ботов, поиск по базе знаний или клиентскую поддержку на ИИ, это прямой путь к эффективности ИИ-моделей без раздутого счёта за API. Если ваш продукт завязан на retrieval — поиск по документам, FAQ, каталогу товаров, — есть смысл присмотреться к дообученным открытым моделям вместо постоянных вызовов GPT. Это и есть демократизация ИИ в действии: качество топовых моделей становится доступно без их цены.
Комментарии 0