LLM под капотом

#клиентспросил Кейс про агента, который программирует себя.

У меня есть три любимых клиента, которые упорно хотят делать агентов и умные продукты. А я все сопротивляюсь и говорю, что "ну не будет эта фигня со свободой воли стабильно работать". 🤪

Но вода камень точит. В последних версиях продуктов c LLM под капотом задачи практически целиком формулируются самой моделью. Просто у нее написание больших промптов получается лучше.

На картинке в комментариях изображена упрощенная схема системы по генерации лидов, в последней версии. Той самой, про которую клиент в понедельник оставил отзыв c пятью восклицательными знаками и смайликом.

Вот как она работает.

На самых первых этапах работы система “знакомится” с содержанием базы знаний (тысячи PDF файлов размера от 10 до 200 мегабайт) и сочиняет пояснения и инструкции для дальнейших промптов - про специфику запроса и про специфику языка документов.

На втором этапе система составляет запрос к поисковому движку. Она отталкивается от запроса человека, но транслирует его в язык документов и разворачивает на основе ранее написанных инструкций. А потом просматривает результаты и тюнит поисковый запрос, чтобы там было меньше мусора.

На финальных этапах система собирает в кучку найденные куски текста и формулирует ответ, стараясь по возможности цитировать релевантные фрагменты. При этом все еще используются ранее написанные инструкции.

После того, как я стал доверять моделям сочинять инструкции и пояснения для себя - работать стало проще, а продукты стали гибче реагировать на хотелки клиентов. Но первая пара предложений в каждом промпте всегда составлена мной. Чтобы не забывали, кто тут главный!

Ваш, @llm_under_hood 🤗

PS: Другие посты из серии #клиентспросил:
- зачем нужно распознавание картинок в ChatGPT?
- Ринат, клиент хочет работать с AI продуктом конкурента. Что делать?
- словарик с краткими описаниями самых важных терминов (labs)

🔥19❤3😁2👍1

www.tg-me.com/ye/telegram/com.llm_under_hood/207

2.24K viewsedited  Nov 24, 2023 at 11:19

#клиентспросил Кейс про агента, который программирует себя.

У меня есть три любимых клиента, которые упорно хотят делать агентов и умные продукты. А я все сопротивляюсь и говорю, что "ну не будет эта фигня со свободой воли стабильно работать". 🤪

Но вода камень точит. В последних версиях продуктов c LLM под капотом задачи практически целиком формулируются самой моделью. Просто у нее написание больших промптов получается лучше.

На картинке в комментариях изображена упрощенная схема системы по генерации лидов, в последней версии. Той самой, про которую клиент в понедельник оставил отзыв c пятью восклицательными знаками и смайликом.

Вот как она работает.

На самых первых этапах работы система “знакомится” с содержанием базы знаний (тысячи PDF файлов размера от 10 до 200 мегабайт) и сочиняет пояснения и инструкции для дальнейших промптов - про специфику запроса и про специфику языка документов.

На втором этапе система составляет запрос к поисковому движку. Она отталкивается от запроса человека, но транслирует его в язык документов и разворачивает на основе ранее написанных инструкций. А потом просматривает результаты и тюнит поисковый запрос, чтобы там было меньше мусора.

На финальных этапах система собирает в кучку найденные куски текста и формулирует ответ, стараясь по возможности цитировать релевантные фрагменты. При этом все еще используются ранее написанные инструкции.

После того, как я стал доверять моделям сочинять инструкции и пояснения для себя - работать стало проще, а продукты стали гибче реагировать на хотелки клиентов. Но первая пара предложений в каждом промпте всегда составлена мной. Чтобы не забывали, кто тут главный!

Ваш, @llm_under_hood 🤗

PS: Другие посты из серии #клиентспросил:
- зачем нужно распознавание картинок в ChatGPT?
- Ринат, клиент хочет работать с AI продуктом конкурента. Что делать?
- словарик с краткими описаниями самых важных терминов (labs)

BY LLM под капотом