Telegram Group & Telegram Channel
Кейс продукта с GPT/LLM под капотом: Персональный ассистент в компании #case

Примеры запросов пользователей

Запрос клиента 1 - Мы хотим чат бот для поддержки пользователей. Чтобы он мог отвечать на их вопросы с учетом статей с сайта и knowledge base, поиска по StackOverflow и актуальных тикетов в Github/Customer Support. Поискали, но нашли только варианты за 1000 евро в месяц, что очень жабно.

Сколько клиент готов платить - в зависимости от размера клиентской базы оно экономит время customer support/customer success management начиная с 10 часов в неделю до 100 часов в неделю и больше.

Соответственно 100-1000 евро в месяц за подобный продукт - это дешево. Существующие продукты на рынке начинаются где-то с 200 долларов в месяц за 4000 запросов в месяц.


Запрос клиента 2 - у нас очень большая и обширная внутренняя база знаний в wiki. Обычный поиск по ней относительно бесполезен, никто им не пользуется. Хотим чат бота, который бы работал как Bing по этим внутренним документам - искал везде, находил, и синтезировал ответ с ссылками. Это поможет с self-serve support, onboarding, поможет эффективнее распространять и передавать знания.

Готовы заплатить за работу команды, которая запилит нам подобный продукт под наши нужды. Ставка 135 евро в час, объем работ ~ 2-3 человека на пару месяцев.

Что есть у клиентов уже?

У клиентов есть набор разрозненных источников информаций c достаточно бесполезным поиском. То есть надо знать, что где лежит, и как это искать.

Пользователи либо не умеют пользоваться, либо не хотят, либо вообще не знают про информацию.

Проблема решается тем, что есть выделенные люди или специалисты. Либо платим зарплату людям, которые умеют “гуглить”, либо отвлекаем знающих людей от работы. Либо люди вообще оставляют идею найти информацию и идут более простым путем.

Отдельная головная боль с новичками - им надо все показать и рассказать. “А вот тут у нас лежат доки проектов, но только не маркетинговые брошюры. Брошюрки у нас маркетинговый отдел складывает сюда. А список вопросов и ответов вообще в другой базе, ибо исторически так сложилось”

Продукт

Ассистент, который может отвечать на вопросы и причинять помощь в индивидуальном порядке. Он работает как Bing на данных и сервисах компании, используя актуальную информацию из баз знаний и сервисов.

Техническое решение

(1) индексируем все источники информации в векторной БД с возможностью обновления в режиме реального времени. Это для полнотекстового поиска
(2) используем LLM для построения дополнительных индексов - embeddings, summarisation, Q&A. Индексы перестраиваем по мере изменения базовой информации
(3) при запросах пользователей используем LLM для построения расширенного запроса к БД по всем доступным индексам, параллельно прогоняем все запросы, а результаты сводим воедино в ответ. Указываем ссылки на исходные документы для fact-checking.
(4) Для ускорения ответа - можно использовать streaming, параллелизацию и специализированные модели.
(5) Обязательно добавляем возможность оценки ответа. Если модель дала хороший ответ на вопрос, то можно его добавить сразу в БД. Если модель дала плохой ответ, то сохраняем в статистику, чтобы команда могла поправить этот тип ответов.

Первые прототипы могут работать на ChatGPT/Claude для ускорения разработки. По мере накопления данных, можно части pipeline переключать на локальные модели, fine-tuned на конкретных данных.


Источник: https://www.tg-me.com/us/telegram/com.llm_under_hood/4
Обсуждение: https://www.tg-me.com/llm_driven_products

Продолжение: как прошла первая демка клиенту, и как мы добились хороших результатов.
🔥83👍3



tg-me.com/llm_under_hood/4
Create:
Last Update:

Кейс продукта с GPT/LLM под капотом: Персональный ассистент в компании #case

Примеры запросов пользователей

Запрос клиента 1 - Мы хотим чат бот для поддержки пользователей. Чтобы он мог отвечать на их вопросы с учетом статей с сайта и knowledge base, поиска по StackOverflow и актуальных тикетов в Github/Customer Support. Поискали, но нашли только варианты за 1000 евро в месяц, что очень жабно.

Сколько клиент готов платить - в зависимости от размера клиентской базы оно экономит время customer support/customer success management начиная с 10 часов в неделю до 100 часов в неделю и больше.

Соответственно 100-1000 евро в месяц за подобный продукт - это дешево. Существующие продукты на рынке начинаются где-то с 200 долларов в месяц за 4000 запросов в месяц.


Запрос клиента 2 - у нас очень большая и обширная внутренняя база знаний в wiki. Обычный поиск по ней относительно бесполезен, никто им не пользуется. Хотим чат бота, который бы работал как Bing по этим внутренним документам - искал везде, находил, и синтезировал ответ с ссылками. Это поможет с self-serve support, onboarding, поможет эффективнее распространять и передавать знания.

Готовы заплатить за работу команды, которая запилит нам подобный продукт под наши нужды. Ставка 135 евро в час, объем работ ~ 2-3 человека на пару месяцев.

Что есть у клиентов уже?

У клиентов есть набор разрозненных источников информаций c достаточно бесполезным поиском. То есть надо знать, что где лежит, и как это искать.

Пользователи либо не умеют пользоваться, либо не хотят, либо вообще не знают про информацию.

Проблема решается тем, что есть выделенные люди или специалисты. Либо платим зарплату людям, которые умеют “гуглить”, либо отвлекаем знающих людей от работы. Либо люди вообще оставляют идею найти информацию и идут более простым путем.

Отдельная головная боль с новичками - им надо все показать и рассказать. “А вот тут у нас лежат доки проектов, но только не маркетинговые брошюры. Брошюрки у нас маркетинговый отдел складывает сюда. А список вопросов и ответов вообще в другой базе, ибо исторически так сложилось”

Продукт

Ассистент, который может отвечать на вопросы и причинять помощь в индивидуальном порядке. Он работает как Bing на данных и сервисах компании, используя актуальную информацию из баз знаний и сервисов.

Техническое решение

(1) индексируем все источники информации в векторной БД с возможностью обновления в режиме реального времени. Это для полнотекстового поиска
(2) используем LLM для построения дополнительных индексов - embeddings, summarisation, Q&A. Индексы перестраиваем по мере изменения базовой информации
(3) при запросах пользователей используем LLM для построения расширенного запроса к БД по всем доступным индексам, параллельно прогоняем все запросы, а результаты сводим воедино в ответ. Указываем ссылки на исходные документы для fact-checking.
(4) Для ускорения ответа - можно использовать streaming, параллелизацию и специализированные модели.
(5) Обязательно добавляем возможность оценки ответа. Если модель дала хороший ответ на вопрос, то можно его добавить сразу в БД. Если модель дала плохой ответ, то сохраняем в статистику, чтобы команда могла поправить этот тип ответов.

Первые прототипы могут работать на ChatGPT/Claude для ускорения разработки. По мере накопления данных, можно части pipeline переключать на локальные модели, fine-tuned на конкретных данных.


Источник: https://www.tg-me.com/us/telegram/com.llm_under_hood/4
Обсуждение: https://www.tg-me.com/llm_driven_products

Продолжение: как прошла первая демка клиенту, и как мы добились хороших результатов.

BY LLM под капотом


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/llm_under_hood/4

View MORE
Open in Telegram


telegram Telegram | DID YOU KNOW?

Date: |

Telegram auto-delete message, expiring invites, and more

elegram is updating its messaging app with options for auto-deleting messages, expiring invite links, and new unlimited groups, the company shared in a blog post. Much like Signal, Telegram received a burst of new users in the confusion over WhatsApp’s privacy policy and now the company is adopting features that were already part of its competitors’ apps, features which offer more security and privacy. Auto-deleting messages were already possible in Telegram’s encrypted Secret Chats, but this new update for iOS and Android adds the option to make messages disappear in any kind of chat. Auto-delete can be enabled inside of chats, and set to delete either 24 hours or seven days after messages are sent. Auto-delete won’t remove every message though; if a message was sent before the feature was turned on, it’ll stick around. Telegram’s competitors have had similar features: WhatsApp introduced a feature in 2020 and Signal has had disappearing messages since at least 2016.

Launched in 2013, Telegram allows users to broadcast messages to a following via “channels”, or create public and private groups that are simple for others to access. Users can also send and receive large data files, including text and zip files, directly via the app.The platform said it has more than 500m active users, and topped 1bn downloads in August, according to data from SensorTower.telegram from us


Telegram LLM под капотом
FROM USA