Лаборатория Промптинга Mozlab

Как легче и быстрее оценить качество ответа нейросети

Сегодня выступал в Екатеринбурге на HR-форуме БигФиш.

Час рассказывал и показывал про нейросети. Один из вопросов особенно понравился:

«Что сделать, чтобы было проще оценивать качество ответа нейросети?»

У меня есть пять любимых способов. Конечно, они не заменят основного правила: «разбираться в теме, по которой работаешь с нейросетью», но каждый из них серьезно сэкономит ваши ресурсы при оценке.

Мне очень помогает добавлять в шаблон ответа следующие детали (на примере генерации идей):

1. Добавить шаги

Дай три конкретных шага, которые позволят реализовать эту идею/это сделать.

2. Добавить объяснение пользы

Подробно объясни, почему этот способ сработает и как поможет

3. Спроси про затраты времени

Напиши, сколько времени (в неделю или разово) потребуется человеку, в среднем, чтобы это сделать

4. Попроси оценить по параметрам

К каждой идее допиши оценку Реалистичности (какова вероятность, что это удастся реализовать по шкале от 1 (минимум) до 5 (максимум) и Вероятности успеха (если способ удастся реализовать, насколько вероятно, что он сработает, …)

5. Обоснование оценки из п.4*

Обоснуй каждую оценку, объясни, на чем строятся твои рассуждения

* — коллеги в комментариях написали, что по их опыту лучше начинать с п.5 и вначале просить обоснование, а потом оценку из п.4. Готов согласиться. А еще — это лучшее подтверждение того, что ни один подход к промптингу не является идеальным, тем более даже мой. Пробуйте и всё получится.

Как-то так:)

И как это работает?

Общая идея в том, что чем больше деталей и конкретики есть в предлагаемых нейросетью идеях — тем проще и быстрее отличить адекватные от не очень. У меня железно работает. Попробуйте!

PS: Привет, Екатеринбург!!! Какие же приятные и вдумчивые люди встретились мне на конфе.

PPS: Ставьте лайк, если узнали себя;)

www.tg-me.com/sg/telegram/com.PromptLab_Mozlab/89

2.3K viewsedited  Sep 22, 2023 at 12:24

Как легче и быстрее оценить качество ответа нейросети

Сегодня выступал в Екатеринбурге на HR-форуме БигФиш.

Час рассказывал и показывал про нейросети. Один из вопросов особенно понравился:

«Что сделать, чтобы было проще оценивать качество ответа нейросети?»

У меня есть пять любимых способов. Конечно, они не заменят основного правила: «разбираться в теме, по которой работаешь с нейросетью», но каждый из них серьезно сэкономит ваши ресурсы при оценке.

Мне очень помогает добавлять в шаблон ответа следующие детали (на примере генерации идей):

1. Добавить шаги

Дай три конкретных шага, которые позволят реализовать эту идею/это сделать.

2. Добавить объяснение пользы

Подробно объясни, почему этот способ сработает и как поможет

3. Спроси про затраты времени

Напиши, сколько времени (в неделю или разово) потребуется человеку, в среднем, чтобы это сделать

4. Попроси оценить по параметрам

К каждой идее допиши оценку Реалистичности (какова вероятность, что это удастся реализовать по шкале от 1 (минимум) до 5 (максимум) и Вероятности успеха (если способ удастся реализовать, насколько вероятно, что он сработает, …)

5. Обоснование оценки из п.4*

Обоснуй каждую оценку, объясни, на чем строятся твои рассуждения

* — коллеги в комментариях написали, что по их опыту лучше начинать с п.5 и вначале просить обоснование, а потом оценку из п.4. Готов согласиться. А еще — это лучшее подтверждение того, что ни один подход к промптингу не является идеальным, тем более даже мой. Пробуйте и всё получится.

Как-то так:)

И как это работает?

Общая идея в том, что чем больше деталей и конкретики есть в предлагаемых нейросетью идеях — тем проще и быстрее отличить адекватные от не очень. У меня железно работает. Попробуйте!

PS: Привет, Екатеринбург!!! Какие же приятные и вдумчивые люди встретились мне на конфе.

PPS: Ставьте лайк, если узнали себя;)

BY Лаборатория Промптинга Mozlab