уровни абстракции

AI safety

для человека, который увлекся ИИ от страха, попадание в AI safety было вопросом времени. это междисциплинарная область на стыке computer science и философии, которая занимается вопросами безопасности применения ИИ и направлена на обеспечение того, чтобы любые разработанные системы и модели ИИ работали так, как первоначально предполагали разработчики, не приводя к непредвиденным последствиям типа уничтожения человечества.

на масштабе повседневности это сводится к развитию методов для контроля и регуляции за тем, чтобы ИИ не обманывал, не воровал, делал что говорят и вообще был хорошим и пушистым.

вопросы эти беспокоят людей давно — вокруг них построены почти все сюжеты известных техно-дистопий. также вы, возможно, слышали о законах робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

звучит складно, но например эти правила не мешают роботу убить вашу собаку во время решения задачи “прибраться в квартире” — формального противоречия не будет. Азимов это прекрасно понимал и свои сюжеты тоже часто строил вокруг вложенных в эти законы противоречий. а спустя ~40 лет после описания трех правил еще одно нулевое:

0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

ну то есть за все хорошее (для человечества), против всего плохого. так победим! но к сожалению, никакой набор из N правил не может быть полным, потому что всегда найдется какая-то лазейка между ними всеми, которую вы не предусмотрели, а ИИ использовал, чтобы хакнуть постановку задачи.

завтра я улетаю в Англию на школу по AI safety, чему очень рад. буду держать вас в курсе, а вы пишите, если будут вопросы по этой теме. также если кто-то здесь живет в Лондоне или Манчестере, буду рад повидаться!

#AI_safety

www.tg-me.com/ye/telegram/com.levels_of_abstraction/48

446 viewsedited  Aug 28, 2024 at 16:39

AI safety

для человека, который увлекся ИИ от страха, попадание в AI safety было вопросом времени. это междисциплинарная область на стыке computer science и философии, которая занимается вопросами безопасности применения ИИ и направлена на обеспечение того, чтобы любые разработанные системы и модели ИИ работали так, как первоначально предполагали разработчики, не приводя к непредвиденным последствиям типа уничтожения человечества.

на масштабе повседневности это сводится к развитию методов для контроля и регуляции за тем, чтобы ИИ не обманывал, не воровал, делал что говорят и вообще был хорошим и пушистым.

вопросы эти беспокоят людей давно — вокруг них построены почти все сюжеты известных техно-дистопий. также вы, возможно, слышали о законах робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

звучит складно, но например эти правила не мешают роботу убить вашу собаку во время решения задачи “прибраться в квартире” — формального противоречия не будет. Азимов это прекрасно понимал и свои сюжеты тоже часто строил вокруг вложенных в эти законы противоречий. а спустя ~40 лет после описания трех правил еще одно нулевое:

0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

ну то есть за все хорошее (для человечества), против всего плохого. так победим! но к сожалению, никакой набор из N правил не может быть полным, потому что всегда найдется какая-то лазейка между ними всеми, которую вы не предусмотрели, а ИИ использовал, чтобы хакнуть постановку задачи.

завтра я улетаю в Англию на школу по AI safety, чему очень рад. буду держать вас в курсе, а вы пишите, если будут вопросы по этой теме. также если кто-то здесь живет в Лондоне или Манчестере, буду рад повидаться!

#AI_safety

BY уровни абстракции