Click here to see this page in other languages: English 

Контроль ИИ человеком: люди должны определять процедуру и степень необходимости передачи системе ИИ функции принятия решений для выполнения целей, поставленных человеком.

Когда мы можем позволить машине выбирать за нас? Большинство из нас позволяют Гугл картам выбрать наилучший путь в новое место. Многие из нас взбудоражены тем, что автомобили-беспилотники могут довезти нас самостоятельно куда угодно, пока мы работаем или мечтаем. Но готовы ли вы позволить вашему беспилотному автомобилю выбирать маршрут за вас?

Автомобиль может посчитать, что ваша конечная цель – поесть, купить что-то или выполнить какое-то поручение, но иногда нам хочется выбрать какой-то другой магазин или ресторан, и в таком случае мы не хотим, чтобы автомобиль принимал решение за нас.

Как насчет более сложных решений? Должно ли оружию быть позволено выбирать, кого убивать? Если да, то на основании чего они делают этот выбор? И как мы будем контролировать процесс, когда искусственный интеллект станет умнее человека? Что если ИИ знает больше об окружающем нас мире, и лучше понимает наши предпочтения, будет ли лучше, если он будет принимать все решения за нас?

Сложно ответить на подобные вопросы. Я разговаривала с двумя экспертами в области изучения ИИ, и на мои вопросы они отвечали примерно так: «Да, это сложно» и «Всё верно, это очень, очень непросто».

Все, с кем я общалась по этому поводу, согласились, что проблема человеческого контроля над машинами затрагивает одни из сложнейших аспектов создания ИИ.

«Я думаю, что это действительно важно», – сказала Сьюзан Кроу, профессор Университета Роберта Гордона в Абердине. «В противном случае у вас будет система, которая хочет сделать что-то для вас, даже если в данный момент вам это не нужно, появятся ситуации, когда вас будет не устраивать, как и каким путем система делает что-либо».

Джошуа Грин, психолог из Гарварда, перешел к самым важным вопросам, связанным с этим принципом.

«Это интересно, потому что не совсем понятно, что значит нарушить это правило», – объяснил Грин. «Какое решение может принять система ИИ, которое бы не было каким-то образом заложено в системе человеком? ИИ –  это человеческое творение. Этот принцип на деле больше связан с тем, какие конкретные решения мы позволим принимать машинам. Например, мы можем позволить машине принимать решения, но какие бы решения она ни принимали, мы хотим быть уверены, что это решение принимает именно машина, а не человек.

«Возьмём, например, робота, который умеет ходить. Ведь человек, который управляет этим роботом, не будет задавать каждый угол движения ноги этого робота. Люди не будут решать, где именно каждая нога приземлится, но люди скажут: “Мне нравится машина, принимающая подобные решения самостоятельно, пока она не конфликтует с какой-либо другой командой более высокого уровня сложности”».

Роман Ямпольский, исследователь ИИ из Университета Луисвилля, предположил, что мы ближе к тому, чтобы дать власть ИИ в принятии решений, чем многие могут себе представить.

«На самом деле, мы уже поручили контроль на решения во многих сферах машинам», – сказал Ямпольский. «На основе ИИ производятся более 85% всех биржевых сделок, контролируется работа электростанций, ядерных реакторов, электросетей. Посредством ИИ производится координация светофоров, а в некоторых случаях ИИ обеспечивает военный ответ на ядерное нападение, т.е., “мертвую руку”. Сложность и скорость подобных процессов исключают значимый контроль со стороны человека. Мы просто недостаточно быстры, чтобы мгновенно понимать процессы в таких вещах как, например, алгоритмическая торговля или что сейчас происходит с военными беспилотниками. Мы также не способны просчитать тысячи переменных или понять сложные математические модели. Наша зависимость от машин будет только возрастать. Но только до тех пор, пока они принимают правильные решения (решения, которые возможно были бы нам под силу, будь мы достаточно умны, или если бы мы имели нужное количество данных и достаточно времени), и в такие моменты мы с ними согласны. Мы бы хотели иметь возможность вмешиваться в решения машин только тогда, когда эти решения противоречат нашим. А вот попытка выделить подобные ситуации на данный момент является нерешенной проблемой, на которую сейчас обращаем внимание».

Грин также изложил эту идею: «Опасность заключается в том, что у вас есть машины, которые делают более сложные и последовательные решения, чем “как сделать шаг”. Когда у вас есть машина, которая может принимать обдуманные и гибкие решения, как вы можете уверенно отдавать ей только один приказ без объяснения деталей выполнения? Когда вы даёте поручение вашему работнику, и у вас есть какая-то проблема, которую нужно решить, и вы говорите ему: “Просто сделай это”, вы не будете уточнять: “Но при этом не убивай никого. Не нарушай никаких законов и не трать все деньги компании, пытаясь решить эту незначительную проблему”. Существует множество факторов, которые мы не уточняем, и они кажутся незначительными, но тем не менее они очень важны».

«Мне нравится дух этого принципа. Он ясно излагает то, что следует из более общей идеи ответственности, что каждое решение принимается отдельным человеком или конкретно делегируется машине. Но это будет сложно реализовать, когда ИИ начнёт вести себя более гибко и продуманно».

ИИ часто сравнивают с ребенком, с точки зрения того, какого уровня система достигла при её обучении и насколько она обучаема. И так же, как и с детьми, мы не решаемся дать машине слишком много самоконтроля, пока не будем уверены, что машины стали достаточно ответственны и безопасны. Мы вполне можем доверять ИИ, когда речь заходит о картах, финансовой торговле и работе электрических сетей, но как подобная тенденция сможет сохраниться в будущем, когда система ИИ станет еще более сложной, когда наша безопасность и благополучие могут подвергнуться риску.

Джон Хавенс, исполнительный директор Глобальной инициативы IEEE по этическим соображениям в области искусственного интеллекта и автономных систем, пояснил: «Люди должны быть достаточно осведомлены во многих вопросах, чтобы контролировать процесс принятия решений до тех пор, пока ИИ не станет достаточно безопасен для нас.

«Исследования показывают, что сейчас самое небезопасное время, потому что часто можно услышать что-то вроде: “Просто сидите и ничего не делайте, система работает за вас в 99% случаев, вы в порядке”. Это самая опасная ситуация», – добавил он, ссылаясь на недавние исследования, которые показывают, что люди не уделяют должного внимания, когда достаточно надежные автономные системы, вроде современных машин с автопилотом, ломаются. Исследование показывает, что в эти моменты людям трудно установить проблему и они не могут справиться с ней.

«Мне кажется, люди в первую очередь должны полагаться только на себя», – заключил Хавенс.

Патрик Лин, философ из Калифорнийского политехнического университета, помимо проблем, упомянутых выше, считает, что непонятно, кто будет нести ответственность, если машины сделают что-то не так.

«Я не говорю, что везде и всегда человек должен контролировать машины», – сказал Лин. «Всё зависит от решения, которые могут породить новые проблемы …Это связано с идеей контроля машин и принятием человеком ответственности. Если у машин не будет человеческого контроля, то возникнет вопрос, кто же несет ответственность …контекст имеет значение. Нужно понять, что всё зависит от того, о каких решениях мы говорим, исходя из этого нужно определить уровень человеческого контроля над машинами».

Сьюзан Шнайдер, философ из Университета Коннектикута, также беспокоилась о том, как эти проблемы могут усугубиться с приходом сверхразума в нашу жизнь.

«Даже сейчас иногда трудно понять, почему система приняла то или иное решение», – сказала она, добавив позже: «Если мы всё же решимся возложить на ИИ право самостоятельного решения, я не знаю, каким образом мы сможем проверить и проконтролировать эту систему. Старый подход к проблеме поверки систем больше не подходит».

Должны ли люди постоянно контролировать решения машин? Возможно ли это? Когда наступает момент, когда машина должна взять управление на себя? Бывают случаи, когда машины способны принять более правильное решение и даже обезопасить нас, но разве это главное? В каких ситуациях вы предпочитаете принимать решения самостоятельно, а когда отдаёте предпочтения ИИ?