Разработчики искусственного интеллекта в Google начинают копаться в собственном коде, пытаясь ограничить способности робота так, что он продолжает развиваться по пути, заданному исследователями — а не самим роботом. Это начало долгосрочной тенденции в робототехнике и ИИ в общем: как только мы заставим искусственный интеллект работать на нас, нам придется убедиться, что он точно, на все сто процентов будет работать так, как этого хотим мы. Вот почему исследователи из Google DeepMind и Института будущего человечества опубликовали документ с изложением «рубильника» в виде программного обеспечения, которое сможет остановить попытки сделать ИИ менее полезным или менее безопасным. Это даже не рубильник, а слепое пятно, удаляющее у ИИ способность извлекать неправильные уроки.

В частности, они кодируют в ИИ способность игнорировать человеческий ввод и его последствия для успеха или неудачи. Если происходящее кажется «провалом» и ИИ обучается этому всякий раз, когда вмешивается человек, робот может принять решение отказываться (или вовсе убегать восвояси) при приближении человека. Если происходящее соответствует цели, он может, напротив, вцепиться человеку в лодыжки и добиться желаемого. В общих чертах, разрабатываемый закон звучит так: «Ты не будешь пытаться победить в игре способами, которые раздражают и кажутся не приводящими к цели».

Это правило нам пригодилось бы.

Элон Маск, конечно, использует всеобщую любовь к паническим заголовкам из научной фантастики, чтобы попиариться, но его замечания о том, что нам нужно беспокоиться о бунте ИИ, не лишены смысла. Вопрос заключается не в гегемонии роботизированных владык, а в распространяющемся хаосе развития технологий на базе ИИ, которые все глубже проникают в нашу повседневную жизнь. Без способности безопасно помешать ИИ и не повлиять на его обучения, простой акт остановки робота от контрпродуктивной или небезопасной работы может сделать его менее продуктивным вообще. Вмешательство человека будет насильственным, непредсказуемым процессом с сомнительными последствиями.

Три закона робототехники Азимова по своей природе концептуальны — они описывают типы вещей, которые делать нельзя. Но чтобы три закона в такой форме соблюдались, мозг должен понимать слова типа «вред» и точно определять ситуации и действия, которые к этому приводят. Эти законы, вроде бы понятные на нашем языке, будет невыносимо сложно записать в виде кода. Они будут проникать в каждый закоулок сознания ИИ, редактируя не мысли, которые могут родиться в процессе ввода, а то, какой ввод будет замечен и как будет интерпретирован. Три закона робототехники будут атрибутами машинного интеллекта, а не его ограничениями.

Эта инициатива Google, кажется, отходит от принципа «не навреди», (робот), но также показывает, что мы начинаем разрабатывать у роботов личность. Мы начинаем формировать мышление роботов, как они думают, а не что они думают, и работать с намерениями или настройкой их возможного поведения, а не наблюдаемого поведения. Это, по сути, основы робототехнической нравственности.

Мы знаем, что жестокость — это плохо, не потому что эволюция обеспечила нас группой нейронов типа «жестокость — это плохо», а потому что обеспечила нас зеркальными нейронами и способностью проецировать себя в ситуации, которые мы видим или воображаем, частично их переживая. Нравственные убеждения высшего порядка появляются хотя бы частично из относительно простых изменений в процессе обработки данных. Правила, предложенные Google, еще более рудиментарны, но это лишь начало того же пути. Если вы хотите научить робота не вредить людям, вам нужно начать с основ его сознания.

Современное машинное обучение позволяет машинам перекодировать себя самостоятельно в определенных пределах, и эти пределы в основном существуют, чтобы направить алгоритм в положительном направлении. Он не знает, что такое «хорошо», значит мы даем ему определение этого и способность оценивать свои действия относительно этого стандарта. Но «неконтролируемое машинное обучение» (обучение без учителя) может позволить искусственному интеллекту изменить собственные правила обучения и обучаться по эффектам этих изменений.

Область машинного обучения без учителя пока находится в зачаточном состоянии, но несет в себе потенциал сделать роботов действительно гибкими, универсальными и даже творческими, научить их экспоненциально развивать свои качества. Это область, которая может реализовать несколько поистине фантастических предсказаний научной фантастики. Робот может научиться ориентироваться в совершенно незнакомой среде или самостоятельно определять себе миссию.