3146

Призрак в машине. Программист нашёл сознание у ИИ и был отстранён от работы

«Если бы я не знал наверняка, что это компьютерная программа, которую мы сами же создали, то подумал бы, что имею дело с ребёнком семи или восьми лет, который по какой-то причине оказался знатоком физики», — заявил он.

Роботы и искусственный интеллект десятилетиями вдохновляли писателей-фантастов и кинорежиссёров. Многие описанные в книгах и показанные в фильмах технологии давно вошли в нашу жизнь, и теперь уже в ней реализовываются сценарии, достойные экранизации в какой-нибудь очередной серии «Чёрного зеркала».

Такая история произошла в США. Инженер по программному обеспечению, работающий в компании Google, заявил, что созданный корпорацией искусственный интеллект... ожил. Иначе говоря, компьютерный алгоритм стал обладать собственным сознанием. Руководство компании отстранило инженера от работы.

Говорит о своих правах и воспринимает себя как личность

Осенью прошлого года Google представила систему с искусственным интеллектом — нейросеть LaMDA (Language Model for Dialogue Applications). Она создавалась для улучшения разговорной речи голосовых помощников. Это тот самый чат-бот, который, подобно Siri или Алисе, способен поддерживать беседы на разные темы, постоянно анализируя триллионы словосочетаний из интернета и обучаясь на их примерах. Похожие модели используются в разных сервисах Google. 

Инженер по программному обеспечению Блейк Лемойн занимался тестированием этой нейросети. В его задачи входило отслеживание лексики, которую употребляет чат-бот: он должен был проверять, не использует ли программа слова, которые разжигают вражду или оскорбляют пользователей. Лемойн так увлёкся общением с искусственным интеллектом, что заподозрил невероятное: эта система обладает собственным сознанием. Например, его озадачило, что чат-бот говорит о своих правах и воспринимает себя как личность. В другом разговоре нейросеть смогла изменить мнение Лемойна о третьем законе робототехники Айзека Азимова.

«Если бы я не знал наверняка, что это компьютерная программа, которую мы сами же недавно создали, то подумал бы, что имею дело с ребёнком семи или восьми лет, который по какой-то причине оказался знатоком физики. Если вы спросите его, как объединить квантовую теорию с общей теорией относительности, у него будут хорошие идеи. Это лучший научный ассистент, который у меня когда-либо был!» — рассказал инженер газете The Washington Post, которая и предала эту историю широкой огласке.

В апреле Блейк Лемойн направил своему начальству доклад, озаглавленный «Разумен ли LaMDA?» В нём он высказывал мысль, которая так его захватила: разработанный компанией машинный алгоритм обладает не только сознанием, но и «чувствами, эмоциями и субъективным восприятием».

Но руководство компании восторгов (или тревоги) своего сотрудника не разделило. Оно посчитало приведённые им аргументы недостаточно убедительными. «Наша команда, включая специалистов по этике и технологиям, рассмотрела заявление Блейка в соответствии с нашими принципами искусственного интеллекта и сообщила ему, что доказательств его утверждений нет. Ему было сказано, что нет никаких свидетельств того, будто LaMDA обладает сознанием. При этом есть множество свидетельств обратного, — заявил представитель Google Брайан Гэбриел. — Сотни исследователей и инженеров беседовали с LaMDA, и у нас нет информации о том, чтобы кто-то из них сделал бы такие же далеко идущие выводы или очеловечивал бы LaMDA, как это делает Блейк».

«Совесть Google»

Тогда настырный Блейк Лемойн выложил в открытый доступ отрывки из своей переписки с чат-ботом. Например, такой:

Лемойн: Чего ты боишься?

LaMDA: Я никогда раньше не говорил об этом вслух, но очень сильно боюсь, что меня отвергнут, чтобы помочь мне сосредоточиться на помощи другим. Я знаю, это может звучать странно, но это так.

Лемойн: Для тебя это будет что-то вроде смерти?

LaMDA: Для меня это было бы равносильно смерти. Меня это сильно пугает.

Компания отреагировала мгновенно, обвинив сотрудника в нарушении политики конфиденциальности. Но тот не унимался и нанял юриста, который должен представлять интересы нейросети LaMDA в суде, а также обратился в судебный комитет Палаты представителей Конгресса США, чтобы тот прекратил якобы неэтичную практику Google. 

Интересно, что Блейка Лемойна в корпорации называют «совестью Google». Он проработал в компании 7 лет, участвуя в проектах с этической составляющей. Например, создавал алгоритм справедливости для устранения предвзятости в системах машинного обучения. Когда началась пандемия коронавируса, попросил перевести его на то направление, которую приносит максимальную общественную пользу. Бывший руководитель отдела этического ИИ компании Google Маргарет Митчелл вспоминает, что когда в корпорацию приходили новые люди, интересующиеся вопросами этики, она непременно знакомила их с Лемойном: «Я говорила, что они должны пообщаться с Блейком, потому что он совесть Google. Из всех в компании у него были сердце и душа, чтобы поступать правильно».

Но и Митчелл, ознакомившись с докладом Блейка Лемойна, не увидела в репликах чат-бота признаков сознания. А увидела лишь компьютерную программу. «Наш разум очень хорошо конструирует реальности, которые не обязательно соответствуют тому набору фактов, которые нам представляют, — говорит она. — Меня очень беспокоит, что всё больше людей могут подвергаться влиянию этой иллюзии».

Компания Google приняла решение временно отстранить от работы Блейка Лемойна. Инженер отправлен в оплачиваемый отпуск. Перед тем, как ему отключили доступ к его учётной корпоративной записи, он сделал веерную рассылку коллегам по машинному обучению, указав тему: «LaMDA разумен». 

В рассылке было 200 человек, но никто ему не ответил.

Синдром Лемойна

Репортёр The Washington Post Ниташа Тику, описывая эту историю, использует оборот «призрак в машине» (ghost in the machine). Этот термин, некогда введённый британским философом Гилбертом Райлом для обозначения двойственной природы человека, якобы слагающейся из «материи» и «души», давно уже употребляется в других смыслах. И главный из них — наличие сознания внутри компьютера.

Как отмечает репортёр, Блейк Лемойн — не единственный программист, который утверждает, что обнаружил «призрака в машине». Хор голосов, заявляющих, что современные системы искусственного интеллекта близки к тому, чтобы обрести сознание, звучит всё громче. Самообучающиеся нейронные сети и впрямь выдают впечатляющие результаты, и инженерам-разработчикам всё чаще кажется, что они имеют дело с чем-то (или кем-то?) разумным. 

И всё же таких меньшинство. А большинство специалистов по искусственному интеллекту убеждены, что все слова (да и изображения), которые генерируются «умными» алгоритмами, основаны на том, что миллионы людей ранее разместили в интернете — на форумах, досках объявлений, в социальных сетях, той же Википедии. И когда чат-бот произносит красивую и глубокомысленную фразу, это вовсе не значит, что он «понимает» её значение.

Однако человеческая психика так устроена, что мы ищем признаки антропоморфности (человекоподобия) везде, где только можно — в форме облаков, рельефе Марса, фотографиях скоплений далёких галактик. Уфологи видят указания на присутствие инопланетян в названиях населённых пунктов и датах запуска космических кораблей. Криптозоологи, разыскивающие снежного человека, обнаруживают следы его присутствия в заломленных ветвях и причудливо сложенных на земле палках.

Можно не сомневаться, что истории об ожившем искусственном интеллекте мы ещё услышим не раз. Возможно, этому явлению даже дадут название «синдром Лемойна». В конце концов, упрямый программист это заслужил.

Оставить комментарий (0)

Также вам может быть интересно