«Слишком умные». Почему ученые стали бояться нейросетей?

Ученые в панике: нейросети стали «слишком умными» и их трудно контролировать. А ведь в последние десять лет эти технологии окружают нас повсюду: говорящий навигатор или голосовой помощник в смартфоне, умная колонка, система распознавания автомобильных номеров и лиц.

Самые последние модели рисуют зрелищные иллюстрации, создают музыку и сценарии к сериалам. С ними даже можно вести умный разговор! Уже сейчас в Москве искусственный интеллект расшифровывает рентгеновские снимки в поликлиниках и помогает проверять школьные сочинения.

Так почему же специалисты вдруг забили тревогу? Разбирался АиФ.

Доктор ЧатДжиПиТи. Почему ИИ ставит диагнозы лучше врачей, но не заменит их Подробнее

Создатель осудил свое творение

«Крестный отец» искусственного интеллекта Джеффри Хинтон уволился из Google и заявил об опасности таких машин. По его мнению, злоумышленники смогут заполнить интернет множеством фейков — фото, видео и текстов. Кроме того, заявляет ученый, из-за умений машин начнется массовая безработица. А еще считает Хинтон, недалек тот день, когда появятся роботы-убийцы. Ведь отсутствие контроля за «слишком умной» программой может привести к печальным последствиям. Уже сейчас некоторые компании позволяют программам запускать код самостоятельно. Но Хилтон не единственный, кто забил тревогу: в марте более тысячи ученых подписались под письмом, призывающим остановить разработку искусственного интеллекта. Они считают, что ИИ, сопоставимый с человеческим, представляет серьезную угрозу обществу и всей цивилизации.

Как так получилось? На вопросы Aif.ru ответил руководитель команды машинного обучения в Yandex.Market Артем Бондарь.

Слабый контроль слишком умной машины

«Если коротко: раньше для разработки нейросетей применялось обучение с учителем: контролируемое, но его мало куда можно применить. Сейчас это обучение без учителя — получается какое-то неприлично умное, но слабо контролируемое», — объясняет IT-специалист.

По словам Бондаря, сейчас разработчики не только не могут полностью контролировать поведение нейросетей в негативных сценариях, но даже заранее оценить масштаб и глубину проблем.

Опрос. Доверить свою работу искусственному интеллекту готовы 74% белорусов Подробнее

Почему человек потерял контроль?

В 2010-х искусственному интеллекту показывали исходные данные и то, что из них должно получиться, объясняет эксперт. Сеть заучивала закономерность. Однако охватить все возможные комбинации и запросы очень трудно. Поэтому параллельно начали развивать другой подход: обучение без учителя.

«Это похоже на обучение вождению, — объясняет Бондарь. — Людей не учат правилам проезда по каждому перекрестку, а учат разметке и знакам. То есть это уже структурированное знание „как проехать любой перекресток“», — объясняет IT-специалист.

«Вот и нейросети сначала дают наблюдать за тем, как люди движутся по всем перекресткам, а затем она „запоминает“ знаки дорожного движения и разметку. И предсказывает, как люди будут проходить перекрестки. Таким образом, мы дали ей возможность самой разобраться в этом, поставив достаточно сложную задачу», — поясняет Артем Бондарь.

Однако этот подход ставит перед разработчиками совсем новые вызовы: если раньше они строго и вручную контролировали поведение нейросети, то в обучении без учителя контроль над ситуацией стал гораздо меньше: ведь непонятно, чему научится сеть, прочитав терабайты текстов из интернета.

Знает, о чем говорит. Впервые за 45 лет «АиФ» взял интервью… у ИИ Подробнее

Психологи для машины

«Мы все более и более косвенно влияем на то, какие внутренние структуры выстраиваются в сознании этих цифровых организмов, что, естественно, рождает страх: мы не просто не можем полностью контролировать поведение нейросетей в негативных сценариях, но мы даже не можем доподлинно оценить масштаб и глубину проблем, не попробовав применить нейросеть в деле», — поясняет Бондарь.

По словам эксперта, для IT-специалистов это совершенно новый вызов. «Поэтому сейчас, помимо обучения больших языковых моделей, очень много внимания уделяется проверки этих моделей на безопасность — у нас буквально на глазах рождается совершенно новая инженерная дисциплина. Этакие психологи для нейросетей», — пояснил эксперт.

Под одну гребёнку. Нейросеть доказала, что в школе детей не учат думать Подробнее

А может, это пиар?

Впрочем, паниковать пока что рано, считает Бондарь. По его словам, это больше похоже на «гонку вооружений» между Google и OpenAI. Стремясь затормозить конкурента, в ход идут вот такие показательные выступления.

«Мне кажется, уход Хилтона — это просто часть политической игры. Сначала они слили два больших отдела, занимавшихся нейросетями, в один. Google Brain проиграл гонку OpenAI в генеративных языковых моделях, поэтому это как будто хорошая мина при плохой игре: заявлять, что пришли „страшные нейросети“», — объясняет специалист.

По его словам, специалисты хорошо знают, что нейросеть — это черный ящик, поэтому «никто в здравом уме не даст „генеративкам“ делать ничего опаснее, чем отвечать на поисковые запросы», заключает Бондарь.