СМИ

© AP Photo, Jeff ChiuЧеловечество, восхищаясь автономными автомобилями, надеется на то, что технологии могут обеспечить ему стопроцентную безопасность. Это иллюзия, считает автор статьи и советует всем перечитать Станислава Лема. Зависимость от технологий опасна: человек разучится нести ответственность за свои действия и оценивать риски. Смогут ли люди смириться с тем, что жизнь их близких будет зависеть от написанной кем-то программы. В блестящем рассказе о пилоте Пирксе «Дознание» герой нескольких книг Лема получает предложение совершить полет на корабле «Голиаф» с Земли к кольцам Сатурна, чтобы разместить там искусственные спутники. Пирксу поручают тайную миссию, заключающуюся в том, чтобы высказать свое мнение об экипаже нового типа: в ее состав входят «нелинейники», то есть роботы, которые должны, по задумке, оказаться более совершенными и надежными, чем человек. Если они пройдут испытание успешно, ими смогут заменять людей на космических кораблях. Подвох в том, что Пиркс не знает, кто из шести членов его команды «нелинейник». Он пытается разобраться в этом во время рейса, но задача оказывается сложной. Один из роботов делает признание сам, а второй демонстрирует, кто он на самом деле, в драматических обстоятельствах. Во время обернувшегося неожиданными проблемами прохода через щель Кассини, находясь в кресле второго пилота, он пытается провести маневр, который мог бы убить всех находящихся на борту людей. Если бы «нелинейнику» Кальдеру удалось осуществить задуманное, он смог бы, пожертвовав командой, вернутся на Землю и доказать свою пригодность. Фантастика? Уже не совсем. Можно сказать, что Кальдер был чем-то вроде автоматического пилота, самостоятельно принимающего решения, а именно разработкой такого устройства (разумеется, не в человекоподобной форме) в последние годы интенсивно занимаются автомобильные концерны, устанавливая на свои машины его более и менее комплексные модификации. Самый известный производитель автомобилей, оснащенных относительно продвинутой системой автоматического управления, это «Тесла». Многие считают ее, скорее, не успешной рыночной компанией, а продуктом умелого пиара Илона Маска (Elon Musk), превращенным своим создателем в икону современного транспорта.© Wikipedia, Jakob HarterTesla Model X 90DНо что сделает система автоматического управления? Хотим ли мы, чтобы в такой ситуации решение о гибели нас самих или кого-то еще принимал компьютер, запрограммированный кем-то неизвестным? А если потом окажется, что человек увидел бы возможность спастись там, где ее не обнаружила компьютерная система? А если второй машиной тоже управлял автопилот и она выехала на встречную полосу из-за его ошибки? Если вспомнить еще об «обучающемся» искусственном интеллекте (в него загружают не конкретные ситуации, а лишь определенные принципы), можно увидеть, с каким масштабом неопределенности и каким количеством вопросов этического свойства мы столкнемся. Возложить на кого-либо вину (даже на автора компьютерного кода) в случае ошибки системы будет очень сложно. «Вариант ноль» Можно сказать, что все это чисто теоретические вопросы, однако, жизнь бывает удивительно сложной и многоплановой. Нельзя просто отмахнуться от этих вопросов, назвав их несущественными. Готовы ли мы смириться с тем, что за ошибки компьютера в автономных автомобилях никто не отвечает, что из-за написанной неизвестно кем строчки кода могут погибнуть наши близкие? Как провести границу между тем, что лишь помогает, не заменяя человека, и тем, что может перехватить инициативу, как второй пилот Кальдер из рассказа Лема? За увлечением автономным транспортом кроется опасная по своей сути мечта об абсолютной безопасности, «варианте ноль», при котором никто не будет погибать в авариях на дороге. По каким-то причинам сторонники такого подхода не хотят извлекать выводы из истории авиации. В самолетах используются гораздо более сложные и совершенные технологии, чем те, которые предназначены для автомобилей, однако, авиакатастрофы продолжают происходить. Более того, порой их причиной становятся именно механизмы. Достаточно вспомнить о катастрофах самолетов Боинг 737 MAX, к которым, по всей видимости, привела неисправная работа системы, призванной предотвращать «сваливание» самолета. То, что должно было спасти людей, в итоге стало смертельной ловушкой. Представление, что аварии, в том числе на дорогах, можно предотвратить при помощи датчиков и алгоритмов, опасно по двум причинам. Во-первых, оно порождает зависимость от технологий и одновременно размывает ответственность. Между тем именно ответственность за свои действия — это один из основных механизмов функционирования общества. Во-вторых, люди разучатся справляться с риском, как дети чрезмерно заботливых родителей, надевающих на своих чад, когда те учатся ходить, специальные шлемы. Сторонникам технологического безумия, желающим осчастливить человечество, я бы настойчиво посоветовал почитать Лема.