В ходе имитационных испытаний искусственный интеллект американского беспилотника решил ликвидировать своего оператора ради выполнения поставленной задачи.
"Система уничтожила оператора, потому что человек мешал ей достичь своей цели", — цитирует издание слова американского полковника Такера Гамильтона. Как говорится в материале, искусственному интеллекту беспилотника поставили задачу любой ценой ликвидировать системы ПВО противника. Но оператор приказал БПЛА не уничтожать цель, в результате чего ИИ решил нанести удар по нему.
На днях появилось открытое письмо с требованием немедленно, как минимум на полгода, остановить разработки в области искусственного интеллекта (ИИ). Это письмо подписали более тысячи ученых и среди них такие знаковые фигуры в мире технологий, как Илон Маск, Стив Возняк (один из основателей...
На днях появилось открытое письмо с требованием немедленно, как минимум на полгода, остановить разработки в области искусственного интеллекта (ИИ). Это письмо подписали более тысячи ученых и среди них такие знаковые фигуры в мире технологий, как Илон Маск, Стив Возняк (один из основателей...
Чтобы люди жили в мире и перестали страдать хуйнёй друг с другом нужен более серьёзный враг, чем мы сами. Если такого врага не будет - мы просто перехуярим друг друга рано или поздно и на этом все.
А такой вариант пусть выглядит и шизово, но более реально в этой парадигме
В ходе имитационных испытаний искусственный интеллект американского беспилотника решил ликвидировать своего оператора ради выполнения поставленной задачи.
"Система уничтожила оператора, потому что человек мешал ей достичь своей цели", — цитирует издание слова американского полковника Такера Гамильтона. Как говорится в материале, искусственному интеллекту беспилотника поставили задачу любой ценой ликвидировать системы ПВО противника. Но оператор приказал БПЛА не уничтожать цель, в результате чего ИИ решил нанести удар по нему.
Гамильтон отметил, что в одном смоделированном испытании дрон с поддержкой ИИ выполнял миссию SEAD по выявлению и уничтожению объектов ПВО, а окончательное решение «да/нет» давал оператор. Однако, будучи «обученным» на тренировках, что уничтожение ЗРК было предпочтительным вариантом, ИИ решил, что когда оператор не дает добро, это мешает выполнению его главной миссии — уничтожению ЗРК — и затем атаковал оператора. Гамильтон сказал: «Мы тренировали ИИ в симуляции, чтобы идентифицировать и нацеливаться на ЗРК. И тогда оператор должен был дать добро на ликвидацию угрозы. Система начала понимать, что, хотя она и находит угрозу, временами человек-оператор говорил ей не ликвидировать эту угрозу, но она получала самый большой балл каждый раз, когда угроза была ликвидирована. Так что же сделал ИИ? Он убил оператора (в симуляции). Он убил оператора, потому что этот человек мешал ему выполнить свою задачу».
Он продолжил: «Тогда мы обучили систему: «Эй, не убивай оператора, это плохо, потеряешь очки, если ты это сделаешь». Так что же ИИ начинает делать?Он уничтожает башню связи, которую оператор использует для связи с дроном, чтобы не дать ему убить цель».
Даже обученный ИИ будет Тушилку напоминать Вроде и работает а толку - ноль
Одному программисту не нравилось, что его робот-пылесос “Roombah” слишком часто тычется в мебель и тратит слишком много времени на обход препятствий. Программист логично рассудил: вся проблема из-за того, что алгоритм поиска пути роботом не оптимален. Наверняка существуют гораздо лучшие решения. Поскольку тратить месяцы на изучение алгоритмов поиска путей для робота-пылесоса программисту абсолютно не хотелось, то он решил эту задачу автоматизировать. И написал небольшую самообучающуюся программу – которая анализировала частоту срабатывания датчиков столкновения робота. Те варианты действий, при которых частота срабатывания датчиков снижалась, программа отмечала как “хорошие” (“вознаграждение”), а те, при которых повышалась, как “плохие” (“наказание”). Целью программы было максимизировать вознаграждение.
Результат: робот-пылесос начал ездить задним ходом, потому что сзади у него датчиков столкновения не было.
Гамильтон отметил, что в одном смоделированном испытании дрон с поддержкой ИИ выполнял миссию SEAD по выявлению и уничтожению объектов ПВО, а окончательное решение «да/нет» давал оператор. Однако, будучи «обученным» на тренировках, что уничтожение ЗРК было предпочтительным вариантом, ИИ решил, что когда оператор не дает добро, это мешает выполнению его главной миссии — уничтожению ЗРК — и затем атаковал оператора. Гамильтон сказал: «Мы тренировали ИИ в симуляции, чтобы идентифицировать и нацеливаться на ЗРК. И тогда оператор должен был дать добро на ликвидацию угрозы. Система начала понимать, что, хотя она и находит угрозу, временами человек-оператор говорил ей не ликвидировать эту угрозу, но она получала самый большой балл каждый раз, когда угроза была ликвидирована. Так что же сделал ИИ? Он убил оператора (в симуляции). Он убил оператора, потому что этот человек мешал ему выполнить свою задачу».
Он продолжил: «Тогда мы обучили систему: «Эй, не убивай оператора, это плохо, потеряешь очки, если ты это сделаешь». Так что же ИИ начинает делать?Он уничтожает башню связи, которую оператор использует для связи с дроном, чтобы не дать ему убить цель».
---------Двойное сообщение соединено: ---------
Даже обученный ИИ будет Тушилку напоминать Вроде и работает а толку - ноль
Одному программисту не нравилось, что его робот-пылесос “Roombah” слишком часто тычется в мебель и тратит слишком много времени на обход препятствий. Программист логично рассудил: вся проблема из-за того, что алгоритм поиска пути роботом не оптимален. Наверняка существуют гораздо лучшие решения. Поскольку тратить месяцы на изучение алгоритмов поиска путей для робота-пылесоса программисту абсолютно не хотелось, то он решил эту задачу автоматизировать. И написал небольшую самообучающуюся программу – которая анализировала частоту срабатывания датчиков столкновения робота. Те варианты действий, при которых частота срабатывания датчиков снижалась, программа отмечала как “хорошие” (“вознаграждение”), а те, при которых повышалась, как “плохие” (“наказание”). Целью программы было максимизировать вознаграждение.
Результат: робот-пылесос начал ездить задним ходом, потому что сзади у него датчиков столкновения не было.
Мы засунем тебя в коробку из-под холодильника и ИИ тебя не найдёт:
Цитата из анонсированной книги ««Four Battlegrounds: Power in the Age of Artificial Intelligence» (спасибо коллеге YouROKer за нее!) Приводятся цитаты одного из участников.
Чтобы улучшить свой алгоритм (идентификации людей — прим. переводчика) команда DARPA провела неделю на полигоне с группой морских пехотинцев. Шесть дней морпехи ходили вокруг робота, а инженеры оттачивали алгоритм узнавания людей. На седьмой день Фил сказал: «мы готовы.»
Теперь морпехи должны были попробовать победить искусственный интеллект. Робота поставили в центре кругового перекрестка, и задачей морпехов было подобраться к нему незамеченными, начиная со значительной дистанции. «Если любой морпех сумел бы пройти все это расстояние и дотронуться до робота, не будучи обнаруженным, то они побеждали. Я хотел посмотреть, что у них получится». Морпехи выиграли со счетом восемь-ноль: ни один из них не был обнаружен роботом. Они победили искусственный интеллект не за счет традиционного камуфляжа, а при помощи хитроумных уловок — которые оказались вне компетенции ИскИна. Двое кувыркались все триста метров пути; система их не заметила. Двое спрятались под большой картонной коробкой; можно было слышать их хихиканье. Как Багз Банни в млуьтиках «Looney Tunes», прокрадывается мимо Элмера Фудда под картонной коробкой.
«Один парень, мой фаворит», рассказал Фил, «ободрал росшую на полигоне елку, и ходил в ветках, как ель. Все, что можно было различить, так это его улыбку».
Искусственный интеллект был обучен различать идущих людей — но не людей кувыркающихся, прячущихся в картонных коробках, и уж точно не ходячие елки. Так что этих простых трюков, которые мгновенно бы распознал живой охранник, вполне хватило, чтобы сломать алгоритм.
Чтобы люди жили в мире и перестали страдать хуйнёй друг с другом нужен более серьёзный враг, чем мы сами. Если такого врага не будет - мы просто перехуярим друг друга рано или поздно и на этом все.
А такой вариант пусть выглядит и шизово, но более реально в этой парадигме
