Oleg А. Chagin (olegchagin) wrote,
Oleg А. Chagin
olegchagin

Categories:

Оптимизм в перспективах сильного ИИ ведет к большой войне

Таков вердикт моделирования развития прорывных технологий.

Все развитые страны стоят перед важным выбором - какая национальная ИИ-стратегия будет для них наиболее успешной:

А) антиморальный эгоизм типа «каждый за себя»: забить на все моральные и гуманистические принципы, не останавливаясь ни перед чем, лишь бы обеспечить себе максимально высокое место в международной конкурентной гонке?

Б) прозорливое высокоморальное международное сотрудничество, наподобие Эры Мирового Воссоединения в «Туманности Андромеды» Ефремова?

Навряд ли, принимая это решение, Трамп, Си Цзиньпин, Путин или Макрон будут полагаться на результаты анализа и моделирования того, куда приведет мир избранный ими путь.

И это очень жаль. Поскольку:

- такая модель уже существует;

- и она демонстрирует страшные результаты.

Что если смоделировать международную гонку в наиболее прорывных технологических направлениях с помощью эволюционной теории игр?

Что если допустить для каждого из участников гонки выбор одной из 3х стратегий: антиморальный эгоизм (см. выше стратегию А), прозорливое высокоморальное сотрудничество (см. выше стратегию Б) или смешанная стратегия А+Б?

Что если поставить целью моделирования не только шансы на выигрыш конкретных стратегий, но и анализ вероятности возникновения в результате международной гонки «большой катастрофы» (называя вещи своими именами, - большой войны)?

Что если запитать такую модель экспертными оценками специалистов и модельным расчетом шансов выигрыша страны в конкурентной борьбе, следуя одной из 3х вышеназванных стратегий?

Все это и было сделано в новом исследовании Modelling the Safety and Surveillance of the AI Race.

https://arxiv.org/abs/1907.12393

1й из 2х главных результатов моделирования интуитивно понятен и без всякого моделирования (что не снижает ценности его подтверждения путем симуляции).

Выигрыш в конкурентной гонке быстродостижимых прорывных технологий обеспечивает стратегия А - антиморальный эгоизм (шансы «большой катастрофы» максимальны).

Выигрыш в конкурентной гонке быстроНЕдостижимых прорывных технологий обеспечивает стратегия Б - прозорливое высокоморальное сотрудничество (шансы «большой катастрофы» минимальны).

2й главный результат совсем не так очевиден.

Чем больше оптимистический прогнозов (не важно, стращалки это или обещалки) приближения исследований к реализации «Сильного ИИ – AGI», тем выше шансы его восприятия лицами принимающими госрешения в качестве быстродостижимой прорывной технологии.

Следствием этого будет:

- приоритет национальных стратегий «каждый за себя» (ИИ-национализм);

- подхлестывание гонки ИИ-вооружений;

- максимизация риска большой войны.

Полученные выводы одинаково справедливы и для 4х других технологий высшего государственного приоритета, названных директором-основателем Центра безопасности и новейших технологий и бывший директором отдела перспективных исследований в области разведки США Джейсоном Матени:

• Биотехнологии

• Малые спутники

• Квантовые компьютеры

• Когнитивные усовершенствования

Subscribe
Comments for this post were disabled by the author