Таков вердикт моделирования развития прорывных технологий.
Все развитые страны стоят перед важным выбором - какая национальная ИИ-стратегия будет для них наиболее успешной:
А) антиморальный эгоизм типа «каждый за себя»: забить на все моральные и гуманистические принципы, не останавливаясь ни перед чем, лишь бы обеспечить себе максимально высокое место в международной конкурентной гонке?
Б) прозорливое высокоморальное международное сотрудничество, наподобие Эры Мирового Воссоединения в «Туманности Андромеды» Ефремова?
Навряд ли, принимая это решение, Трамп, Си Цзиньпин, Путин или Макрон будут полагаться на результаты анализа и моделирования того, куда приведет мир избранный ими путь.
И это очень жаль. Поскольку:
- такая модель уже существует;
- и она демонстрирует страшные результаты.
Что если смоделировать международную гонку в наиболее прорывных технологических направлениях с помощью эволюционной теории игр?
Что если допустить для каждого из участников гонки выбор одной из 3х стратегий: антиморальный эгоизм (см. выше стратегию А), прозорливое высокоморальное сотрудничество (см. выше стратегию Б) или смешанная стратегия А+Б?
Что если поставить целью моделирования не только шансы на выигрыш конкретных стратегий, но и анализ вероятности возникновения в результате международной гонки «большой катастрофы» (называя вещи своими именами, - большой войны)?
Что если запитать такую модель экспертными оценками специалистов и модельным расчетом шансов выигрыша страны в конкурентной борьбе, следуя одной из 3х вышеназванных стратегий?
Все это и было сделано в новом исследовании Modelling the Safety and Surveillance of the AI Race.
https://arxiv.org/abs/1907.12393
1й из 2х главных результатов моделирования интуитивно понятен и без всякого моделирования (что не снижает ценности его подтверждения путем симуляции).
Выигрыш в конкурентной гонке быстродостижимых прорывных технологий обеспечивает стратегия А - антиморальный эгоизм (шансы «большой катастрофы» максимальны).
Выигрыш в конкурентной гонке быстроНЕдостижимых прорывных технологий обеспечивает стратегия Б - прозорливое высокоморальное сотрудничество (шансы «большой катастрофы» минимальны).
2й главный результат совсем не так очевиден.
Чем больше оптимистический прогнозов (не важно, стращалки это или обещалки) приближения исследований к реализации «Сильного ИИ – AGI», тем выше шансы его восприятия лицами принимающими госрешения в качестве быстродостижимой прорывной технологии.
Следствием этого будет:
- приоритет национальных стратегий «каждый за себя» (ИИ-национализм);
- подхлестывание гонки ИИ-вооружений;
- максимизация риска большой войны.
Полученные выводы одинаково справедливы и для 4х других технологий высшего государственного приоритета, названных директором-основателем Центра безопасности и новейших технологий и бывший директором отдела перспективных исследований в области разведки США Джейсоном Матени:
• Биотехнологии
• Малые спутники
• Квантовые компьютеры
• Когнитивные усовершенствования