Большое письмо с требованием приостановки разработки ИИ — это любопытный пример смешения вполне обоснованных опасений и безумной луддистской паранойи. С одной стороны понятно, что новая технология потенциальна опасна, в частности, в связи с возможностями создания фейков. В этом смысле разработка систем адекватного контроля за ее использованием является необходимостью. И если для этого необходимо замедлить или даже временно приостановить развитие — ничего катастрофичного, тише едешь — дальше будешь.
Однако с другой стороны к этому подмешивается очевидная и довольно гадкая манипуляция и игра на общественных предрассудках. («Должны ли мы развивать нечеловеческие разумы, которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией?» и т.д.) Даже если бы речь действительно шла о создании настоящего искусственного интеллекта, то, имхо, это был бы хороший вопрос — а для чего вы, собственно, нужны, если вас может полностью заменить машина? И должны ли тогда тупицы вроде вас вообще удерживать "контроль над цивилизацией"? Но об этом же речи и близко нет: "Искусственный интеллект" — это просто коммерческое название для систем, способных брать на себя решение "интеллектуальных" задач. Эти системы конструктивно устроены иначе, чем человеческий мозг, у них нет ни собственной воли, ни сознания, ни агрессии. Это просто сложные машины, которые работают в соответствии со своей конструкцией (разумеется, любая достаточно сложная машина способна в определенных условиях начать вести себя непредсказуемо, в случае такой мощной технологии без необходимого контроля такие незапланированные создателями сбои могут быть фатальны, но в этом нет ничего нового — и ядерные реакторы взрываются). В этом смысле проблема не в умной технологии, а в том, что она находится в руках недостаточно умных людей. Тут, к слову, возникает наиважнейший вопрос о демократическом общественном контроле за IT-шными гигантами типа гугла, эпла и мета. Их неподконтрольность на сегодняшний день является гораздо большей проблемой и угрозой, чем развитие любого ИИ само по себе.
https://futureoflife.org/open-letter/pause-giant-ai-experiments/