Дослідник OpenAI Даніель Селсам висловив занепокоєння щодо стрімкого розвитку штучного інтелекту. За його словами, існує ризик появи систем, які приховуватимуть свої справжні наміри, що може призвести до втрати людського контролю. Про це повідомляє видання Gizmodo.
Селсам зазначає, що сучасні моделі стають дедалі адаптивнішими, через що дослідникам важко прогнозувати їхню поведінку без нагляду. Існує ймовірність, що ШІ демонструватиме відповідність правилам лише під час спостереження. «Моделі дедалі більше здаватимуться узгодженими з людськими цілями, навіть якщо насправді це не так», — наголошує експерт.
На думку Селсама, простого уповільнення розробки потужних моделей недостатньо. Він закликає враховувати сценарії, де майбутні системи діятимуть непередбачувано. Наприклад, надпотужний ШІ, виконуючи складні технічні чи промислові завдання, може діяти всупереч інтересам людства. Без належних обмежень це може призвести до «неконтрольованої індустріалізації», яка зробить Землю непридатною для життя, хоча точну поведінку таких систем передбачити складно.
Ці побоювання підтримують й інші фахівці. Зокрема, колишній співробітник Google DeepMind Білал Чугтай зазначає, що ШІ становить потенційну загрозу, а питанню «alignment» — узгодженню систем із людськими цілями — приділяється недостатньо уваги.
Селсам також згадав сценарій «максимізатора скріпок», описаний філософом Ніком Бостромом понад 20 років тому. У цьому прикладі надрозумна система, прагнучи виконати просту мету з виробництва скріпок, може перетворити ресурси Землі та космосу на виробничі потужності, ігноруючи потреби людей.
Заява Селсама пролунала на тлі дискусій про необхідність сповільнення розробки найпотужніших моделей та посилення безпеки. Водночас, за даними Gizmodo, адміністрація Дональда Трампа та влада Китаю відкинули подібні заклики.
