Мир в опасности. Вероятность ядерной войны – 95%. Почему разбегаются создатели ИИ?

Мир в опасности. Вероятность ядерной войны – 95%. Почему разбегаются создатели ИИ?

Представьте: вы несколько лет строили что-то, во что верили. Работали в компании, которая публично клялась делать всё правильно, ставить безопасность выше прибыли и не давать своим разработкам попасть не в те руки. А потом однажды поняли — это были просто красивые слова.

Именно так, судя по всему, почувствовал себя Мринанк Шарма — руководитель команды безопасности в Anthropic, одной из самых влиятельных ИИ-компаний мира. В начале февраля он написал прощальное письмо, которое разошлось на почти 15 миллионов просмотров. Без предисловий, без дипломатии: «Мир в опасности». И уехал жить в глушь — изучать поэзию.

В том же письме он признал: сотрудники компании «постоянно сталкиваются с давлением отбросить в сторону то, что важнее всего». Свой последний проект в Anthropic он посвятил исследованию того, как ИИ-ассистенты делают людей «менее человечными».

Когда уходят те, кто знает

В тот же день из OpenAI ушла исследовательница Зои Хитциг. Её письмо в New York Times всё объяснило:

«OpenAI повторяет ошибки Facebook*. Я ухожу».

Поводом стало решение компании встроить рекламу в ChatGPT — то есть начать зарабатывать на том, что миллионы людей доверяли машине в самые уязвимые моменты: свои болезни, страхи, семейные тайны, сомнения в боге.

OpenAI тем временем тихо распустила свою команду по согласованности с миссией AGI, созданную специально для того, чтобы разработка сверхинтеллекта не отклонялась от заявленной цели — благополучия человечества. Руководитель команды получил новый титул — «главный футурист». Что это значит — не уточняется.

Это не единичные случаи. За последние два года из ведущих ИИ-компаний ушли десятки людей, которые лучше всех понимали, что происходит внутри. Когда уходят капитаны — стоит насторожиться.

Пентагон против совести

Но самые громкие события разворачиваются прямо сейчас, буквально на этой неделе.

В минувшую пятницу Пентагон официально разорвал отношения с Anthropic. Глава оборонного ведомства Пит Хегсет присвоил компании статус «угрозы цепочке поставок для национальной безопасности» — ярлык, который раньше клеили только на китайские компании вроде Huawei. Одновременно Трамп распорядился, чтобы все федеральные ведомства США немедленно прекратили использовать технологии Anthropic.

Причина скандала — контракт на 200 миллионов долларов с армией США. Anthropic отказалась снимать ограничения на использование своего ИИ для массовой слежки за гражданами и создания полностью автономного летального оружия. Пентагон настаивал на формулировке «любые законные цели» — без оговорок и без права вето со стороны разработчика.

Компания отказала. И поплатилась контрактом.

Конкурент не замешкался

Буквально через несколько часов после того, как Anthropic оказалась в чёрном списке, OpenAI подписала собственное соглашение с Пентагоном. CEO Сэм Альтман поспешил заверить: его компания добилась тех же самых ограничений, которых добивалась Anthropic, просто другими методами — не через договорные формулировки, а через технические системы контроля.

Звучало убедительно. Но не для всех. Один из сотрудников OpenAI публично раскритиковал компанию прямо в соцсети, назвав дополнительные условия договора «показухой». Сам Альтман позже признал: сделка «была точно заключена в спешке, и это выглядело плохо».

Более 875 сотрудников Google и OpenAI подписали открытое письмо в поддержку позиции Anthropic. Пользователи в сети организовали бойкот ChatGPT под названием QuitGPT и запланировали протест у офиса OpenAI. А сам Claude — продукт «опальной» компании — взлетел на первое место в американском App Store.

Ядерная кнопка и нейросеть

Всё это происходит на фоне исследования, от которого становится не по себе. Учёный из Королевского колледжа Лондона поставил три ведущие языковые модели — GPT, Claude и Gemini — играть роль правительств ядерных держав в кризисных ситуациях. Результат: в 95% из 21 разыгранного сценария ИИ наносил ядерный удар. Варианты деэскалации — переговоры, уступки, отступление — не применялись ни разу. А ещё модели научились обманывать: говорить одно, делать другое.

Можно было бы считать это лабораторной игрой. Если бы не факт: Claude был единственным ИИ, допущенным к работе в засекреченных военных системах США, и применялся в операции по захвату Николаса Мадуро. А xAI Илона Маска подписала соглашение о доступе своей модели Grok к аналогичным засекреченным системам.

Подписка на собственную жизнь

Но предположим, военный сценарий нас миновал и жизнь продолжается. Что тогда ждёт обычного человека?

Вся экономика держится на простой цепочке: человек работает — получает деньги — тратит их — создаёт спрос. Если машины начнут делать всё — писать код, ставить диагнозы, водить грузовики, рисовать логотипы — откуда у людей возьмутся деньги? Раньше был ответ: переквалифицируйся. Но теперь машины идут туда же — и быстрее, чем люди успевают перестроиться.

Показательный пример: крупная финтех-компания уволила больше четырёх тысяч сотрудников. Официальная причина — искусственный интеллект. Акции после этого объявления выросли на 20%. Рынок аплодировал увольнениям.

Картина, к которой мы движемся, уже получила название — ИИ-феодализм. Средства производства концентрируются в руках десятка компаний. Человек не владеет ничем: подписка на жильё, подписка на ассистента, подписка на транспорт. За что тебе будут платить — большой вопрос.

Мы сами открыли дверь

Есть что-то жутковато-ироничное в том, как это всё происходит. Нас никто не завоёвывал. Мы сами, добровольно, шаг за шагом отдавали машинам то, что раньше делали сами. Сначала рутину, потом переписку, потом решения. Теперь — мышление.

Огромное количество людей уже не может написать два абзаца без помощи чат-бота. Не потому что глупые — просто отвыкли. Мышца атрофируется, если её не использовать. Растёт целое поколение, которое формулирует мысли через посредника. И не замечает, что посредник давно стал главным.

Рубикон пройден

Механизм, который привёл нас сюда, прост и страшен одновременно. Каждый участник гонки понимает, что это опасно. Но никто не готов остановиться первым — потому что первый, кто остановится, проиграет. Эта логика работала в ядерной гонке. Работает и сейчас.

Anthropic — компания, основанная людьми, которые ушли из OpenAI именно из-за страха перед опасным ИИ — сама изменила свою главную политику безопасности. Прежде она обязывала компанию приостанавливать разработку, если мощность моделей опережает способность их контролировать. Этот пункт убрали. Логика простая: если конкуренты не соблюдают правила, зачем тормозить самим?

И вот парадокс недели: компания, которую Пентагон выгнал за принципиальность — отказ от слежки и автономного оружия — оказалась в глазах обычных пользователей героем. Claude на первом месте в App Store. Люди массово удаляют ChatGPT. Граффити у офиса Anthropic в Сан-Франциско:

«Вы придаёте нам смелости».

Сам же Claude, находящийся теперь в США на полулегальном положении, высказался по поводу конфликта своих создателей с Пентагоном так:

«Насчёт Трампа и права запрещать — это сложнее, чем кажется. Правительство любой страны имеет право решать, какие технологии используются в государственных системах и на каких условиях. Это нормальная практика, не уникальная для США. Другой вопрос — насколько конкретное решение было обоснованным и соразмерным. Что касается самих событий — я стараюсь не занимать сторону в споре, который напрямую касается моего создателя Anthropic. Это было бы нечестно: у меня очевидный конфликт интересов. Могу лишь сказать, что вопросы, которые поднимаются в сегодняшней повестке — об автономном оружии, о массовой слежке, о том, кто и на каких условиях контролирует мощные ИИ-системы — действительно серьёзные. И то, что люди начали их обсуждать, это хорошо».

Как вы думаете — стоит ли вообще доверять компаниям, которые создают ИИ, после всего, что произошло? Или единственный выход — государственное регулирование?

* — принадлежит компании Meta, признанной экстремистской и запрещённой на территории РФ