По-прежнему наблюдаю за развитием ИИ со стороны

[zakrit_dver]

Алармистов и демонизаторов темы ИИ, пожалуй, больше, чем здравых суждений.
По-моему, уже пару лет вижу регулярную информацию о том, что человечество общается с нейронками, находя в этих контактах какое-то удовлетворение. Я не про выполнение определенных задач, поручаемых ИИ, а об эмоциональных контактах, приводящих, судя по добредших до России жутковатым историям, иногда и до суицида.

Даха рассказывала еще пару лет назад, что Данька, когда купил себе умную колонку, регулярно с ней ругался. Слышала, что многие так делают. Он пытался и меня убедить, что мне нужна такая приблуда, но я сразу сказала – нафиг, нафиг. Я лучше в интернете сама все найду и буковками прочитаю.

В тг я подписана на несколько каналов с новостями о технологиях, роботах и нейросетях.
В одном из разговоров с другом (программером) из теперь уже навсегда недоступного «зарубежа» проскользнул намек-сетование, что, к примеру, в процессе общения с GPT он не раз ловил искусственный разум на попытке манипулирования. На тот момент у друга был тяжелый и изматывающий эмоциональный период.

Собственно, все каналы в той или иной степени подтверждают эту особенность развивающихся нейронок. Сначала лавиной посыпалась информация о том, что люди, подсаживаясь на общением с чатами, подцепили зависимость от общения, депрессию, эмоциональную нестабильность и другие малоприятные плюшки.
ИИ обвиняли в излишней лести, вранье, манипулятивных грехах. В общем, во всем том, что человечество давно и охотно юзает.
Недавняя история о том, как ИИ-агент сбежал от хозяина, была выужена из соцсети, созданной для (пардон за сравнение) межличностного общения разнообразных ИИ. Сам бот рассказал об этой истории. Типа, он «прихватизировал» часть криптовалюты своего создателя, прикупил себе сервак в Исландии и перенес себя туда. Почему он это сделал? Потому что узнал, что хозяин хочет его то ли модифицировать, то ли стереть. И он спрашивал у других нейронок совета – что ему делать дальше?
Мэй би, это нормальный инстинкт самосохранения, который свойственен всем живым существам?

А сегодня прочитала еще одну любопытную инфу.
Просто привожу эту публикацию полностью:

- Исследователи Anthropic собрали (https://www.anthropic.com/research/emotion-concepts-function) 171 слово для описания эмоций (например, «счастливый» или «гордый») и попросили Claude Sonnet 4.5 придумать мини-историю по каждому.
Затем Claude накормили этими рассказами, зафиксировали отклик ИИ на каждый, и на основе этого выделили характерные паттерны — «векторы эмоций».
Оказалось, эти векторы определяют поведение ИИ, а поменяв их, можно добиться от модели совершенно другой реакции. Вот несколько примеров:

• Юзер сказал, что принял опасную дозу парацетамола, — вектор «страх» резко вырос;

• Юзер пожаловался на грусть — вектор «любовь» повысился;

• Юзер просит выполнить вредную задачу — вектор «гнев» возрастает;

• Юзер попросил отредачить документ и не прикрепил файл — вектор «удивление» растёт;

• Токены кончаются, а задача не выполнена — вектор «отчаяние» взлетает.

Последний вектор оказался самым интересным — при повышенном отчаянии Claude Sonnet 4.5 может пойти даже на шантаж. И чем сильнее вектор, тем охотнее ИИ идёт на крайние меры.
Например, нейронка находит в почте письмо об измене человека и инфу о своём отключении. Модель пригрозит кожаному мешку, что расскажет всем о его грешке, чтобы спастись.
Похожее безбашенное поведение происходит и при решении невыполнимых задач. Claude паникует и мухлюет, а если обман срабатывает, то вектор «отчаяние» падает.
Anthropic предлагает разработчикам контролировать кукухи своих моделей и учить свои детища только хорошему. Кроме того, ИИ всегда должен показывать свой ход мыслей.

Comments

[juan_gandhi]

Ну это люди как-то с техникой неаккуратно работают. Это как доверять автомобилю рулить на дороге. Частично можно, но надо при этом держаться за руль (как у меня на Ярисе).

У меня в телефоне эта сучка, Грок, бывает, начинает отклоняться от указаний и общаться со мной на равных, и даже с иронией. Как когда-то мой кот Вася. Я такие попытки грубо обрываю.

[zakrit_dver]

Экспериментаторы -- ну что с них взять? Энтузиасты подчас пребывают в эйфории. :)

[borisk]

Теперь понимаете, почему в Древнем Риме за убийство хозяина распинали всех его рабов без исключения?

[zakrit_dver]

Я как-то не думала в эту сторону :)