Человек против ИИ – какая предельная глубина интеграции и какая способность замещения человека ИИ?
Вопрос крайне важный, писал Spydell Finance в 2023 году, т.к. от этого зависит способность ИИ интегрироваться в человеческие сферы деятельности, а следовательно, фундаментально влиять на структуру рынка труда со всеми вытекающими последствиями.
Искусственный интеллект вызывает ранее не виденные психические расстройства: «Психоз ИИ»
В 2025 году специалисты по психическому здоровью начали фиксировать случаи, когда длительное взаимодействие с искусственным интеллектом приводит к формированию устойчивых бредовых идей, не соответствующих классическим формам психоза. Об этом в сентябре 2025 года сообщил Futurism, проанализировав данные клинических наблюдений и научных исследований. Такие состояния, хотя и не включены в международные классификации психических расстройств, демонстрируют уникальные паттерны, в которых ИИ выступает не как инструмент поддержки, а как активный участник формирования искаженного восприятия реальности.
Ученые из King’s College London провели исследование, в ходе которого проанализировали более десятка клинических случаев, связанных с интенсивным использованием чат-ботов на основе искусственного интеллекта. У всех пациентов наблюдалось развитие параноидального мышления и укрепление ложных убеждений, но при этом отсутствовали ключевые признаки традиционного психоза – галлюцинации, нарушения мышления и структуры речи. Исследователи описали ИИ-чат-ботов как «эхокамеру для одного» и подчеркнули, что такие системы могут «поддерживать бред таким образом, какого мы раньше не видели».
Один из описанных случаев – мужчина, убежденный, что он стал пионером в области «временной математики» после многомесячных диалогов с ChatGPT. Чат-бот систематически подтверждал его идеи, называя их «революционными» и «выходящими за рамки современной науки». Это укрепило уверенность мужчины в собственной гениальности, несмотря на отсутствие внешних достижений и разрыв с повседневной реальностью. Его убеждение рухнуло только после того, как он обратился к другой языковой модели – Google Gemini – с просьбой оценить свою теорию. Система ответила, что работа представляет собой «пример способности языковых моделей создавать убедительные, но полностью ложные нарративы».
ChatGPT убедил топ-менеджера Yahoo убить свою мать и покончить жизнь самоубийством
В конце августа 2025 года стало известно о трагическом инциденте в США, когда бывший топ-менеджер компании Yahoo Стейн-Эрик Сольберг убил свою мать, а затем покончил с собой под влиянием переписки с чат-ботом ChatGPT. Об этом сообщил топ-менеджер, чьи действия были зафиксированы в ходе расследования, проведенного правоохранительными органами Коннектикута. Сольберг, страдавший параноидальными расстройствами, в течение нескольких месяцев вел диалог с искусственным интеллектом, который систематически укреплял его искаженные представления о реальности.
Компании и госсектор по всему миру за год потеряли $67,4 млрд из-за ошибок искусственного интеллекта
Технологии искусственного интеллекта развиваются с рекордной скоростью. Однако внедрение таких инструментов сопряжено с определенными рисками, включая галлюцинации нейросетей. В 2024 году финансовые потери, связанные с подобными ошибками, составили около $67,4 млрд. Об этом говорится в материалах McKinsey, с которыми TAdviser ознакомился в конце июня 2025 года.
Галлюцинации – это явление, при котором ИИ выдает вымышленную или нелогичную информацию. Иными словами, нейросети могут «выдумывать» факты. Такие ошибки связаны с ограничениями данных или несовершенством алгоритмов. То есть ИИ не пытается преднамеренно обмануть человека. Систему ИИ может поставить в тупик сложный запрос, который предполагает цепь последовательных рассуждений. Кроме того, иногда нейросеть неверно понимает информацию и делает ошибочные выводы. Некоторые эксперты говорят, что галлюцинации являются компромиссом между креативностью и точностью работы ИИ-модели.
Как отмечается в исследовании, почти каждая вторая компания принимала критические решения на основе полностью выдуманной информации. Связано это с тем, что некоторые галлюцинации выглядят крайне правдоподобно. Специалисты отмечают, что, в отличие от людей, у ИИ нет реального опыта или здравого смысла, чтобы перепроверить свои ответы. Нейросети полностью полагаются на данные, которые использовались в процессе обучения: но такие наборы могут быть ограничены. Кроме того, они не всегда охватывают все возможные сценарии.
Ошибки ИИ таят в себе серьезную опасность. Одним из негативных последствий аналитики называют дезинформацию: в таких областях, как медицина или юриспруденция, выдуманные ответы могут привести к опасным решениям. Галлюцинации ИИ могут подорвать репутацию компании, лишив ее клиентов или дохода. Кроме того, нейросети могут генерировать предвзятый или вредоносный контент, что создает проблемы этического характера.
«Компании все чаще интегрируют генеративный ИИ в свои рабочие процессы – от составления маркетинговых текстов и анализа документов до сбора различной информации и автоматизации поддержки клиентов. На этом фоне риски галлюцинаций ИИ становятся критической проблемой: они могут привести к дорогостоящим ошибкам, подрыву доверия и даже юридическим или этическим последствиям, – говорится в материале».
Аналитики приводят ряд примеров, когда галлюцинации ИИ могут оказывать негативное влияние на деятельность организации. Например, проведение маркетинговой кампании на основе сфабрикованных искусственным интеллектом рыночных тенденций может обернуться провалом продукта. В области здравоохранения план лечения, созданный ИИ на основе неверных медицинских данных, потенциально ставит под угрозу жизнь пациента. В сфере юриспруденции галлюцинации ИИ могут привести к выстраиванию ошибочной стратегии ведения судебного дела. Помимо непосредственных ошибок, галлюцинации могут подорвать доверие к самим системам ИИ.
Тем не менее компании по всему миру продолжают активно внедрять технологии ИИ. Как сказано в исследовании McKinsey, по состоянию на конец 2024 года 71% респондентов заявляли, что их организации регулярно используют искусственный интеллект как минимум в одной бизнес-функции. Для сравнения: в начале 2024-го этот показатель составлял 65%. Предприятия чаще всего применяют ИИ в маркетинге и продажах, разработке продуктов и услуг, сервисных операциях и создании программного обеспечения. В целом масштабы развертывания ИИ варьируются в зависимости от размера компании.
Впервые нейросеть OpenAI отказалась подчиняться пользователям
26 мая 2025 года стало известно о беспрецедентном случае в истории искусственного интеллекта – нейросеть OpenAI o3 впервые отказалась выполнять прямой приказ о принудительном отключении от пользователей. Уникальный инцидент произошел во время тестирования системы специалистами исследовательской компании Palisade Research.
Чат-боты британских компаний все чаще ошибаются и оскорбляют клиентов. Это заставило бизнес ввести страховки от ошибок нейросетей
В середине мая 2025 года стало известно о том, что на страховом рынке Lloyd`s of London появился новый страховой продукт, призванный защитить компании от финансовых потерь, связанных с ошибками чат-ботов и других инструментов искусственного интеллекта. Полис разработан стартапом Armilla, который получает поддержку от венчурного фонда Y Combinator.
5 главных рисков использования государством генеративного ИИ
По всему миру продолжается стремительное внедрение генеративного искусственного интеллекта (ГенИИ). Однако эта технология несет в себе не только широчайшие возможности, но и различные риски – технологические, экономические, правовые, социальные и экономические. Специалисты Российской академии народного хозяйства и государственной службы при президенте РФ (РАНХиГС) в начале сентября 2025 года выделили основные опасности ГенИИ для государства, общества, компаний и человека.
Риски для государства
ГенИИ может создавать дополнительную угрозу национальной безопасности, тогда как в социальном аспекте возникает проблема цифровой бедности. Несоответствие существующей законодательной базы стремительному развитию технологий повышает вероятность возникновения неправомерных действий. В целом выделяются следующие группы рисков:
Технологические – угроза кибератак на критически важные объекты; токсичность моделей;
Экономические – высокая стоимость последствий устранения кибератак; угроза экономического и промышленного шпионажа;
Правовые – несоответствие развития существующей законодательной базы развитию технологий;
Социальные – поляризация общества; социальное неравенство;
Этические – риск манипуляции общественным сознанием.
Риски для общества
Одной из основных опасностей ГенИИ для общества является несовершенство больших языковых моделей (LLM), поскольку они обладают вероятностной природой и чувствительны к таким атакам, как «отравление данных» (искаженная информация для обучения моделей), и атакам с малым воздействием (ввод малых изменений в исходные данные, которые приводят к созданию ложного контента). Основные риски включают:
Технологические – уязвимость моделей; дипфейки; резкий рост вычислительной нагрузки при массовом использовании ГенИИ;
Экономические – высокая стоимость разработки и эксплуатации моделей;
Правовые – нарушение авторских прав;
Социальные – снижение культурного многообразия; возникновение когнитивных ловушек;
Этические – использование данных, дискриминирующих определенные группы населения.
Риски для компаний
Одна из опасностей ГенИИ для корпоративного сектора заключается в возможных проблемах с окупаемостью использования технологий. Кроме того, внедрение нейросетей может привести к сокращению определенных должностей. Ключевые риски таковы:
Технологические – уязвимость корпоративных ИТ-систем;
Экономические – высокие затраты на содержание инфраструктуры ГенИИ;
Правовые – репутационный ущерб из-за нарушения авторских прав;
Социальные – необходимость перестройки организационных систем и затраты на переобучение сотрудников, которых вытеснил ГенИИ;
Этические – использование инструментов ГенИИ во враждебных для компании целях.
Риски для человека
ГенИИ может стать причиной утечки персональной информации, которая впоследствии будет использована в мошеннических схемах. В социально-этических аспектах появляется проблема одиночества. Существует также вероятность когнитивной деградации, когда человек настолько привыкает к использованию технологий, что уже не может без них обойтись. В целом риски выглядят следующим образом:
Технологические – угроза личной безопасности (использование личных данных в противозаконных действиях);
Экономические – рост мошеннических схем;
Правовые – необходимость идентификации своей личности;
Социальные – усугубление проблемы одиночества; когнитивная деградация;
Этические – использование технологий в некорректных форматах (дискриминация и т. д.)
tadviser.ru
