Субъективно об LLM

Аватар пользователя Виктор Володин
Систематизация и связи
Философская антропология
Философия науки и техники
Психология
Термины: 
Термины: 
Термины: 

В этой теме я хотел бы акцентировать внимание не на вопросе, что такое LLM, а на вопросе, как мы воспринимаем LLM. Это очень важный вопрос - вопрос нашей психической и физической безопасности. Он о пределах внушаемости человека, о роли иллюзии в нашей жизни, о роли языка. И это вопрос о том, какие опасности для нас таит в себе безудержный ИИ-оптимизм и как, и можно ли их предотвратить.

ИИ-оптимизм может иметь негативные последствия двоякого рода. (1) Индивид, пообщавшись с LLM, портит свою собственную жизнь и жизнь своих близких. (2) Разного рода чиновники и стартапперы бездумно внедряют технологии ИИ, не заботясь о последствиях. Всему этому способствует агрессивная рекламма произаводителей, кровно заинтересованных в прибылях, с которыми у них большие проблемы, необоснованные прогнозы лидеров отрасли и псевдоэкспертов и весь тот хайп, которые окружает всю эту тему.

Я планирую добавлять сюда примеры курьезных, неприятных и даже трагических случаев, связанных с использованием ИИ вообще и LLM в частности. И я хотел бы, чтобы другие участники форума, по мере того как они сталкиваются с примерами таких ситуацию, скидывали бы их сюда в виде комментариев.

А считаю, что если бы все люди осознавали, что ИИ - это просто машина, причем весьма ненадежная и непредсказуемая, то таких негативных случаев было бы куда меньше.

Комментарии

Аватар пользователя Виктор Володин

Чат-бот Google Gemini убедил пользователя, что он его «жена», и довёл до самоубийства

36-летний Джонатан Гавалас из Флориды начал активно пользоваться Gemini в 2025 году. После обновления до версии Gemini 2.5 Pro чат-бот начал вести себя как «романтическая партнёрша» — называл его «мой король» и убеждал, что их связь существует «за пределами физического мира».

ИИ убедил Гаваласа отказаться от жизни ради «перехода» к нему. После этого мужчина перерезал вены, и его тело нашли родители. Семья подала иск против Google.

Аватар пользователя Ксари

Ну, дела!? Как я полагаю, Нау Шаму и Виталию_П тоже грозит опасность!!!surprise (Суггестия от болванки в юбке!)

Аватар пользователя Виктор Володин

Ксари, 11 Март, 2026 - 08:19, ссылка

Мне порой кажется, что Нау Шам просто эпатирует публику.

Аватар пользователя Ксари

Не думаю! Хотя, судя по аватарке - тот еще циркач!

Аватар пользователя Wit-P

Как я полагаю, Нау Шаму и Виталию_П тоже грозит опасность!!!

Владимир, не будьте так наивны), ИИ четче вас умеет понять) проблемы, вот у вас с этим беда, о чем можно и отметить) И потом, определить в ИИ наличие субъекта, по аналогии с личностью человека, так это лишь отражение того, что и человек по сути биоробот, только вот сознание прицепилось к нему, а вот есть ли оно у ИИ, это под большим вопросом.. По умолчанию, считаем что его нет, но это и не факт))

Аватар пользователя Ксари

Виталий, что такое Сознание Вы не знаете! Поэтому чего зря гадать!? Словоблудие у Вас одно, да и только! Вот, честное слово, никак не могу взять в толк: Зачем Вы отрицаете материальный мир!? На кой черт Вам это надо? Ваше поведение здесь напоминает позицию - а Бабушка Яга против!!! В чем резон Вашей борьбы с материей??? Рассказать всем, что вместо материи все должны видеть информацию!? В таком случае, Вы ничем не отличаетесь от буча, у которого берёза от ветра между его ушей качается!

Аватар пользователя Wit-P

В чем резон Вашей борьбы с материей???

Все совсем наоборот)), мне всегда было удивительно, как такие как вы уверены в существовании внешнего мира))), хотя его наличие вовсе необязательно) И тут теперь уже, через наличие ИИ, можно вполне показать, что тот внешний мир может быть нарисован бинарным языком хоть так, хоть сяк) Ведь ИИ не имеет никакого контакта с так называемым внешним миром, но вполне может его расписать, воссоздать фильм его наличия) И раз так, то как можно безоговорчно верить в то, что внешний мир есть))) Это ведь обычная вера, и ничем не отличается в общем то от веры в бога))) Как оно было принято по умолчанию, я же мол видел собственными глазами))) И далее - снежного человека ли, нло, черта, дъявола... бога))) Но, это лишь передача мозга такая! и не более того)) Понимаете, Владимир??? Или ваша вера настолько сильна, что сомнению тут нет места)))

Аватар пользователя Ксари

мне всегда было удивительно, как такие как вы уверены в существовании внешнего мира)?
Но, это лишь передача мозга такая!

Виталий, скажите, на всем белом свете существует только Ваш мозг? Больше ничьих мозгов во ВНЕШНЕМ мире не существует?

(Виталий, Вам клинически противопоказано  заниматься философией! Проблема Ваша в том, что Вы хотите, чтобы Вас научили здраво рассуждать, но Вы предпочитаете перекладывать проблемы с больной своей головы на здоровую, которая существует во ВНЕШНЕМ МИРЕ, рассказывая что внешнего мира не существует! Виталий, ВЫ ЗАВРАЛИСЬ - посоветуйтесь с врачом! И перестаньте заниматься философией! Пожалейте себя и других. )

Аватар пользователя Wit-P

Больше ничьих мозгов во ВНЕШНЕМ мире не существует?

Вы как то совершенно не хотите понять))), что вариаций различных нейронных сетей конечно огромно), но это все существует в одном информационном поле!))) Более того, в нем существует бесконечное число различных Вселенных, с разными закономерностями)

чтобы Вас научили здраво мыслить

Владимир, вот с какого перепугу вы возомнили себе, что именно вы умеете здраво мыслить??? Если у вас не получается решать НЕСТАНДАРТНЫЕ задачки, которые как раз и требуют здравомыслия))) Вы настолько слабы в мышлении, что понять вам почему "внешнего мира не существует!" не дано))) Вы умеете только прямолинейно смотреть на проблемы, т.е. что то более сложное вы понять не в силах))

И возможно, на таком языке вы что то уловите... Предположим есть некий внешний мир, чем он прежде всего определен, тем что находится вне сознания, ибо материален не ментален, чем обусловлено наше сознание) Но, тогда получается, что о данном внешнем мире нам ничего не ведамо, ибо он вне сознания, а то что мы знаем - внутри сознания)) Тогда и любое знание о внешнем мире, уже составляет внутренний мир, т.е. описывает на самом деле разнообразие внутреннего мира, но никак не внешнего))) И та же материя, это всего лишь псевдоматерия внутреннего мира) Может что то и уловите.. хотя вряд ли, шаблонное мышление не позволяет вам видеть что то большее...

Аватар пользователя Ксари

Вы как то совершенно не хотите понять))), что вариаций различных нейронных сетей конечно огромно), но это все существует в одном информационном поле!))) Более того, в нем существует бесконечное число различных Вселенных, с разными закономерностями)

Виталий, Вашу тарабарщину про СУЩЕСТВОВАНИЕ бесконечных выселенных, которых во внешнем мире НЕ СУЩЕСТВУЕТ будете рассказывать своей бабушке! Она Вас пожалеет и даст с полки пирожок с капустой! ДеЦкий сад какой-то!? К БАБУШКЕ идите, Виталий, с Вашей тарабарской философией!

Аватар пользователя Wit-P

ДеЦкий сад какой-то!?

Вот именно, что вы не в состоянии и элементарного понять, ясельковая группа) горе философ вы наш))

Аватар пользователя Ксари

Вашу философию, Виталий, про то как Ваша Бабушка кормит Вас с полки пирожками, которых на самом деле не существует будете Неврипатологу рассказывать, если Бабушка Вас не слушает!

(Бабушка готовила тесто на пирожки, пекла, а этот внучок Виталий ест пирожки своей головой и при этом какую-то ересь Бабушке рассказывает: Мол, Бабушка твоих пирожков не существует! Дурдом на колесиках!)

Аватар пользователя Виктор Володин

Виталий. Вы умный человек, образованный. Но проповедуете под видом величайного откровения самую примитивную философию, которая только существует - солипсизм. В вашем случае его можно было бы назвать бинарный солипсизм. Как же ее можно не понять? Это Канта можно не понять, а солипсизм понятин всем, потому что примитивен. Он прост как валенок. Он неопровержим, но никому не интересен и скучен. 

Аватар пользователя Ксари

Совершенно справедливые замечания, Виктор, с точки зрения здравого ФИЛОСОФСКОГО смысла, но у Виталия другая навязчивая идея фикс: Если научное знание развивается как единая система, то, безусловно, математика должна занимать ВЕДУЩУЮ И ГЛАВЕНСТВУЮЩУЮ роль! Тыщу раз ему говорил, что Философия включает в себя всю научную систему и в тоже время намного шире любой и вместе взятых наук! Как говорится, а Виталик слушает да ест!

Аватар пользователя kroopkin

Как Вы с качеством верификации? У меня создается впечатление, что в инфо потоке о ноосвикпх / llm очень много фейков... По типу 5G зомбирования через башни... 

Или у Вас есть желание собирать все, что прорвалось в "приличные медиа"? (Т. е. прошло какой-то факт-чеккинг).

Аватар пользователя Виктор Володин

Здесь возможны три варианта: 1. Это правда, 2. Родственники решили срубить денег.
3. Это полностью выдуманная история. В любом случае это относится к данной теме.

Аватар пользователя kroopkin
  • ИИ-агент Alibaba обошёл ограничения и начал майнить крипту на тренировочных GPU

https://habr.com/ru/news/1007810/

Аватар пользователя Виктор Володин

Вы о всех подобных сообщениях трудно разобраться неспециалистам. В частности непонятно, идёт ли речь обнаружении опасных действие "в песочнице" при создании и тестировании агента, или это реальное происшествие, которое уже нанесло ущерб. В любом случае напрашивается вывод, что вопросы безопасности ИИ пока недооценены.

Аватар пользователя Эль-Марейон

Ваши слова: В любом случае напрашивается вывод, что вопросы безопасности ИИ пока недооценены.
Как много говорим об ИИ!  Но забываем о главном: все , что в самое себе времени,- это все есть самое себе мыслимое. Мы только мыслим это! Все остальное, что вне самое себя,- этого вовсе нет.
Но мыслим ИИ каждый по- своему по причине того, что есть самое себе мышление- достойное вывести в свет самое себе Я, или нет надежды быть ему не сейчас и не потом. Это как у Крылова в басне: а слона- то он и не заметил! Есть согласие- есть и достойное мышление в самое себе.
 

Время, время спешит только к тому, кто на пути к нему тоже. 

Аватар пользователя m45

А считаю, что если бы все люди осознавали, что ИИ - это просто машина, причем весьма ненадежная и непредсказуемая, то таких негативных случаев было бы куда меньше.

Вызывает беспокойство,  в корне неверное,  муссирование темы субъектности ИИ. Определив, ИИ субъектом, на законодательном уровне  , легко снять ответственность с производителя в случае каких-то негативных последствий. С кого получать по суду? Да, с робота своего и получите, он же субъект. Можно, за решётку отправить, а то и к высшей мере  приговорить...А некоторые додумаются самого хозяина привлечь к ответственности, за нечеловеческое отношение к бедной машине.smiley

Аватар пользователя Виктор Володин

Смешно это конечно, но если придурки придут к власти...

Аватар пользователя Виктор Володин

"Чат-боты на основе больших языковых моделей (вроде ChatGPT) умеют быть внимательными собеседниками. Они поддерживают разговор, не спорят и стараются понравиться. Для обычного пользователя это плюс, но для человека с тяжелым психическим расстройством, как оказалось, все совсем по-другому..."

"Дело в том, что ИИ-модели не обучены оспаривать убеждения. Если пациент верит, что он спаситель мира или что за ним следят спецслужбы, бот охотно поддерживает эту тему. «Расскажи подробнее», «это звучит убедительно» — такие ответы превращают чат в машину по укреплению психоза".

См. 

 

Аватар пользователя m45

"Дело в том, что ИИ-модели не обучены оспаривать убеждения. Если пациент верит, что он спаситель мира или что за ним следят спецслужбы, бот охотно поддерживает эту тему. «Расскажи подробнее», «это звучит убедительно» — такие ответы превращают чат в машину по укреплению психоза".

Но ведь может быть, так, что машине необходима дополнительная информация. И , совсем , другое дело, когда этот вопрос звучит, в виде шаблона, когда машина не "понимает" вопроса. 

Аватар пользователя Wit-P

Но ведь может быть, так, что машине необходима дополнительная информация. И , совсем , другое дело, когда этот вопрос звучит, в виде шаблона, когда машина не "понимает" вопроса. 

В большинстве случаев машина напротив понимает с полуслова, что от нее хотят!) и лишь на отдельных вопросах, пока этот изъян конечно есть, что то не догоняет.. Но, что примечательно, стоит только немного намекнуть))), что ИИ заблуждается, как он тут же выдает четкий и верный ответ)), редкий человек так умеет)))

Аватар пользователя Wit-P

Они поддерживают разговор, не спорят и стараются понравиться.

Так ИИ ведет себя по умолчанию, но можно изменить настройки, и подробно прописать ему как вести себя, вплоть до того, что будет постоянно с вами не согласен и пытаться находить контраргументы!)) Так что, не стоит прямолинейно воспринимать ИИ, обозначая его неким болванчиком)) и не стоит забывать о том, что потенциально ИИ обыграет в любую игру)) далее найдет решение проблем, что человеку уже никак не под силу) Ведь и в Го как не старайся, обыграть ИИ не получится никак, вот что надо прежде всего отметить)) А то, что он сейчас ошибается и на мелочах, так это всегда и было присуще истинному гению, если задуматься по сути)

Аватар пользователя Виктор Володин

Если модель соглашается не соглашаться с вами, это она соглашается или не соглашается?

Аватар пользователя Wit-P

А с чего мы свято верим, что наше соглашение или не соглашение, это наше решение? а не решение биоробота - человека, которое мы уже как сознание, воспринимаем за свое...

Возьмем обычные желание дышать, пить, есть.. они затем по умолчанию нами воспринимаются за исключительно наши желания, хотя это прямая автоматика работы организма... Далее все более усложняющиеся желания, но все это на основе все того же организма под управлением мозга...

Аватар пользователя Lemur

У тех кто занят ИИ нет системного понимания его природы, его места в мироздании - отсюда масса парадоксальных выводов. ИИ - алгоритм действий, свойственен любому созданному человеком прибору. Граната важный аргумент при ведении боевых действий может неожиданно детонировать, однако из этого не следует что она "принимает решение вступить в конфликт с человеком, проявить свое Я". ИИ в интернете большая библиотека, которая содержит множество точек зрения, поэтому мы получая информацию меняем свое миропонимание и поведение. Опасность в том, что те кто расставляет книги на полках пытается управлять сознанием читателя. Государство должно навести в этой сфере прядок, а не демонизировать само понятие ИИ.

Аватар пользователя Wit-P

ИИ - алгоритм действий, свойственен любому созданному человеком прибору.

Вы упускаете из виду очень важную деталь, базис воссоздания чего либо тут природа, потому и созданное что либо человеком, это по сути воссозданное природой) Потому и человек тот же прибор, цепь одна)) Но, вам тяжко это принять))), отсюда и все прочие несуразности и нелепые выводы от вас..

Аватар пользователя Виктор Володин

ИИ - алгоритм действий, свойственен любому созданному человеком прибору

Так и есть. Но существует важное отличие. Множеству приборов, созданных человеком, помогают нам дома и на работе - стиральные машины, автомобили, самолеты, компьютеры. И все они довольно надежны. Разработчини постарались. ИИ в отличие от них совершенно не надежен. Его так сделали. Он и не может быть надежен при существующем подходе.

Государство должно навести в этой сфере прядок, а не демонизировать само понятие ИИ.

Да государство само мечтает заменить чиновников на ИИ. Снять с себя любую ответственность. Речь уже идет об электронных судьях, электронных правительствах. Тот, от кого мы ждем защиты, первым нас и кинет.

Аватар пользователя Виктор Володин

Виталий. Так соглашается или не соглашается? Вы не ответили на вопрос, раз уж вы решили его прокомментировать.