Он не просил ничего выдумывать. Он просил пересказать

Короткий ответ. 11 сентября Верховный суд Нью-Мексико оштрафовал адвоката на 5000 долларов за апелляцию, где свидетели и показания полиции оказались выдуманы моделью. Сочинять он ничего не просил: он загрузил расшифровку заседания и попросил пересказ. Эту задачу все считают безопасной, но она опаснее генерации с нуля, потому что результат выглядит проверяемым. Проверять надо не текст, а его соответствие источнику, и это отдельная операция.

Адвокат дал модели документ, который у него уже был. В ответ получил документ, в котором часть людей выдумана.

Что именно произошло?

Суд оштрафовал адвоката за жалобу, в которой модель выдумала свидетелей.

11 сентября 2026 года Верховный суд Нью-Мексико признал адвоката Стивена Аронса виновным в неуважении к суду и оштрафовал на 5000 долларов. Штраф направлен в фонд защиты клиентов штата. Речь об апелляции по делу об убийстве: клиент отбывает пожизненный срок.

Формулировка суда: жалоба «содержала ложные показания полностью выдуманных свидетелей». Среди прочего там были вымышленные утверждения о том, что стрелявший был в тёмных брюках и белой рубашке. Суд отдельно отметил, что адвокат «продемонстрировал отсутствие раскаяния и отсутствие заботы о клиенте».

На слушании в августе Аронс рассказал, что загрузил в ChatGPT машинную расшифровку заседания и другие материалы дела. Он рассчитывал получить, по его собственным словам, «пуленепробиваемое резюме». Он не просил ничего сочинить. Он просил сжать то, что у него уже лежало.

Последствия не ограничились штрафом. Жалобы аннулированы, апелляция начинается заново, дело передано в дисциплинарную комиссию.

Почему пересказ опаснее генерации?

Результат выглядит проверяемым, поэтому его никто не проверяет.

В голове у человека это две разные задачи. «Напиши мне текст про X» ощущается как творчество, и к результату он относится соответственно: читает, правит, не доверяет. «Перескажи мой документ» ощущается как механическая работа, вроде копирования. Источник ведь есть, он рядом, ошибиться не в чем.

У выдумки внутри пересказа нет опознавательных признаков. Сочинённый абзац часто виден по общим словам и пустой уверенности. А фраза про тёмные брюки и белую рубашку выглядит ровно как деталь из протокола. Она конкретная, она уместная, и единственный способ понять, что её там не было, это открыть протокол.

Есть ещё разница в масштабе, и она важна. Прошлые санкции против адвокатов в США касались выдуманных ссылок на дела и искажённых цитат из закона. Ссылку можно проверить за минуту: открыл базу, нашёл или не нашёл. Здесь выдуманы фактические показания по уголовному делу, и проверка означает чтение всей расшифровки заново. То есть ровно ту работу, от которой с помощью модели и хотели избавиться.

Длинный исходник всё это усиливает: чем длиннее документ, тем больше экономия от пересказа и тем меньше вероятность, что кто-то сверит результат с оригиналом.

Где это бьёт по бухгалтерской практике?

Там же, где и в суде: в документе, который кто-то подписывает.

Типовые задачи выглядят безобидно. Свести выписку за квартал. Вытащить условия оплаты из договора на сорок страниц. Сверить ведомость с отчётом. Собрать пояснительную записку из первичных документов. Каждая из них это пересказ вашего же документа, и каждая попадает ровно в эту ловушку.

Подпись при этом переносит ответственность на человека, и инструмент тут ничего не меняет. Клиенту, банку и налоговой безразлично, кто именно указал цифру в поданном документе.

Фраза «мы, конечно, проверяем» без описанной процедуры означает, что не проверяет никто. Проверка либо записана как шаг с исполнителем и признаком выполнения, либо её нет. Промежуточного состояния не существует, и выясняется это всегда задним числом.

Цена ошибки здесь растёт скачком, а не плавно. Пока неточность живёт внутри черновика, её исправляют за десять минут. После того как документ ушёл к клиенту, в банк или в отчётность, она стоит переписки, повторной подачи и объяснений, почему цифра поменялась. Эти два состояния разделяет один клик, и именно поэтому проверка должна стоять до него, а не после.

Своих данных о том, как часто это случается в бухгалтерской практике, у нас нет, и мы их не выдумываем. Механика при этом одна и та же независимо от отрасли.

Что поставить между моделью и подписью?

Одну процедуру. Она дешевле, чем кажется, и занимает считаные минуты.

1. Требуйте ссылку на место в источнике. Не «перескажи», а «перескажи и для каждого утверждения укажи страницу или строку, откуда оно взято». Модель, которой нечего указать, начинает заметно путаться, и это и есть ваш сигнал.
2. Сверяйте выборку, а не всё подряд. Пять пунктов из пересказа, выбранных наугад, плюс все числа, которые попадут в подписываемый документ. Если хотя бы один из пяти не находится в источнике, пересказ бракуется целиком.
3. Длинные документы делите. Сорок страниц одним куском не проверяет никто. Разбейте на разделы, пересказывайте по одному, сверяйте по одному.
4. Запишите, кто проверил. Одна строка рядом с документом: кто сверял, когда, сколько пунктов. Через полгода это единственное, что отличает проверенный документ от непроверенного.

Первый пункт решает половину задачи. Требование указать источник превращает пересказ обратно в проверяемую операцию, и ошибки становятся видны без чтения всего оригинала.

Отдельный вопрос, кто и через что вообще подключил модель к рабочим файлам. Это мы разбирали в статье про то, кто в вашей компании уже подключил ИИ, и там же разбирали доступы, которые выдаются заодно.

Мы собираем агентов под процессы, где ошибка стоит денег, и ручную проверку закладываем в саму схему, а не полагаемся на дисциплину сотрудника. Как это устроено, описано на странице ИИ-команды. Но первый шаг вы можете сделать без нас: возьмите последний пересказ, который ушёл в работу, и найдите в источнике пять утверждений из него.