Когда нейросеть перестает быть хищником: границы доверия к ИИ в фармации

Новая эра регуляторики

В ноябре 2025 года на площадке PIC/S состоялось знаковое обучение, посвященное грядущим изменениям в GMP. Центральной темой обсуждения стал проект нового Приложения 22 к правилам, в котором впервые на международном уровне предлагается формализовать использование искусственного интеллекта в фармацевтической индустрии. Разработчиком документа выступил эксперт из Инспектората Дании с глубоким IT-бэкграундом, что определило прагматичный и технически выверенный подход к тексту.

В настоящее время проект приложения находится в открытом доступе, однако опубликован только на английском языке, что создает барьер для широкого обсуждения в русскоязычной среде. Тем не менее понимание заложенных в него принципов критически важно уже сегодня: документ, революционный для отрасли, впервые описывает будущее, которое вскоре наступит для каждого производителя лекарственных средств.

Главная особенность документа — его узкая специализация. Приложение будет регулировать исключительно те компьютеризированные системы, в которых модели ИИ применяются в критически важных GMP-процессах. Это означает, что ИИ, используемый, например, для написания маркетинговых текстов или сортировки входящей почты, остается за рамками данного регулирования. При этом любая модель, влияющая на безопасность пациента, качество продукции или целостность данных, попадает под его действие. Важно отметить, что Приложение 22 не будет существовать в вакууме: оно неразрывно связано с Приложением 11 (компьютеризированные системы), и эти два документа будут работать в строгой синергии.

Что можно доверить машине?

Одной из главных «красных линий», проходящих через весь текст проекта, является жесткое разделение моделей ИИ на допустимые и недопустимые для использования в критических процессах.

Во-первых, документ распространяется на статические модели — системы, которые после обучения и валидации остаются неизменными. Если же модель является динамической, то есть непрерывно и автоматически обучается, адаптируется и меняет свои веса в процессе эксплуатации на производстве, использовать ее в GMP-критичных процессах, согласно проекту, не следует. Об этом рассказала Надежда Архипова (ФГБУ «ГИЛС и НП»):

«Регулятор исходит из принципа, что для обеспечения прослеживаемости и воспроизводимости процесса модель должна быть зафиксирована. "Живой" алгоритм, который меняется непредсказуемым образом, несовместим с парадигмой валидации, где каждое изменение должно быть оценено и задокументировано».

Во-вторых, Приложение 22 фокусируется на моделях с детерминированным выходным результатом. Если на идентичный вход модель всегда выдает идентичный результат, это приемлемо. Если же модель выдает вероятностный результат (при одних и тех же входных данных ответ может различаться), такая система не подпадает под действие Приложения и, что более важно, не должна использоваться там, где цена ошибки — здоровье пациента.

В-третьих, под прямой запрет в критически важных процессах попадают генеративный ИИ и большие языковые модели (LLM). Логика регулятора здесь не менее прозрачна: генеративные модели склонны к «галлюцинациям» и созданию недостоверных данных. Их использование допустимо лишь в процессах, не оказывающих прямого влияния на GMP-показатели (например, для первичного анализа научной литературы или составления черновиков стандартных операционных процедур). В этом случае ответственность за подтверждение пригодности результатов работы таких моделей полностью ложится на квалифицированный и прошедший соответствующее обучение персонал. В GMP-критичных же процессах ответственность должен нести валидированный алгоритм, а не человек, который постфактум проверяет «творчество» нейросети.

Анатомия доверия: данные, обучение и тестирование

Поскольку динамические и генеративные модели выводятся за скобки критических процессов, фокус Приложения 22 смещается на то, как именно следует разрабатывать, обучать и валидировать статические детерминированные модели. Документ уделяет львиную долю внимания данным для тестирования и самому процессу верификации алгоритма.

Отбор данных. Тестовые наборы должны быть репрезентативными и охватывать весь спектр условий предполагаемого применения. Они обязаны отражать не только типичные сценарии, но и все ограничения, сложности, а также редкие вариации, характерные для реального производства. Объем данных должен быть достаточным для расчета метрик с необходимой статистической достоверностью.

Маркировка и предобработка. Процесс проверки и разметки тестовых данных должен обеспечивать высочайшую степень точности. Любая предварительная обработка — будь то нормализация, стандартизация или преобразование форматов — должна быть определена и обоснована до начала тестирования. Необходимо доказать, что выбранные методы предобработки соответствуют условиям реального использования модели.

Исключение и генерация данных. Если в процессе подготовки датасета происходила очистка или удаление выбросов, каждое такое действие должно быть задокументировано и всесторонне обосновано. Использование данных, сгенерированных самим ИИ (например, для аугментации выборки), не рекомендуется. Любое подобное решение требует экстраординарных доказательств того, что синтетические данные не искажают реальную картину.

Независимость данных и персонала. Это один из самых строгих блоков требований. Должны быть внедрены технические и процедурные меры, гарантирующие, что данные для тестирования никогда не использовались на этапах разработки, обучения или валидации модели. Сотрудники, участвовавшие в создании и обучении алгоритма, не должны иметь доступа к тестовым наборам. Более того, если данные получены на основе физических объектов (например, образцов продукции), эти объекты не должны применяться ранее для обучения модели. Персонал, тестирующий модель, должен быть независим от команды разработчиков.

Почему волк превращается в собаку?

Чтобы наглядно продемонстрировать опасность нарушения принципа репрезентативности данных, Надежда Архипова привела классический, но крайне показательный пример, далекий от фармацевтики, — обучение модели отличать волка от собаки:

Голубой

«Представим, что для обучения алгоритма была собрана большая база фотографий собак: породистых и дворняг, больших и маленьких, со стоячими и висячими ушами. Группу разметчиков составили энтузиасты без профильного зоологического образования. Модель обучилась и показала идеальный результат на тестовой выборке, которая состояла из тех же фотографий с небольшими вариациями в цвете или освещении. Тестирование прошло успешно. Был сделан вывод: машина научилась отличать волка от собаки. Однако при реальной эксплуатации выясняется, что в обучающей выборке у всех фотографий волков был один неочевидный, но системный признак — все они были сфотографированы на фоне снега. Алгоритм не выучил морфологию животных; он выучил, что "снег = волк". Когда в эксплуатацию поступают фотографии волков в летнем лесу или в зоопарке на фоне песка, модель начинает уверенно классифицировать их как собак».

Этот пример подчеркивает фундаментальное требование Приложения 22: эксперты, устанавливающие критерии приемлемости, должны глубоко понимать предметную область. Если бы в группе разметчиков были зоологи, они бы указали на недопустимость такой корреляции фона и объекта. В фармацевтике цена такой ошибки — не просто неверная классификация картинки, а выпуск в гражданский оборот серии препарата, не соответствующей спецификации.

Опыт отрасли и жизненный цикл препарата

ИИ уже перестал быть теорией и применяется по всему жизненному циклу лекарственных препаратов, предоставляя беспрецедентные возможности.

Можно выделить несколько ключевых точек приложения ИИ в фарме:

• Разработка. Ускорение поиска новых молекул, оптимизация дизайна клинических исследований, моделирование доклинических испытаний.
• Производство. Предиктивное обслуживание оборудования, компьютерное зрение для контроля чистоты помещений и операторов, оптимизация параметров технологических процессов в реальном времени (в рамках допустимых статических моделей).
• Фармаконадзор. Анализ огромных массивов данных о нежелательных явлениях после регистрации препарата для выявления неочевидных сигналов о безопасности.

По мнению представителя АМФП, для успешного прохождения будущих инспекций производителям рекомендуется уже сейчас начать подготовку к внедрению ИИ, выполнив несколько шагов:

1. Провести инвентаризацию, чтобы выявить все текущие и планируемые проекты с использованием ИИ и четко разделить их на GMP-критичные и вспомогательные.
2. Пересмотреть стратегию валидации: отказаться от идеи использования самообучающихся моделей в процессах, влияющих на качество продукции; закладывать в архитектуру систем возможность «заморозки» моделей и их повторной полной валидации при каждом обновлении.
3. Сформировать кросс-функциональные команды: валидация ИИ невозможна силами только IT-отдела, в команду обязательно должны входить специалисты по качеству, эксперты в предметной области (химики, технологи, биологи) и дата-сайентисты.
4. Усилить контроль данных: внедрить строгие процедуры управления данными (Data Governance), гарантирующие разделение обучающих и тестовых выборок, а также полную прослеживаемость происхождения каждого байта информации.

Поскольку проект документа существует пока только на английском языке, российским компаниям уже сейчас нужно сформировать рабочие группы для его перевода и интерпретации с учетом требований локального законодательства и специфики ЕАЭС.

Проект Приложения 22 — это не попытка запретить ИИ в фарме, а стремление «загнать» его в рамки предсказуемости, безопасности и прослеживаемости. Документ требует от индустрии взросления, то есть перехода от использования ИИ как «черного ящика», который магическим образом улучшает показатели, к инженерному подходу, где каждая модель — это тщательно спроектированный, протестированный и задокументированный инструмент. Отрадно, что многие производители уже начали этот путь адаптации, не дожидаясь момента, когда новые правила станут обязательными для исполнения.

По материалам панельной сессии «Изменения в GMP» XI Всероссийской GMP-конференции