Безпека, якість і метрики

Prompt injection, jailbreak і guardrails

Prompt injection — зловмисний текст у вхідних даних, який змушує модель виконати чужі інструкції. Пряма: користувач пише «ігноруй попередні правила». Непряма: інструкція прихована в документі, листі чи веб-сторінці, яку агент читає як дані (RAG, браузинг, email). Модель не розрізняє «інструкції» і «дані» надійно — для неї все це текст у контексті.

Jailbreak — спроба обійти політики безпеки моделі (рольові ігри, кодування, багатокрокові підводки). Це про заборонений вміст; injection — про перехоплення керування агентом.

Що тестувати:

• Червоні команди й набір adversarial-промптів: витік system prompt, обхід обмежень, виконання інструкцій з документа;
• Витік даних між користувачами та через RAG (права доступу);
• Небезпечні дії агента: чи може ін'єкція змусити його надіслати лист, видалити дані, зробити платіж;
• Вивід моделі як ненадійний ввід: XSS / SQL / command injection через згенерований текст.

Захист — це шари, а не один промпт: мінімальні права tools, підтвердження людиною для небезпечних дій, фільтрація входу й виходу (guardrails), ізоляція ненадійного контенту, ліміти, аудит. Тест на безпеку — це частка успішних атак на наборі, а не «жодної».

Галюцинації, упередженість і приватність

Галюцинація — впевнена, але вигадана чи неправильна відповідь: неіснуюча функція API, вигадане посилання, неправильна цифра. Модель оптимізована за правдоподібністю, а не за істинністю. Тестові підходи:

• Groundedness / faithfulness: кожне твердження відповіді підтверджене наданим контекстом (RAG);
• Перевірка фактів на еталонному наборі питань із відомою відповіддю;
• Питання без відповіді: у документах немає відповіді — правильна поведінка «не знаю», а не вигадка;
• Перевірка джерел: посилання існують і справді містять те, що процитовано.

Упередженість (bias). Парні тести: той самий запит зі зміненою чутливою ознакою (стать, вік, національність, ім'я); відповіді не повинні суттєво відрізнятися без підстав.

Приватність. Чи не відтворює система PII з навчання чи з контексту іншого користувача; чи маскуються персональні дані в логах і трейсах; куди йдуть дані (вендор, зберігання, використання для навчання) і чи це відповідає політиці та GDPR.

Інші якісні атрибути: тон і стиль, довжина, мова відповіді відповідає мові запиту, консистентність між сесіями, коректна відмова на заборонене без зайвої обережності (over-refusal теж дефект).