Pour une organisation, le filtrage de contenu ne peut pas reposer uniquement sur la bonne volonté des utilisateurs : il faut un mécanisme technique appliqué de façon homogène.

Définition — Mistral Moderation

Un modèle dédié (mistral-moderation-2603) qui classe un contenu selon des catégories de risque : sexuel, haine/discrimination, violence, dangereux/criminel, auto-agression, santé/finance/droit, PII, et jailbreaking (tentatives de contournement des garde-fous du modèle).

Deux usages : l'API de Moderation dédiée (scores bruts, contrôle total) ou les Custom Guardrails déclarés directement dans les requêtes (blocage automatique en 403).

💼 Enjeu Security Officer : le jailbreaking est la catégorie la plus spécifique à la sécurité applicative — elle détecte les tentatives de manipuler le modèle pour contourner ses règles.