Stage - Ingénieur IA Générative - Ai4b - Strasbourg H/F Sopra Steria

Depuis 2022, Sopra Steria Group a lancé son programme groupe de transformation autour de l'IA : rAIse.

Ce programme embarque toutes nos géographies et tous nos métiers, et a pour but de définir une stratégie unifiée, d'accélérer l'adoption interne de l'IA pour anticiper la transformation de nos métiers, et d'accompagner nos clients dans leur propre adoption et transformation de l'IA, de façon industrielle et responsable.

Votre environnement de travail

Afin de servir les ambitions et la stratégie du groupe définies dans le programme rAIse, Sopra Steria France a lancé sa practice AI 4 Business fin 2024. En forte croissance, la singularité de la practice par rapport à nos concurrents est de travailler sur la chaîne de valeur de bout-en-bout, de la stratégie IA au run des solutions en passant par une feuille de route de cas d'usages priorisés, la practice cadre, design, prototype et industrialise les solutions d'IA. Elle mixe donc des profils de consultants en Stratégie et transformation digitale et des profils plus techniques (data scientists, GenAI builders, ML engineers...) au service de l'ensemble de nos secteurs d'activités.

Le sujet principale de votre stage sera le suivant :

Définir une méthodologie de tests pour LLM sur un cas d'usage réel : préparer un jeu d'attaques (promptinjection, exfiltration, jailbreak, abus d'outils), éprouver des solutions de startups (guardrails, DLP, LLMasjudge, évaluation), et aligner les vérifications avec les recommandations OWASP LLM pour conclure sur la robustesse du modèle et la tenue aux attaques.

Missions

- Cadrage du cas d'usage & risques : cartographier les menaces selon OWASP LLM Top 10 et nos référentiels internes (guardrails, DLP, supplychain).
- Conception du jeu d'attaques : élaborer prompts malveillants (injection, exfiltration, jailbreak), scénarios réalistes et protocole de redteaming.
- Benchmark des solutions/outils : tester des startups et outils (promptguard, DLP, LLMasjudge, Promptfoo pour l'automatisation des tests de prompts).
- Protocole de mesure : définir métriques qualité/sécurité/performance/coût et instrumentation (observabilité, tracing) pour une évaluation reproductible (ex. MLflow LLM Evaluate / GenAIOps).
- Campagne & synthèse : exécuter les tests, scorer la tenue du LLM, et formaliser une méthodo avec jeu d'attaques réutilisable pour valider si la robustesse d'un systeme.
- Rédaction d'un article scientifique sur l'étude et d'une synthèse à destination des consultants.

Bonus : évaluer les biais dans un LLM pour recenser les risques à utiliser des modèles non européen type Deepseek.