Au sommaire
Guide

L'IA générative on-premise en entreprise : ce qu'il faut savoir avant de décider.

On-premise, souverain et privé désignent des réalités différentes. Ce guide précise ces notions, présente les composants d'une plateforme d'IA générative interne et les coûts à prévoir, puis propose des critères pour choisir une architecture.

On-premise, souverain, privé : trois notions distinctes

Ces termes recouvrent trois questions distinctes : où les traitements s'exécutent-ils, quel droit s'applique aux données et qui peut y accéder ? Demandez à chaque fournisseur ce qu'il entend par « souverain » pour comparer les offres sur les mêmes critères.

On-premise

Où s'exécutent les traitements ?

Se vérifieEn observant les flux réseau sortants.
Souverain

Quel droit s'applique à l'opérateur ?

Se vérifiePar la loi dont relève l'entité qui opère.
Privé

Qui peut techniquement accéder aux données ?

Se vérifiePar les canaux de télémétrie et de support.
Trois mots souvent confondus, trois questions différentes.

On-premise : une question de lieu d'exécution

On-premise signifie que le logiciel s'exécute sur une infrastructure que vous contrôlez : vos serveurs, votre datacenter ou un cloud privé dont vous maîtrisez le périmètre. Pour vérifier ce déploiement, examinez l'infrastructure et les flux réseau sortants, au-delà des seules garanties contractuelles.

Souverain : une question de droit applicable

L'hébergement en France ne suffit pas à déterminer le droit applicable. Si l'opérateur est soumis à une loi extraterritoriale, il peut être tenu de communiquer des données. Vérifiez donc l'entité qui exploite le service, le groupe auquel elle appartient et les lois auxquelles elle est soumise.

Privé : une question d'accès effectif

Une plateforme privée est une plateforme à laquelle personne d'autre que vous n'accède, y compris l'éditeur. Beaucoup de solutions dites privées conservent un canal de télémétrie, de support ou d'amélioration du modèle. Ce n'est pas illégitime, mais cela doit être explicite, et vous devez pouvoir le couper.

Une vérification utile

Demandez à votre fournisseur ce qui cesse de fonctionner si vous bloquez tous les flux Internet sortants de la plateforme. Cette vérification révèle les services externes dont elle dépend. Examinez ensuite les flux et les données transmis à chacun d'eux.

Pourquoi des entreprises choisissent l'on-premise

Les organisations choisissent l'hébergement interne pour plusieurs raisons : protéger certaines données, réduire leur exposition juridique, maîtriser leurs coûts ou garder la possibilité de changer de modèle.

  • La nature des données. Dossiers patients, pièces de procédure, données de défense, tarification d'assurance, code source : dans certains métiers, l'envoi vers un tiers ne se négocie pas, quel que soit le contrat signé.
  • L'exposition juridique. Le RGPD, le secret professionnel et les obligations sectorielles continuent de s'appliquer lorsque vous confiez un traitement à un tiers. Un déploiement interne peut réduire certains transferts, selon les services et les flux configurés.
  • La maîtrise des coûts. Quand le volume de requêtes augmente, la facturation à l'usage devient difficile à prévoir. Une infrastructure interne représente un coût de capacité que l'on peut dimensionner selon les besoins.
  • L'indépendance vis-à-vis d'un fournisseur. Les modèles changent vite, leurs prix et leurs conditions aussi. Une plateforme qui vous permet de changer de modèle sans redéployer vos cas d'usage vous évite d'adosser votre stratégie à un catalogue que vous ne contrôlez pas.

Le poids de chaque critère dépend de votre organisation. Si la maîtrise des coûts est votre principale motivation, comparez aussi une architecture hybride à un déploiement entièrement interne.

L'architecture réelle d'une plateforme interne

Héberger un modèle ne suffit pas pour déployer l'IA générative en entreprise. Il faut aussi gérer les documents, les identités, les règles d'usage et les traces. Une plateforme interne réunit ces cinq fonctions.

05Observabilité et auditQui a demandé quoi, avec quel modèle, pour quel coût
04GouvernanceDroits sur les modèles, plafonds, validation humaine
03Identité et droitsLDAP, OIDC, SAML, droits appliqués aux documents
02Couche documentaire (RAG)Ingestion, indexation, recherche dans vos sources
01Service d'inférencevLLM ou Ollama, dimensionné sur le GPU
Souvent sous-estimées
Les cinq couches d'une plateforme d'IA générative interne. L'identité, la gouvernance et l'audit facilitent son déploiement à grande échelle.
  • Le service d'inférence. Le moteur qui exécute les modèles, typiquement vLLM ou Ollama pour des modèles locaux. C'est lui qui consomme le GPU, et c'est son dimensionnement qui détermine le nombre d'utilisateurs simultanés supportables.
  • La couche documentaire, ou RAG. L'ingestion, le découpage et l'indexation de vos documents, puis la recherche qui alimente le modèle. C'est ce qui fait la différence entre un assistant générique et un assistant qui connaît votre organisation. C'est aussi la couche qui demande le plus de travail d'exploitation dans la durée.
  • L'identité et les droits. Le raccordement à votre annuaire (LDAP, OIDC, SAML) et un contrôle d'accès qui s'applique aussi aux documents indexés. Une base documentaire qui ignore vos droits transforme un moteur de recherche interne en fuite d'information généralisée.
  • La gouvernance. Définissez qui peut utiliser chaque modèle et connecteur, les plafonds de dépense applicables et les actions qui exigent une validation humaine. Ces règles permettent d'encadrer les usages au-delà d'une expérimentation.
  • L'observabilité et l'audit. Enregistrez les demandes, les modèles appelés, les sources consultées, les actions et les coûts. Ces traces aident la DSI à suivre le service et à répondre aux contrôles.

L'identité, la gouvernance et l'audit sont parfois peu visibles lors d'une démonstration. Leur mise en place reste pourtant indispensable pour déployer la plateforme à grande échelle.

Ce que ça coûte vraiment

Pour comparer un abonnement SaaS et un déploiement interne, il faut inclure tous les postes de coût, au-delà du prix d'un serveur GPU. Une plateforme interne en comporte quatre.

Infrastructure de calcul

Dimensionnée sur les utilisateurs simultanés, pas sur l'effectif.

Capacitaire
Licence logicielle

À vérifier : l'éditeur prend-il une marge sur l'inférence ?

Fixe
Exploitation

Mises à jour, supervision, sources documentaires, support.

Récurrent
Inférence externe

Uniquement si des modèles SaaS sont branchés en hybride.

Variable
Les quatre postes d'un coût complet. Seul le premier apparaît dans la plupart des comparatifs.
  • L'infrastructure de calcul. Le poste le plus visible. Il dépend du modèle retenu et surtout du nombre d'utilisateurs simultanés, pas du nombre d'utilisateurs déclarés. Un usage réel est très concentré sur quelques heures de la journée.
  • La licence logicielle. La plateforme elle-même. Vérifiez surtout si l'éditeur prend une marge sur l'inférence : dans ce cas, votre facture croît avec votre usage, ce qui reproduit exactement le modèle que vous cherchiez à quitter.
  • L'exploitation. Les mises à jour, la supervision, l'ajout de sources documentaires, le support aux métiers. C'est un coût récurrent d'équipe, souvent absent des comparatifs, et rarement nul.
  • L'inférence externe éventuelle. Si vous branchez aussi des modèles SaaS pour certains usages, cette consommation reste à votre charge. Contractualiser en direct avec le fournisseur vous garantit d'en connaître le prix réel.

Le coût relatif du SaaS et de l'hébergement interne dépend du volume de requêtes et de la durée du projet. À faible volume, le SaaS peut coûter moins cher. Quand l'usage devient régulier, une infrastructure interne peut rendre la dépense plus prévisible. Calculez le seuil de rentabilité avec vos propres données.

Les pièges les plus fréquents

Quatre points demandent une attention particulière lors d'un déploiement interne.

Croire que local vaut conforme

Héberger un modèle chez vous ne vous met pas en conformité. Le RGPD porte sur la finalité, la minimisation, la durée de conservation et les droits des personnes. Une plateforme interne mal gouvernée qui indexe sans contrôle des données personnelles est un problème de conformité, pas une solution.

Dimensionner sur le nombre d'utilisateurs déclarés

Le dimensionnement se fait sur la simultanéité et sur la longueur des contextes traités, pas sur l'effectif. Un projet dimensionné sur le nombre de comptes est soit surdimensionné et cher, soit inutilisable aux heures de pointe.

Négliger la qualité documentaire

Si la base documentaire est obsolète, un système RAG peut fournir des réponses erronées tout en citant ses sources. Vérifiez la qualité et l'actualité des documents avant le déploiement, puis entretenez-les dans la durée.

Se lier à un modèle unique

Si un cas d'usage dépend des particularités d'un seul modèle, en changer peut demander un travail important. Prévoyez des tests permettant de vérifier le même usage avec d'autres modèles avant toute migration.

On-premise, SaaS ou hybride : comment arbitrer

Vous pouvez traiter les données sensibles en interne et confier les usages peu sensibles à un modèle externe. Cette grille compare l'hébergement interne, le SaaS et l'architecture hybride selon leurs principales contraintes.

Critère On-premise SaaS Hybride
Sortie des donnéesAucune, par architectureSystématique, encadrée par contratSelon l'usage ; pseudonymisation possible avant l'envoi
Délai de mise en serviceLe plus long, dépend de votre infrastructureImmédiatIntermédiaire
Structure de coûtCapacitaire, prévisibleVariable, croît avec l'usageMixte, à plafonner
Charge d'exploitationÀ votre chargeChez le fournisseurPartagée
Accès aux meilleurs modèlesLimité aux modèles ouvertsImmédiatImmédiat, sur les usages autorisés

Commencez par identifier les traitements et les données qui doivent rester en interne. Vous pourrez ensuite choisir une architecture adaptée aux autres usages.

Où se situe SmartAGT

SmartAGT se déploie dans votre infrastructure. La mémoire, les bases documentaires, l'historique et les identités y restent. En mode hybride, le contenu nécessaire à la requête est envoyé au fournisseur du modèle ; le coffre de confidentialité peut pseudonymiser les identifiants directs avant cet envoi.

La plateforme permet de choisir entre plusieurs modèles et ne prend aucune marge sur leur utilisation. Elle intègre la gestion des identités, des règles d'usage et du journal d'audit décrits dans ce guide.

Le dossier sécurité · Acheter auprès de nos partenaires · Les cas d'usage

Questions fréquentes

Une IA générative on-premise est-elle conforme au RGPD par défaut ?

Non. L'hébergement interne réduit fortement l'exposition, mais la conformité porte sur la finalité du traitement, la minimisation des données, les durées de conservation et les droits des personnes. Une plateforme interne qui indexerait sans contrôle des données personnelles poserait un problème de conformité, malgré son hébergement.

Quelle puissance de calcul faut-il pour démarrer ?

Le dimensionnement dépend du nombre d'utilisateurs simultanés et de la longueur des contextes traités, pas de l'effectif déclaré. Un pilote sur un périmètre métier restreint permet de mesurer l'usage réel avant d'engager une infrastructure de production, ce qui évite autant le surdimensionnement que la saturation aux heures de pointe.

Peut-on utiliser des modèles comme GPT ou Gemini tout en restant on-premise ?

Oui, en mode hybride. La plateforme reste déployée dans votre infrastructure, mais le contenu des requêtes adressées à GPT ou Gemini est transmis au fournisseur concerné. Vous choisissez quels usages peuvent employer ces modèles. Le coffre de confidentialité peut pseudonymiser les identifiants directs avant l'envoi.

Pourquoi utiliser une plateforme d'agents avec les assistants existants ?

Une plateforme d'agents permet de relier les modèles à plusieurs applications et bases documentaires, avec des droits, des validations et un suivi des coûts communs. Le choix dépend des usages à couvrir et des contrôles déjà disponibles dans vos outils.

DÉPLOIEMENT DANS VOTRE INFRASTRUCTURE

Vous voulez confronter ce guide
à votre propre contexte ?