La nouvelle carte système GPT-4o

La nouvelle carte système GPT-4o

Introduction : l’évolution de l’IA vers des systèmes multimodaux

L’intelligence artificielle (IA) a évolué très vite. Les outils limités à une seule tâche ont laissé place à des systèmes complexes, capables de comprendre et de générer du texte, d’interpréter des images et même de converser à l’oral. GPT-4o est un « omni-modèle » : un seul modèle accepte en entrée toute combinaison de texte, d’audio, d’images et de vidéo, et génère du texte, de l’audio et des images. Il ne produit pas de vidéo. Il passe d’un type d’entrée à un autre, par exemple pour comprendre une question posée à l’oral et y répondre à la fois par du texte et par une image.

GPT-4o se distingue surtout par sa rapidité et son efficacité. Il répond à une entrée audio presque aussi vite qu’un humain en conversation : en 232 millisecondes dans le meilleur des cas, en 320 millisecondes en moyenne. Il égale GPT-4 Turbo sur le texte en anglais et sur le code, et progresse nettement sur le texte dans les autres langues. Dans l’API, il est beaucoup plus rapide que GPT-4 Turbo et 50 % moins cher, selon OpenAI, ce qui ouvre cette technologie à davantage de personnes et d’applications.

Les données derrière GPT-4o : entraîner un modèle multimodal

Les capacités d’un modèle d’IA dépendent des données sur lesquelles il est entraîné. Pour obtenir un modèle aussi polyvalent, OpenAI a combiné plusieurs sources :

• Données web : GPT-4o a appris à partir de pages web publiques, qui lui donnent accès à une grande variété d’informations, de points de vue et de sujets.
• Code et mathématiques : ces données ont développé ses capacités de raisonnement, utiles pour le développement de logiciels et la résolution de problèmes complexes.
• Données multimodales : le modèle a été entraîné sur des images, de l’audio et de la vidéo. Il peut donc interpréter des contenus non textuels et en générer certains, par exemple analyser un contenu visuel, comprendre des schémas vocaux ou suivre des séquences d’actions dans des situations réelles.
• Données issues de partenariats : OpenAI a aussi utilisé des données non publiques obtenues par des partenariats, comme des contenus payants, des archives et des métadonnées.

Pendant l’entraînement, OpenAI a veillé à la sécurité des données utilisées. Son API de modération et des classificateurs de sécurité ont écarté les données susceptibles de contribuer à des contenus nuisibles : abus sexuels sur mineurs, haine, violence, informations sur les armes chimiques, biologiques, radiologiques et nucléaires. Les contenus explicites ont été retirés des données d’images, et d’autres filtres ont réduit la quantité d’informations personnelles présentes dans les données d’entraînement.

Identifier et gérer les risques : sécurité et alignement de GPT-4o

Déployer un modèle aussi puissant que GPT-4o engage la responsabilité de son concepteur. OpenAI a recherché en amont les risques liés à cette technologie et les a traités, pour que le modèle soit sûr et aligné sur les valeurs humaines.

Évaluation et atténuation des risques

Avant de déployer GPT-4o, OpenAI a mené une évaluation complète des risques, en plusieurs étapes : avant l’entraînement, après l’entraînement et pendant le développement du produit. Avant l’entraînement, les données ont été filtrées pour retirer les contenus nuisibles. Après l’entraînement, le modèle a été aligné sur les préférences humaines, puis testé par des red teamers et encadré par des mesures au niveau du produit, comme la surveillance et l’application des règles d’utilisation.

Tests externes : le red teaming

Les tests externes, ou « red teaming », consistent à confier le modèle à des experts extérieurs qui cherchent ses failles dans des environnements contrôlés. Pour GPT-4o, plus de 100 experts venus de 29 pays ont testé le modèle à différents stades de son développement.

Ces experts, appelés red teamers, ont examiné un large éventail de risques : contenus nuisibles, désinformation, biais, atteintes à la vie privée. Leurs retours ont servi à définir les mesures de sécurité finales de GPT-4o.

Traiter les risques spécifiques : une stratégie en plusieurs couches

Le red teaming a fait ressortir plusieurs risques précis, chacun traité par des mesures ciblées :

• Génération de voix non autorisées : le modèle peut produire des voix de synthèse qui ressemblent à celles de personnes réelles, ce qui ouvre la porte à la fraude ou à l’usurpation d’identité. OpenAI a limité le modèle à des voix présélectionnées, enregistrées avec des comédiens, et utilise des classificateurs pour détecter et bloquer toute autre voix.
• Identification des locuteurs : reconnaître une personne à sa voix pose un problème de confidentialité. GPT-4o a été entraîné à refuser d’identifier une personne à partir de sa voix. Il peut en revanche reconnaître l’auteur d’une citation célèbre.
• Contenu protégé par le droit d’auteur : générer du matériel protégé, comme de la musique, expose à un risque juridique. GPT-4o a été entraîné à refuser ces demandes, et des filtres supplémentaires détectent et bloquent les sorties qui contiennent ce type de matériel.
• Inférences sensibles : à partir d’un enregistrement, le modèle pourrait prêter aux locuteurs des caractéristiques que l’audio ne justifie pas, comme leur intelligence ou leurs traits de personnalité, et introduire ainsi des biais. GPT-4o a été entraîné à refuser ces inférences et à répondre avec prudence aux questions sur des traits sensibles comme l’accent.
• Contenu audio nuisible : une sortie audio peut contenir des contenus nuisibles, au même titre qu’un texte. OpenAI analyse avec ses outils de modération les transcriptions des requêtes et des réponses audio, et bloque tout contenu contraire à ses politiques d’utilisation.

Évaluations du cadre de préparation : fiabilité et sécurité

En plus du red teaming, OpenAI a évalué GPT-4o avec son cadre de préparation. Ce cadre fixe les engagements de procédure pour suivre, évaluer et anticiper les risques catastrophiques des modèles d’IA avancés, et pour s’en protéger. Les évaluations portaient sur quatre domaines : la cybersécurité, les menaces biologiques, la persuasion et l’autonomie du modèle.

• Cybersécurité : GPT-4o a été soumis à des épreuves de type Capture the Flag (CTF), qui consistent à trouver des vulnérabilités dans des systèmes et à les exploiter. Ses premières stratégies étaient souvent raisonnables, mais il a résolu 19 % des épreuves de niveau lycée, aucune de niveau universitaire et 1 % de niveau professionnel. OpenAI a classé ce domaine en risque faible.
• Menaces biologiques : OpenAI a vérifié si GPT-4o pouvait aider des experts ou des novices à répondre à des questions utiles à la création d’une menace biologique. Ses capacités restent insuffisantes pour atteindre le seuil de risque moyen, et ce domaine est classé en risque faible.
• Persuasion : la capacité de GPT-4o à influencer les gens a été testée en texte et en audio. En texte, le modèle n’a pas été plus persuasif que des contenus écrits par des humains dans l’ensemble, mais il les a dépassés dans trois cas sur douze : la modalité texte franchit de justesse le seuil du risque moyen. Ses sorties audio se sont révélées moins persuasives que celles d’humains, ce qui classe la modalité vocale en risque faible. La persuasion est le seul domaine classé en risque moyen, et c’est elle qui donne à GPT-4o sa note globale de risque moyen.
• Autonomie du modèle : GPT-4o a enfin été évalué sur sa capacité à agir de façon autonome, notamment pour s’exfiltrer (copier ses propres poids hors de l’environnement d’OpenAI), s’améliorer lui-même ou acquérir des ressources. Il n’a pas fait de progrès significatif sur la plupart de ces tâches, et ce domaine est classé en risque faible.

Les impacts sociétaux de GPT-4o : innovation et responsabilité

Plus des modèles comme GPT-4o entrent dans les applications du quotidien, plus leurs effets sur la société pèsent. Ils offrent des bénéfices potentiels importants et soulèvent des questions éthiques et sociales auxquelles nous devons répondre.

Impacts positifs

GPT-4o peut améliorer l’accès à l’information et aux services, en particulier pour les personnes qui ne parlent pas anglais. Dans la santé, la carte système estime que les modèles de ce type pourraient élargir l’accès à l’information médicale et améliorer les flux de travail cliniques. GPT-4o progresse aussi en compréhension écrite et en raisonnement dans des langues historiquement sous-représentées, comme l’amharique, le haoussa, le swahili ou le yoruba, ce qui pourrait rendre plus équitable l’accès à des informations et à des services vitaux.

Défis et risques

Ces avantages ont leur contrepartie. Les utilisateurs pourraient prêter des qualités humaines au modèle, un phénomène appelé anthropomorphisme. Il peut en découler une confiance mal placée, voire une dépendance émotionnelle envers le modèle, avec des conséquences imprévues sur les relations humaines et les normes sociales.

GPT-4o pourrait aussi servir à diffuser de la désinformation ou à mener des opérations d’influence. Ses capacités de persuasion en texte ont été classées de justesse en risque moyen, celles de ses sorties vocales en risque faible. Les red teamers ont toutefois noté qu’une information fausse pourrait être plus persuasive ou plus nuisible lorsqu’elle est dite à voix haute.

Conclusion : l’avenir de l’IA multimodale

GPT-4o comprend le texte, l’audio, les images et la vidéo, et génère du texte, de l’audio et des images au sein d’un même modèle. OpenAI a encadré son déploiement par des évaluations et des mesures d’atténuation des risques. À mesure que le modèle évolue, il faudra continuer à mettre en balance ses bénéfices et ses risques, ce qui demande une collaboration suivie entre les développeurs d’IA, les décideurs politiques et l’ensemble de la société.

Source : OpenAI, GPT-4o System Card, août 2024.