Comparaison Chat GPT-3 / Chat GPT-4 : Tests pour faire votre choix

Chat GPT-4 promet une bien meilleure analyse des questions posées que GPT-3.5

Voici quelques tests qui pourront vous permettre de vous faire votre propre analyse.

Mathématique logique

Question : Actuellement j’ai l’âge où mon père a eu mon frère, mon frère a dix ans de plus que mois. mon père a 50 ans quel âge est ce que j’ai ?

Réponse GPT 3.5 Fausse
16.67 ans, si on multiplie cet âge par 2 et qu’on ajoute 10 ans on devrait arriver à 50 ans l’âge du père de la question, or on arrive à 43.3 ans.

Il oublie complètement l’écart de 10 ans avec le frère et divise par 3 alors qu’il faut diviser par 2.

Réponse GPT 4 Juste

20 ans : 2 X 20 + 10 = 50 ans c’est bien la bonne réponse
On notera qu’il prend des libertés et qu’il me tutoie 🙂 peut être parce que je le tutoies aussi.

“Comptage”

Question : Je viens d’écrire sur une feuille tous les nombres de 100 à 400. Combien de fois ai-je écrit le chiffre 2 ?

Réponse GPT 3.5 Fausse
Complètement incohérente : 631 alors qu’il n’y a même pas 631 chiffres entre 100 et 400.
Je vous passe tout le raisonnement qu’il a fait pour en arriver là.

Réponse de GPT-4 Juste
160 : C’est bien la bonne réponse

Il ne s’agit là que de premiers tests (j’en ajouterai encore d’autres) démontrant bien que GPT-4 a progressé par rapport à GPT 3.5. Malheureusement pour des cas bien particuliers GPT-4 se trompe encore. Et heureusement souvent GPT 3.5 ne se trompe pas.

Création d’une application

J’ai réalisé un article détaillé la création du jeu Snake par Chat GPT-4.
Et avec GPT 3.5 j’ai aussi pu réaliser le jeu Snake très semblable.

Là où on pourra percevoir des différences c’est dans l’analyse de la demande comme on peut le voir dans les exemples ci-dessus, GPT-4 comprend bien mieux ce qu’on lui demande et cela s’applique également à la programmation.

De plus si vous commencez à lui demander des choses un peu avancer, GPT-3.5 a tendance à commettre des erreurs de programmation, GPT-4 est bien plus sûr même s’il n’est pas infaillible.

Résumé et autre fonction sur le texte

Résume moi la théorie de la relativité en 25 mots

GPT 3.5 : 27 mots, définition correcte vue la contrainte de mots. Mais il ne respecte pas exactement la contrainte, sur 25 mots ça n’a pas d’importance mais sur x paragraphes ça peut joué.

GPT-4 : 25 mots, meilleure définition de mon point de vue.