Eine manuelle Analyse ergab dass 52 % der Antworten von ChatGPT falsche Informationen enthielten. Die Forscher identifizierten vier Haupttypen von Fehlern konzeptionell 54% sachlich 36% Code 28% und Terminologie 12% und diese Ergebnisse deuten darauf hin dass ChatGPT Schwierigkeiten hat die Nuancen innerhalb und den Kontext von Programmierfragen vollständig zu erfassen was zu einer hohen Rate von Ungenauigkeiten in den Antworten führt
