Ανησυχητικά μεγάλο ήταν το ποσοστό των λανθασμένων απαντήσεων του δημοφιλούς chatbot της OpenAI, ChatGPT, όταν του τέθηκαν 517 ερωτήσεις προγραμματισμού, σύμφωνα με μελέτη που διεξήχθη στο Πανεπιστήμιο Περντιού της Ιντιάνα των ΗΠΑ.
Συγκεκριμένα, τα ευρήματα έδειξαν ανακρίβειες στις απαντήσεις του ChatGPT σε πάνω από το 50% των περιπτώσεων. Η σχετική μελέτη, που παρουσιάστηκε στο Conference on Human Factors in Computing Systems (CHI 2024), είχε στόχο να αξιολογήσει την αξιοπιστία του ChatGPT στην παροχή ακριβών απαντήσεων σε ερωτήσεις που σχετίζονται με τον προγραμματισμό, σύμφωνα με τον ιστότοπο Techtimes.
Με την αυξανόμενη δημοτικότητα μοντέλων τεχνητής νοημοσύνης όπως το ChatGPT μεταξύ των φοιτητών προγραμματισμού, που αναζητούν βοήθεια με τη συγγραφή κώδικα και την εννοιολογική κατανόηση, οι ερευνητές προσπάθησαν να αξιολογήσουν την αποτελεσματικότητα του chatbot στην παροχή αξιόπιστων πληροφοριών.
Χρησιμοποίησαν ερωτήσεις από τον ιστότοπο StackOverflow, μια πλατφόρμα που χρησιμοποιείται ευρέως από προγραμματιστές για ανταλλαγή γνώσεων και επίλυση προβλημάτων και υπέβαλαν το ChatGPT σε 517 ερωτήματα προγραμματισμού.
Οι ερωτήσεις περιλάμβαναν διάφορα θέματα και πολυπλοκότητες που συναντώνται συνήθως στην πρακτική προγραμματισμού. Οι ερευνητές ανέλυσαν τις απαντήσεις του ChatGPT σε κάθε ερώτημα, αξιολογώντας την ορθότητα, τη συνέπεια και την πληρότητα των απαντήσεων.
Η μελέτη αποκάλυψε ότι η απόδοση του αλγόριθμου στην παροχή ακριβών απαντήσεων σε ερωτήσεις προγραμματισμού ήταν ιδιαίτερα χαμηλή, με το εργαλείο της OpenAI να παρέχει σωστές απαντήσεις μόνο σε λιγότερες από τις μισές περιπτωσεις.
Έδειξε επίσης, ότι οι χρήστες προτιμούσαν τις απαντήσεις του στο 35% των περιπτώσεων. Ωστόσο, η ομάδα διαπίστωσε επίσης ότι οι χρήστες παρέβλεψαν τις λανθασμένες απαντήσεις του chatbot στο 39% των περιπτώσεων.
«Αυτό συνεπάγεται την ανάγκη να αντιμετωπιστεί η παραπληροφόρηση στις απαντήσεις του ChatGPT σε ερωτήσεις προγραμματισμού και να αυξηθεί η ευαισθητοποίηση σχετικά με τους κινδύνους που σχετίζονται με τις φαινομενικά σωστές απαντήσεις», ανέφεραν οι συγγραφείς της μελέτης.
Οι ερευνητές αναμένουν ότι η μελέτη τους θα οδηγήσει σε πρόσθετη έρευνα για την ενίσχυση της διαφάνειας σχετικά με ανακρίβειες που παράγονται από μοντέλα τεχνητής νοημοσύνης, ιδιαίτερα στον τομέα του προγραμματισμού.
Διαβάστε επίσης:
Συνεργάτης Θεοδωρικάκου ομολογεί παρεμβάσεις με εντολή Μαξίμου στο Εσωτερικών Υποθέσεων
Χωρίς συμφωνία το «μεγάλο παζάρι» για τα αξιώματα της ΕΕ – Πού «μπλόκαραν» οι συζητήσεις
Κύρτσος: Πως φτάσαμε στο «αδιέξοδο» της συμφωνίας των Πρεσπών και η στάση της κυβέρνησης Μητσοτάκη
Ισραήλ: Εννέα συλλήψεις στις ογκώδεις διαδηλώσεις κατά Νετανιάχου
