Μετρήσεις

Πόσο συχνά ο ανιχνευτής AI μας κάνει λάθος για έναν άνθρωπο

Κάθε ανιχνευτής AI βγάζει ένα σίγουρο ποσοστό. Κανείς δεν σου λέει πόσο συχνά αυτό το ποσοστό κάνει λάθος για κάποιον που έγραψε μόνος του την εργασία του. Αυτός ο δεύτερος αριθμός είναι αυτός που μετράει αν ο κατηγορούμενος φοιτητής είσαι εσύ, γι' αυτό δημοσιεύουμε αυτόν, για τις γλώσσες στις οποίες τον έχουμε μετρήσει.

Τελευταία μέτρηση: 24 Αυγούστου 2026. Κάθε αριθμός παρακάτω προέρχεται από ένα script στο αποθετήριό μας που μπορεί να ξανατρέξει στα ίδια επισημασμένα σώματα κειμένων.

Μετρημένα ποσοστά ψευδώς θετικών

Πόσο συχνά ένα ακαδημαϊκό κείμενο γραμμένο σίγουρα από άνθρωπο παίρνει την πιο ισχυρή μας ετυμηγορία. Η ακρίβεια δεν είναι ένας αριθμός: αλλάζει με τη γλώσσα και το μήκος του εγγράφου, γι' αυτό αναφέρουμε τέσσερα προφίλ αντί για έναν μέσο όρο που θα έκρυβε τα αδύναμα. Κάθε ποσοστό είναι ένα άνω όριο 95% και όχι ο παρατηρούμενος αριθμός: το όριο είναι αυτό που έχουμε το δικαίωμα να ισχυριστούμε, και είναι πάντα το χειρότερο από τα δύο. Τα κατώφλια σε αυτούς τους πίνακες είναι στις εσωτερικές μας κλίμακες μέτρησης· η βαθμολογία που εμφανίζεται είναι η ίδια πληροφορία σε σταθερό άξονα, πορτοκαλί από το 20 και κόκκινο από το 50.

Οι πιο αδύναμες ετυμηγορίες, που έχουν περισσότερο θόρυβο

Οι περισσότεροι αναγνώστες δεν βλέπουν ποτέ την πιο ισχυρή ετυμηγορία. Βλέπουν μία από αυτές, και τα ποσοστά σφάλματος εδώ είναι αυτά που τους αφορούν πραγματικά. Η χαμηλότερη αγγλική πορτοκαλί ζώνη είναι με διαφορά αυτή με τον περισσότερο θόρυβο.

Τι δεν είναι αυτοί οι αριθμοί

• Το παρατηρούμενο μηδέν δεν είναι μηδέν. Κανένα από τα δύο μακρά προφίλ δεν έδωσε ούτε ένα ψευδώς θετικό στο πιο αυστηρό κατώφλι στα ακατέργαστα σώματα δομής. Δημοσιεύουμε παρ' όλα αυτά το άνω όριο 95% για αυτό το μέγεθος δείγματος, γιατί το να γράψουμε «0%» θα ήταν ακριβώς η υπερβολική σιγουριά απέναντι στην οποία υπάρχει αυτή η σελίδα.
• Το αγγλικό σώμα είναι λάθος είδους. Αυτά τα έγγραφα είναι άρθρα περιοδικών: επιμελημένα, επαγγελματικά, γραμμένα από ομάδες. Μια φοιτητική εργασία δεν είναι τίποτα από αυτά. Το ποσοστό μετρήθηκε τίμια σε αυτό που λέει ότι μετρήθηκε, και τα αγγλικά κατώφλια μένουν εκεί που είναι μέχρι να υπάρξουν αρκετές φοιτητικές εργασίες σε αγγλικά ως δεύτερη γλώσσα για να δικαιολογήσουν τη μετακίνησή τους.
• Το σύντομο κείμενο δεν έχει κανένα δημοσιευμένο ποσοστό. Το σύντομο προφίλ αφορά ένα παράθυρο λίγων εκατοντάδων λέξεων, και κανένα ανθρώπινο σώμα που διαθέτουμε δεν προέρχεται από αυτό το παράθυρο. Τα ποσοστά που υπήρχαν εδώ αφαιρέθηκαν στις 21 Αυγούστου 2026 αντί να μείνουν, γιατί ένας πειστικός αριθμός χωρίς πληθυσμό πίσω του παραμένει αβάσιμος ισχυρισμός.
• Τα σώματα AI είναι μικρά: περίπου είκοσι έγγραφα ανά γλώσσα, από δύο οικογένειες μοντέλων. Ένα μοντέλο που δεν έχουμε δοκιμάσει μπορεί να συμπεριφερθεί διαφορετικά.
• Τα ελληνικά δεν είναι βαθμονομημένα. Ένα ελληνικό κείμενο παίρνει ετυμηγορία που βασίζεται μόνο στη δομή του κειμένου, προσωρινή, χωρίς κανέναν ισχυρισμό ακρίβειας, και δεν παίρνει ποτέ κόκκινη ετυμηγορία.

Πάνω σε τι μετρήσαμε

Κάθε ανθρώπινο έγγραφο παρακάτω δημοσιεύτηκε πριν υπάρξει το ChatGPT, άρα η πατρότητά του δεν είναι ζήτημα κρίσης.

Κάποτε παραλίγο να δημοσιεύσουμε έναν ανιχνευτή χειρότερο από το στρίψιμο ενός νομίσματος

Σε μια πρώιμη εκδοχή, η μέτρηση σε 236 περιλήψεις arXiv πριν το 2022 έδωσε AUC 0.184. Το στρίψιμο νομίσματος είναι 0,50. Ο ανιχνευτής θεωρούσε το κείμενο της μηχανής πιο ανθρώπινο από αυτό των ανθρώπων· αν αντιστρέφαμε το αποτέλεσμά του, θα βελτιωνόταν. Και όλο αυτό το διάστημα έβγαζε σίγουρα ποσοστά.

Η αιτία ήταν μια οικογένεια δεικτών λεξιλογικού πλούτου (το K του Yule, MTLD, ο εκθέτης του Zipf, τα hapax legomena), όλοι με αντίθετη κατεύθυνση και ισχυρή επίδραση. Βαθμολογούν τον πυκνό ανθρώπινο ακαδημαϊκό λόγο ως μηχανικό και τον λεξιλογικά ποικίλο λόγο της μηχανής ως ανθρώπινο. Είναι ο ίδιος μηχανισμός πίσω από το δημοσιευμένο εύρημα ότι οι ανιχνευτές επισημαίνουν λανθασμένα την πλειονότητα όσων γράφουν αγγλικά ως δεύτερη γλώσσα.

Σήμερα αυτοί οι δείκτες έχουν βάρος μηδέν. Υπολογίζονται ακόμη και εμφανίζονται ως ενδείξεις, αλλά δεν μετακινούν τη βαθμολογία. Το δημοσιεύουμε επειδή είναι το ισχυρότερο επιχείρημα που έχουμε υπέρ της μέτρησης: το σφάλμα ήταν αόρατο από το αποτέλεσμα και προφανές από το σώμα κειμένων, και ένας ανιχνευτής που δεν έχει κάνει ποτέ αυτό το τεστ δεν ξέρει αν έχει το ίδιο πρόβλημα.

Τι δεν μπορεί να κάνει κανένας ανιχνευτής

Κανένας ανιχνευτής AI, ούτε αυτός, δεν αποτελεί απόδειξη πατρότητας. Αυτά τα εργαλεία μετρούν στατιστικές ιδιότητες του κειμένου, και η επίσημη, δομημένη ή σε δεύτερη γλώσσα ανθρώπινη γραφή μοιράζεται πολλές από αυτές. Μια βαθμολογία είναι λόγος να κάνεις μια ερώτηση, ποτέ να βγάλεις συμπέρασμα.

Ερευνητές και δημοσιογράφοι: τα σώματα κειμένων, ο κώδικας αξιολόγησης και τα εργαλεία βαθμονόμησης βρίσκονται όλα στο αποθετήριο πίσω από αυτόν τον ιστότοπο. Αν θέλεις να αναπαραγάγεις ή να αμφισβητήσεις κάποιον αριθμό αυτής της σελίδας, γράψε στο contact@thesisdraft.com και θα σε βοηθήσουμε.