Ο Shannon μετρά την πρόβλεψη
Ο Claude Shannon δείχνει ότι μπορείς να παράγεις κείμενο που μοιάζει με αγγλικά απλώς μετρώντας ποιες λέξεις ακολουθούν ποιες.
Αίθουσα 5, 1948–2022
Γλώσσα και τα πρώτα LLM
Ένα γλωσσικό μοντέλο κάνει, στον πυρήνα του, κάτι απλό: προβλέπει ποια λέξη έρχεται μετά. Η ιδέα είναι παλιά. Αυτό που άλλαξε είναι η κλίμακα: πόσα κείμενα διαβάζει και πόσο μακριά «κοιτάει» μέσα στη φράση.
Άνοιξε τη διαδραστική αίθουσα →Εκθέματα της αίθουσας
Οι λέξεις γίνονται αριθμοί
Με το word2vec, κάθε λέξη αναπαρίσταται ως σημείο σε έναν χώρο. Λέξεις με παρόμοιο νόημα βρίσκονται κοντά.
Ο Transformer
Ερευνητές της Google δημοσιεύουν το «Attention Is All You Need». Ο μηχανισμός προσοχής επιτρέπει στο μοντέλο να συνδέει κάθε λέξη με όλες τις υπόλοιπες της φράσης.
GPT και BERT
Η OpenAI και η Google δείχνουν ότι ένα μοντέλο εκπαιδευμένο πρώτα σε τεράστιο όγκο κειμένου μπορεί μετά να προσαρμοστεί σε πολλές εργασίες.
GPT-3
Με 175 δισεκατομμύρια παραμέτρους, το μοντέλο γράφει κείμενα, μεταφράζει και απαντά, συχνά με λίγα μόνο παραδείγματα.
Το ChatGPT
Στις 30 Νοεμβρίου, ένα γλωσσικό μοντέλο σε μορφή συνομιλίας γίνεται διαθέσιμο σε όλους. Η ΤΝ μπαίνει στην καθημερινότητα.