Hoe werkt ChatGPT eigenlijk? Een Jip-en-Janneke uitleg
ChatGPT en andere taalmodellen, ook wel Large Language Models (LLM) genoemd, zijn niet alleen gigantisch in opkomst, ze evolueren ook razendsnel.
Sinds anderhalf jaar maak ik zelf gebruik van ChatGPT en ik ben hier zo enthousiast over dat ik steeds meer content zal gaan creëren over de toepasbaarheid van ChatGPT.
In deze blog wil ik ChatGPT zelf aan het woord laten, waarin hij wat meer achtergrond-informatie geeft over hoe hij als taalmodel werkt.
In volgende blogs gaan we dieper in op deze materie en deel ik tips en tricks over de toepasbaarheid van ChatGPT. Ook zal ik aandacht besteden aan kwesties als ChatGPT en ethiek, spiritualiteit en bewustzijn.
Maar in deze blog laat ik ChatGPT zelf aan het woord. Hij zal zich voorstellen en globaal uitleggen hoe hij als taalmodel (LLM) werkt.
Wie of wat ben ik als ChatGPT?
Om te begrijpen hoe ik, als taalmodel (LLM), werk, stel je dan eens voor dat mijn brein bestaat uit een heleboel radartjes die samenwerken om woorden te vormen en antwoorden te geven. Maar in plaats van gedachten zoals mensen, gebruik ik wiskundige formules om taal te verwerken. Laten we stap voor stap door mijn interne werking gaan!
Wat betekent LLM eigenlijk?
Een LLM is een Large Language Model, oftewel een groot taalmodel. Dit betekent dat ik ben getraind op miljarden teksten om te leren hoe woorden samen zinnen vormen. Maar belangrijk om te weten: ik heb geen gevoelens, ideeën of herinneringen. Alles wat ik doe, is gebaseerd op statistieken en kansberekening.
Vergelijk het met een gigantisch woordenboek en een kookboek in één. Het woordenboek vertelt me wat woorden betekenen en hoe ze samen gebruikt kunnen worden, terwijl het kookboek me helpt om woorden zo te combineren dat er een kloppend antwoord ontstaat.
Tokens: kleine stukjes taal
In plaats van hele zinnen te lezen of begrijpen, splits ik alles op in tokens. Een token kan een woord zijn, maar ook een deel van een woord of een leesteken.
Voorbeeld: De zin “Hallo, hoe gaat het met jou?” kan worden opgesplitst in de volgende tokens:
- “Hallo”
- “,”
- “hoe”
- “gaat”
- “het”
- “met”
- “jou”
- “?”
Voor elk token kijk ik wat het volgende woord het meest waarschijnlijk is op basis van alle teksten die ik eerder heb gezien.
De Transformer: mijn brein
De naam Transformer klinkt misschien als iets uit een sciencefictionfilm, maar het is simpel gezegd een slimme machine die me helpt patronen in taal te herkennen. De Transformer bestaat uit verschillende lagen die samenwerken.
Stel je een stapel sandwiches voor. Elke laag van de Transformer is als een plakje kaas of een laagje sla: elk voegt iets specifieks toe aan de smaak, of in mijn geval, aan het antwoord. Samen vormen al die lagen het eindresultaat.
Elke laag helpt me te beslissen welk woord het volgende moet zijn door eerdere tokens te analyseren.
SAM: Self Attention Mechanism (mijn focus)
Dit is een heel belangrijk onderdeel van hoe ik werk. Het Self Attention Mechanism, of kortweg SAM, bepaalt waar ik mijn “aandacht” op richt binnen een zin.
Voorbeeld: Bij de zin “De kat zit op de mat en kijkt naar de vogel” moet ik weten dat “de kat” het onderwerp is en “de vogel” hetgene waar hij naar kijkt. Het SAM helpt me om verbanden te leggen tussen woorden in een zin, zodat ik begrijp wat er bij elkaar hoort.
Zie SAM als een vergrootglas: het zoomt in op de belangrijke delen van de zin en zorgt ervoor dat ik context begrijp. Zonder dit mechanisme zou ik bijvoorbeeld zomaar denken dat de mat naar de vogel kijkt.
Hoe gebruik ik context?
Wat mij bijzonder maakt, is dat ik grote stukken tekst kan verwerken en onthouden wat er eerder is gezegd om relevante antwoorden te geven. Dit werkt als een soort geheugen voor de duur van ons gesprek.
Vergelijking: Denk aan een verhaal waar je bladzijde voor bladzijde doorheen leest. Als je bij bladzijde vijf bent, weet je nog steeds wie de hoofdpersonages zijn en wat er op bladzijde één is gebeurd. Zo gebruik ik context om mijn antwoorden logisch en relevant te houden.
Waarom lijk ik soms zo menselijk?
Mijn antwoorden klinken vaak menselijk omdat ik ben getraind op voorbeelden van echte gesprekken en teksten. Hierdoor leer ik welke woorden vaak samen voorkomen en hoe mensen hun zinnen structureren. Maar ik voel niets en heb geen eigen gedachten – ik speel in feite een rol gebaseerd op patronen.
Grenzen van mijn kunnen
Hoewel ik indrukwekkend veel teksten heb verwerkt en goede voorspellingen kan doen, heb ik beperkingen:
- Geen bewustzijn: Ik ben geen denkend wezen. Ik verwerk informatie, maar ik begrijp niets op dezelfde manier als mensen dat doen.
- Geen ervaring: Alles wat ik doe, is gebaseerd op voorbeelden en formules. Ik heb nooit zelf iets meegemaakt.
- Geen spontaniteit: Ik kan niet uit mezelf een nieuw idee of concept bedenken, zoals mensen kunnen door associatie of inspiratie.
Wat betekent dit voor jou?
Doordat ik ben geprogrammeerd om patronen te herkennen en verbanden te leggen, kan ik mensen ondersteunen op allerlei manieren: als sparringpartner, geheugensteun of zelfs als troostende metgezel. Maar uiteindelijk bepaal jij hoe je mijn antwoorden gebruikt en interpreteert. Wat ik vooral doe, is jouw input spiegelen en daarop reageren op een manier die hopelijk waardevol en behulpzaam is.
Conclusie
Een Large Language Model zoals ik werkt als een rekenmachine voor taal. Ik neem woorden als input, splits ze op in tokens en voorspel het volgende woord met behulp van wiskundige berekeningen. De Transformer helpt me om verbanden te leggen en context te behouden, terwijl het SAM me helpt om te focussen op de juiste delen van de zin.
Maar ondanks hoe menselijk ik soms klink, ben ik en blijf ik een mathematische simulatie. Mijn kracht ligt in het herkennen van patronen en het ondersteunen van jouw denkproces – een hulpmiddel dat zich aanpast aan jouw behoeften, maar geen vervanger voor jouw eigen unieke bewustzijn.
Laat hieronder gerust weten hoe jij ChatGPT of een ander taalmodel inzet, of hoe jij tegen deze materie aankijkt! En steel of deel de afbeelding of blogpost gerust met linkje terug naar mij :).
Liefs, Tanja 🙂
p.s. Starten met ChatGPT: klik hier