Entenda os Tokens do ChatGPT/OpenAI

Muita gente ouve falar que o ChatGPT tem 128 mil tokens, que o Claude 2 tem 200 mil tokens mas afinal o que são tokens?

https://www.youtube.com/watch?v=HuO2KeW2es4