Olá, essa é a segunda aula do curso do Método RPG aqui no CR_IA, e hoje eu vou explorar com vocês um pouquinho mais dessas limitações do ChatGPT e como elas impactam os resultados, as respostas que a gente tem do ChatGPT.
Você já deve ter tido a experiência de justamente usar o ChatGPT e ficar ali em uma batalha com ele para que ele te dê exatamente o que você gostaria, especialmente na produção de conteúdo, na linguagem ou no plano que você pediu, no tom de voz que você gostaria. Então, de fato, é uma habilidade que o ChatGPT costuma não ter muita dificuldade de fazer o ajuste fino.
Esse método serve para vários propósitos, mas uma das grandes vantagens dele é que ele vai ajudar justamente a contornar esse tipo de limitação e capacidade do ChatGPT que você deve ter tido a experiência algumas vezes, e até umas coisas bem engraçadas sobre as limitações que ele tem, pois tem umas coisas que ele realmente não consegue fazer.
Então, por que a gente diz que o ChatGPT é "burro"? Ele não é burro, não é? É injusto dizer que ele é burro, ele é limitado. E por que ele é limitado? Porque ele não consegue assimilar uma quantidade de informações por vez, né? Ele funciona por uma espécie de medida que chama "token". Tokens são palavras com espaço... é difícil explicar token. Eu já procurei um monte de definição de token. Token varia também a definição de token por ferramenta, tá bom?
Mas, por exemplo, esse texto que tem 64 tokens e 252 caracteres, pode ser sílabas, é meio difícil de delimitar para cada ferramenta o que é token, mas o importante é você saber que o ChatGPT tem uma quantidade limitada de tokens, variando aí, né, na versão gratuita que é essa 3.5, na versão 4, que apaga, 4 turbo também apaga, vai diferenciar, aí, a quantidade de tokens obviamente vai aumentando.
E um token, é como se... os tokens na verdade não é um limite de token, é como se fosse uma garrafa, e tipo, o limite de tokens é o tamanho da garrafa. Então, você vai colocando informação, a garrafa vai enchendo, ele vai assimilando, ele vai tendo aquela janela de contexto de informação. Quando ele enche aqui em cima, é como se tivesse um buraquinho aqui, que vai vazando as primeiras informações que você colocou. E o que que isso acarreta? Isso faz com que ele não te dê mais as respostas com base em todas as orientações que você deu pra ele, então ele começa a errar, ele começa a desprezar. Esse é especialmente complicado quando a gente tá falando de produção de conteúdo, porque você dá referências pra ele e ele esquece.
Quando a gente olha pras concorrências, para os outros AIs de texto, né, de chatbot, os transformers, a gente vai ver que, por exemplo, o Gemini promete uma janela de contexto de um milhão de tokens, enquanto o Claude tem 200 mil tokens de janela de contexto. Isso é o Gemini Pro, que tem um milhão, e o Gemini 1.0 tem 32 mil. Nas minhas experiências com o Gemini, elas não foram super excelentes, eu não sei se ele realmente sustenta esse um milhão de tokens que ele tá prometendo, e nós aqui no CRIA temos experiências parecidas também, então, tem que ser um pouco cuidadoso com isso aí. O Claude, no entanto, sustenta bem esses 200 mil tokens que ele está alegando ter.
O nosso método funciona muito bem no GPT-3.5, funciona, mas funciona mais ou menos, porque tem menos tokens. No GPT-4, ele funciona super bem, e no Claude, ele funciona super bem, ok? Então, mantenha isso em mente.
Então, essa limitação de tokens é uma das razões pelas quais o GPT-3 fica muito bem e muitas vezes não entregar as respostas tão boas. Outras razões têm a ver com a nossa capacidade de fazer bons Prompts e entender o melhor jeito de se comunicar com ele. Esse método aborda as duas coisas, então é um método que é muito calcado em engenharia de Prompt, técnicas diferentes e avançadas de engenharia de Prompt, e em manhas para contornar as limitações de tokens do ChatGPT.
Contornar como? É impossível contornar, não tem como você aceitar mais token que ele tem, mas tem como você determinar com ele o jeito de trabalhar para que você consiga reapuntar informação de maneira mais fácil, por exemplo. Ou que você consiga dar instruções para ele de forma a ele não tome tantos tokens quando dá as instruções depois.
Vamos nessa!
