DOCUMENTAÇÃO · TRANSFORMER EM NUMPY
Veja o cálculo.
Entenda o modelo.
Do primeiro token ao gradiente: explore a rede, acompanhe os valores e abra o código que faz cada operação.
ESCOLHA POR ONDE ENTRAR
Explore. Entenda. Experimente.
- 01
Explore com um token
Gere uma previsão, leia os tokens e acompanhe os controles do laboratório.
- 02
Entenda cada cálculo
Conecte os vetores, a atenção e as rotações às equações e aos valores reais.
- 03
Programe com o motor
Use o mesmo Transformer em Python: inferência, snapshots, autograd e treino.
SIGA O CAMINHO DOS DADOS
Um modelo, dois percursos
- 01
Separar o texto
BPE transforma caracteres e subpalavras em IDs.
texto → ids - 02
Consultar vetores
Cada ID seleciona uma linha da matriz de embedding.
X = E[ids] - 03
Relacionar o contexto
4 blocos combinam atenção causal, resíduos e SwiGLU.
Q, K, V · RoPE · GQA - 04
Projetar a saída
Normalizar e comparar a saída com o vocabulário.
z = RMSNorm(X) · Eᵀ - 05
Calcular probabilidades
A temperatura controla a distribuição de escolha.
p = softmax(z / T) - 06
Escolher o token
Sortear com p ou escolher o mais provável.
sample(p) / argmax(p)
O token escolhido entra no contexto e inicia a próxima previsão.
- 01
Preparar janelas
O alvo é o próximo token de cada posição.
x = ids[t:t+n] · y = ids[t+1:t+n+1] - 02
Executar forward
O modelo produz logits para todas as posições.
logits: B × n × V - 03
Medir a perda
Entropia cruzada penaliza a probabilidade baixa do alvo.
L = −mean(log p[target]) - 04
Propagar gradientes
Autograd percorre o grafo em sentido reverso.
loss.backward() - 05
Atualizar pesos
Clipping, taxa de aprendizado e AdamW ajustam os parâmetros.
AdamW.step(lr) - 06
Validar e salvar
Medir a perda de validação e guardar o checkpoint.
evaluate() · model.save()
Os pesos atualizados são usados em novas janelas do corpus. O treino acontece pela biblioteca Python.
DO MAPA AOS NÚMEROS
Dê tempo para cada etapa.
Ative slow motion, pause em Q, K ou V e compare a equação com a matriz calculada. O inspetor mostra dimensões, estatísticas e a linha de Python que gerou o resultado.
- 01Gere um token real.
- 02Pause no cálculo que deseja estudar.
- 03Leia a explicação, os valores e o código.
UMA BIBLIOTECA, DUAS FORMAS DE EXPLORAR
O site usa o mesmo motor Python.
Laboratório
Controles, mapa e matrizes
TypeScriptWeb Worker
Python no navegador
Pyodide · wheelglassllm
Modelo, autograd e snapshots
Python · NumPyA geração roda localmente depois do carregamento do runtime e dos pesos. A interface recebe os resultados e reproduz o percurso; o treino é executado pela biblioteca em Python.
Entender a integraçãoCONSULTE QUANDO PRECISAR
Toda a documentação
Guias de uso, fundamentos, referência das funções e artigos organizados pelo caminho que você está estudando.
Primeiros passos
3Entender o projeto e executar o primeiro experimento.
Guia da interface
8Componentes, prints e tarefas do laboratório.
Fundamentos do Transformer
9Intuição, equações, dimensões e ligação com o código.
Referência da biblioteca
10Contratos, funções, exemplos e comportamento do motor NumPy.
Projeto e referências
5Integração, dados, validação, glossário e artigos.