Ir para o conteúdo

Radar ·

DroPE: extensão de contexto sem embeddings posicionais

Publicado em 12 de janeiro de 2026, o resumo apresenta o DroPE: uma técnica que remove embeddings posicionais após o treinamento e usa uma calibração curta para estender o contexto.

Um post publicado em 12 de janeiro de 2026 descreve o DroPE, método que remove embeddings posicionais depois do treinamento e aplica uma calibração curta. Segundo o texto, a técnica permite estender o contexto em zero-shot e melhora resultados de retrieval e perguntas e respostas em 16k, em comparação com baselines, em modelos de até 7B.

A proposta pode ampliar o contexto sem fine-tuning específico para contextos longos. Para conferir o alcance da alegação, consulte o post original e verifique nele a configuração dos testes, os baselines e as métricas; o resumo disponível não informa esses detalhes. Se usar IA para estudar ou aplicar o método, evite inserir dados pessoais ou documentos internos sem autorização e proteja informações confidenciais conforme a política da organização.

Fonte original: DroPE remove embeddings posicionais para estender o contexto

Curadoria · AgentLog

Receba o essencial

Privacidade, engenharia de IA e segurança no seu e-mail.

No máximo um resumo por dia, quando houver novidades. Cancele quando quiser. Usamos o e-mail verificado da sua conta.

Privacidade

Procurando outra coisa?AjudaContato