Como acompanhar custo, limites e recibos de inferência

Tokens não contam toda a história

Um pedido pode reservar um valor antes da resposta e terminar com um consumo menor. A reserva protege o limite autorizado. A liquidação usa o contrato e o consumo que foi possível medir. Por isso, valor reservado e valor cobrado aparecem como informações diferentes.

Também há diferença entre o custo do provedor e o serviço da RN. Uma chave própria e uma chave fornecida podem seguir contratos distintos. Consulte a tarifa aplicável ao seu caso. Um campo sem informação não representa custo zero.

Recupere o estado antes de repetir

Quando há reserva no gateway, o cabeçalho X-RN-Inference-Receipt identifica o recibo. A rota /v1/inference/receipts permite consultar os registros autorizados do pagador. O painel também mostra recibos na gestão de inferência.

Uma conexão interrompida não prova que o provedor deixou de executar o pedido. Uso desconhecido pode permanecer pendente para conciliação. Consulte o recibo e o estado do recurso assíncrono antes de enviar o mesmo trabalho outra vez. A RN não repete automaticamente um envio nativo já feito.

Defina limites em mais de um nível

O limite de saída limita o tamanho da resposta solicitada. As cotas da organização controlam pedidos e tokens no período. Saldo e contrato controlam a autorização financeira. Esses controles se complementam; um não substitui o outro.

Arquivos e operações de leitura não são a mesma coisa que uma nova inferência. Lotes precisam de um contrato que represente seu processamento posterior; uma tarifa por token na criação não mede todo o trabalho do lote. Para investigar um erro, guarde o identificador do pedido e do recibo, sem colocar prompts ou chaves em logs públicos.

Perguntas frequentes