generacion_respuestas.py

def generar_respuesta(prompt, max_length=200, num_beams=4):
    """Genera respuesta del modelo"""

    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=512).to(device)

    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_length=max_length,
            min_length=20,
            num_beams=num_beams,
            length_penalty=1.5,
            no_repeat_ngram_size=3,
            early_stopping=True,
            do_sample=False,
            pad_token_id=tokenizer.pad_token_id,
            eos_token_id=tokenizer.eos_token_id
        )

    respuesta = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return respuesta