DeepSeek lanza un modelo que reduce a la mitad los costos de la API
Investigadores de DeepSeek han presentado un nuevo modelo experimental denominado V3.2-exp, diseñado para reducir drásticamente los costos de inferencia en escenarios con contexto largo. El modelo incorpora una técnica llamada Sparse Attention (atención escasa), que opera mediante dos componentes clave: un “indexador relámpago” que selecciona fragmentos relevantes del contexto, y un sistema de “selección fina de tokens” que elige solo los tokens cruciales dentro de esos fragmentos para procesarlos. En conjunto, estos mecanismos permiten que el modelo pueda manejar textos extensos con una carga computacional mucho menor.
Reducción de costos e implicaciones técnicas
Según pruebas preliminares de DeepSeek, el uso de este modelo puede reducir el costo de una llamada API en hasta la mitad en operaciones que manejan contexto largo. Al ser un modelo de “peso abierto” (open-weight) y estar disponible en Hugging Face, terceros podrán validar y comparar los resultados por sí mismos. DeepSeek señala que estas mejoras podrían aportar lecciones útiles para otros proveedores de modelos, especialmente en el área de optimización del costo de inferencia.
DeepSeek, una compañía con base en China, ya había llamado la atención con su modelo R1, que fue entrenado usando principalmente técnicas de aprendizaje por refuerzo con costos relativamente bajos frente a competidores estadounidenses. Aunque R1 no llegó a generar una revolución inmediata, posicionó a la empresa como un actor interesante dentro del panorama de innovación en IA. Con el nuevo enfoque de atención escasa, DeepSeek sigue explorando cómo hacer más eficientes los modelos de tipo transformador, buscando que consuman menos recursos al procesar contextos extensos.
En síntesis, el lanzamiento de V3.2-exp con Sparse Attention representa un paso prometedor hacia modelos de IA más eficientes y menos costosos para casos de uso que implican grandes cantidades de texto. Su naturaleza abierta facilitará la verificación por parte de la comunidad, y su éxito o fracaso podría influir en la dirección futura de optimización de modelos comerciales.
Vía – Techcrunch
