Mistral ha lanzado su primer modelo abierto de voz Voxtral, con capacidades para transcribir audios de hasta 30 minutos o de hasta 40 minutos para comprensión, así como resolver preguntas sobre el contexto del audio y generar resúmenes estructurados.
La compañía ha subrayado la importancia del habla como la forma “más natural” de interacción entre humanos y ordenadores, para lo que ha compartido su intención de ofrecer herramientas de transcripción “excepcional”, un profundo conocimiento y fluidez multilingüe, todo ello, con una implementación abierta y flexible.
En este sentido, Mistral ha presentado la familia de modelos de comprensión del habla Voxtral, que está compuesta por una versión de 24B para aplicaciones a escala de producción y una variante de 3B para implementaciones locales y en el ‘edge’.
Estos modelos se han ideado con el objetivo de ofrecer herramientas de calidad para inteligencia de voz de forma abierta y gratuita, como alternativa a las API “cerradas y propietarias” que ofrecen otras empresas en el sector, tal y como ha matizado la tecnológica en un comunicado en su web.
Así, Mistral ha asegurado que Voxtral ofrece “precisión de vanguardia” y capacidades de comprensión semántica nativa en abierto, lo que permite a ambas versiones de tamaño llevar a cabo transcripciones de audios de hasta 30 minutos, así como la comprensión de audios de hasta 40 minutos, con una longitud de contexto de token de 32K.
Igualmente, este modelo también es capaz de responder a preguntas de los usuarios sobre el contenido del audio, al tiempo que genera resúmenes estructurados “sin necesidad de encadenar modelos de lenguaje y ASR separados”.
Además, Voxtral es multilingüe, con lo que detecta automáticamente los idiomas utilizados en los audios y es capaz de comprender con un alto rendimiento inglés, español, francés, portugués, hindi, alemán, holandés e italiano, entre otros.
Por otra parte, también incluye facilidades como la llamada de funciones directamente por voz. Esto permite la activación directa de funciones de ‘backend’, flujos de trabajo o llamadas API, en función de las intenciones habladas del usuario. Es decir, convierte las interacciones de voz en comandos de sistema procesables.
Todo ello está reforzado igualmente por una alta comprensión de texto, ya que conserva las capacidades de su modelo de lenguaje principal, que es Mistral Small 3.1, tal y como ha detallado la compañía.
Por tanto, los modelos Voxtral se convierten en un servicio pensado para llevar a cabo interacciones reales y acciones posteriores, como resúmenes, respuestas, análisis y obtención de información.
De hecho, Mistral ha asegurado que “para casos de uso con un presupuesto ajustado”, Voxtral Mini (3B) supera a Whisper de OpenAI a la hora de transcribir audios “por menos de la mitad del precio”. Igualmente, para casos de uso “premium” Voxtral iguala el rendimiento de ElevenLabs Scribe.
Estos modelos se han puesto a disposición de los usuarios de forma gratuita y se han publicado de forma abierta bajo la licencia Apache 2.0. Así, se puede acceder a Voxtral desde la API de Mistral y desde el asistente Le Chat (disponible para todos los usuarios en las próximas semanas), y la compañía proporcionará próximamente “un punto final altamente optimizado” solo para transcripción.
