EN DESARROLLO LipScribe es un experimento en sus inicios: sus modelos de lectura de labios aún se están entrenando y fallan muchas palabras. Úsalo para captar la idea y revisa cada palabra.
Lo que LipScribe leyó de verdad en este clip, sin sonido. Vídeo: “SUBJUNTIVO más FÁCIL en 8 minutos”, Spanish with Vicente, CC BY 3.0 (recortado y sin sonido).
LipScribe encuentra las caras de tu vídeo, sigue la boca de quien habla y le lee los labios con un modelo de IA que funciona íntegramente en tu navegador. Obtienes una transcripción con tiempos en la que cada palabra indica su probabilidad de ser correcta. Lee vídeos en inglés y, en beta, en español. No se sube nada. Gratis.
Cada idioma hablado tiene su propio modelo de lectura de labios (inglés 169 MB, español 169 MB). Se descarga en tu navegador una sola vez, la primera vez que usas ese idioma, y queda en caché: a partir de ahí LipScribe funciona sin conexión. Todo se ejecuta en tu propio procesador; tu vídeo nunca viaja.
MP4, MOV o WebM desde el móvil o el ordenador: uno o varios clips. Se abre en la pestaña del navegador; no se envía nada a ningún sitio.
Las caras se detectan y se siguen a lo largo del clip automáticamente. Si hay varias personas, toca la que quieras; la app muestra exactamente qué boca está leyendo.
Frases con tiempos y cada palabra coloreada según su probabilidad de acierto. Toca una palabra para ver qué otra podría ser. Exporta subtítulos TXT, SRT o VTT, o un JSON con todas las alternativas.
Muchos sonidos se ven iguales en los labios —en inglés, «pat», «bat» y «mat» son la misma forma de boca— e incluso los lectores labiales expertos se pierden mucho. Así que, en lugar de fingir que acierta siempre, cada palabra lleva una probabilidad y puedes ver las otras lecturas probables. Espera la idea general, no una transcripción literal. Cifras medidas en nuestro conjunto de prueba: 67 clips reales, 60 minutos.
Thank you all for coming tonight
Antes de leer, la app comprueba el tamaño de la cara, el giro de la cabeza, la detección y la frecuencia de imagen, y te avisa si un clip va a ser difícil.
«No subimos tu vídeo» es una promesa que hace cualquier servicio. LipScribe está hecho para que no tengas que creértela sin más:
Network. Lee un clip: verás cómo el modelo se descarga hacia ti y que no sale nada.Un vídeo grabado con el micro apagado o compartido sin audio: hazte una idea de lo que dijo quien habla.
Viento, tráfico, música o gente hablando por encima de la voz. El ruido no llega a los labios, así que siguen llevando las palabras.
Subtítulos de borrador para tus propias grabaciones cuando no hay pista de audio utilizable: un punto de partida que corregir, no subtítulos terminados.
Películas familiares y rollos de archivo cuyo sonido se perdió o nunca se grabó, leídos en tu propio equipo.
Úsalo con responsabilidad: en vídeos que hayas grabado tú o que tengas derecho a usar, y con respeto por las personas que aparecen.
No. Tu navegador abre el archivo, los modelos de IA se ejecutan en la memoria del navegador y la transcripción se guarda en tu carpeta de descargas cuando la exportas. No hay ningún servidor de por medio: no podríamos ver tu vídeo aunque quisiéramos.
Sí, en beta. Elige el idioma hablado en la app antes de leer: es el idioma que se habla en el vídeo y es independiente del idioma de la interfaz (español, inglés, alemán, francés o chino). Por ahora el español es algo menos preciso que el inglés.
Con clips reales variados en inglés acierta unas dos de cada tres palabras; con una persona de frente y bien grabada en estudio, alrededor del 85%. El español (beta) acierta alrededor del 65%. El resultado depende mucho del vídeo; por eso cada palabra lleva una probabilidad y puedes ver las otras lecturas probables de cada palabra y de cada frase. Espera la idea general más que una transcripción literal; los nombres, los números y las palabras poco comunes le cuestan especialmente.
El porcentaje de cada palabra es su probabilidad de ser correcta, estimada a partir de lo que el modelo vio alrededor de esa palabra. Las palabras en blanco son probables (80% o más), las ámbar, inseguras, y las de color coral subrayadas, dudosas (menos del 50%). Las lecturas de cada frase muestran cómo se reparte la probabilidad entre las lecturas que conservó el decodificador. En nuestro conjunto de prueba, las palabras mostradas con un 80–100% eran correctas alrededor del 93% de las veces.
Una persona de frente a la cámara, con la cara razonablemente grande, buena luz y 25–30 fps. MP4, MOV y WebM funcionan en los navegadores actuales. Que haya varias personas en el plano no es problema: tú eliges a quién leer los labios.
La primera vez que lees un idioma, tu navegador descarga su modelo de lectura de labios (inglés 169 MB, español 169 MB) y lo guarda en caché. A partir de ahí arranca enseguida, incluso sin conexión. En la CPU de un portátil, la lectura va unas 1,6 veces más rápida que el tiempo real (un clip de un minuto tarda unos 40 segundos); los móviles y los ordenadores antiguos tardan varias veces más.
Es gratis. Los modelos abiertos de lectura de labios que usa (Auto-AVSR para inglés, ViSpeR para español) tienen licencia solo para investigación y uso no comercial, así que LipScribe también: el uso personal, educativo y de investigación está permitido; el uso comercial necesitaría modelos entrenados con vídeo con los derechos en regla. Si LipScribe te ha servido, puedes hacer una donación de lo que quieras.