EN COURS DE DÉVELOPPEMENT LipScribe est une expérience à ses débuts : ses modèles de lecture labiale sont encore en cours d’entraînement et se trompent sur beaucoup de mots. Servez-vous-en pour l’essentiel et vérifiez chaque mot.
Résultat réel de LipScribe sur cet extrait, lu sans le son (parole en anglais). Vidéo : « The Standard Model », Fermilab, CC BY 3.0 (coupée, recadrée, sans le son).
LipScribe repère les visages dans votre vidéo, suit la bouche de la personne qui parle et lit sur ses lèvres avec un modèle d’IA qui tourne entièrement dans votre navigateur. Vous obtenez une transcription horodatée où chaque mot indique sa probabilité d’être juste. La personne peut parler anglais ou, en bêta, espagnol. Rien n’est envoyé. Gratuit.
Chaque langue parlée a son propre modèle de lecture labiale (anglais 169 Mo, espagnol 169 Mo). Il se télécharge une seule fois dans votre navigateur, la première fois que vous utilisez cette langue, et reste en cache : ensuite, LipScribe fonctionne hors ligne. Tout tourne sur votre propre processeur — votre vidéo ne voyage jamais.
MP4, MOV ou WebM depuis votre téléphone ou votre ordinateur — un clip ou plusieurs. Elle s’ouvre dans l’onglet du navigateur ; rien n’est envoyé nulle part.
Les visages sont trouvés et suivis automatiquement tout au long du clip. S’il y a plusieurs personnes à l’écran, touchez celle que vous voulez ; l’app montre exactement quelle bouche elle lit.
Des phrases horodatées, chaque mot coloré selon sa probabilité d’être juste. Touchez un mot pour voir ce qu’il pourrait être d’autre. Exportez des sous-titres TXT, SRT ou VTT, ou un JSON avec toutes les alternatives.
Beaucoup de sons se ressemblent sur les lèvres — en anglais, « pat », « bat » et « mat » ont la même forme de bouche — et même les lecteurs labiaux entraînés en manquent beaucoup. Plutôt que de prétendre être parfait, LipScribe donne donc une probabilité à chaque mot et vous montre les autres lectures probables. Attendez-vous à l’essentiel, pas à un compte rendu mot pour mot. Chiffres mesurés sur notre jeu de test : 67 vidéos réelles, 60 minutes.
Thank you all for coming tonight
Avant de lire, l’app vérifie la taille du visage, la rotation de la tête, la détection et la fréquence d’images, et vous prévient si une vidéo s’annonce difficile.
« Nous n’envoyons pas votre vidéo » : tous les services le promettent. LipScribe est conçu pour que vous n’ayez pas à le croire sur parole :
Network. Lisez une vidéo : vous verrez le modèle se télécharger vers vous, et rien partir.Une vidéo tournée micro coupé, ou partagée sans le son : faites-vous une idée de ce que disait la personne.
Vent, circulation, musique ou foule par-dessus la voix. Le bruit n’atteint pas les lèvres : elles portent toujours les mots.
Des brouillons de sous-titres pour vos propres enregistrements quand aucune piste audio n’est exploitable — un point de départ à corriger, pas des sous-titres finis.
Films de famille et bobines d’archives dont le son a été perdu ou jamais enregistré, lus sur votre propre machine.
Utilisez-le de manière responsable : sur des vidéos que vous avez tournées ou que vous avez le droit d’exploiter, dans le respect des personnes filmées.
Non. Votre navigateur ouvre le fichier, les modèles d’IA tournent dans la mémoire de votre navigateur et la transcription est enregistrée dans votre dossier de téléchargements quand vous l’exportez. Il n’y a aucun serveur : nous ne pourrions pas voir votre vidéo même si nous le voulions.
Pas encore. La personne peut parler anglais ou, en bêta, espagnol. Vous choisissez la langue parlée dans l’app avant la lecture — elle est indépendante de la langue de l’interface (français, anglais, espagnol, allemand ou chinois). Pour l’instant, l’espagnol est un peu moins précis que l’anglais.
Sur des vidéos anglaises réelles et variées, il trouve environ deux mots sur trois ; avec une personne bien visible filmée en studio, environ 85 %. L’espagnol (bêta) atteint environ 65 %. Le résultat dépend beaucoup de la vidéo : c’est pourquoi chaque mot porte une probabilité et que vous voyez les autres lectures probables de chaque mot et de chaque phrase. Attendez-vous à l’essentiel plutôt qu’à une transcription mot pour mot ; les noms, les nombres et les mots rares lui posent particulièrement problème.
Le pourcentage d’un mot est sa probabilité d’être juste, estimée d’après ce que le modèle a vu autour de ce mot. Les mots blancs sont probables (80 % et plus), les mots ambre incertains et les mots corail soulignés douteux (moins de 50 %). Les lectures d’une phrase montrent comment la probabilité se répartit entre les lectures retenues par le décodeur. Sur notre jeu de test, les mots affichés à 80–100 % étaient justes environ 93 % du temps.
Une personne face à la caméra, un visage assez grand, une bonne lumière, 25 à 30 i/s. MP4, MOV et WebM fonctionnent dans les navigateurs récents. Plusieurs personnes à l’image, ce n’est pas un problème : vous choisissez sur quelles lèvres lire.
La première fois que vous lisez une langue, votre navigateur télécharge son modèle de lecture labiale (anglais 169 Mo, espagnol 169 Mo) et le garde en cache. Ensuite, il démarre tout de suite, même hors ligne. Sur le processeur d’un ordinateur portable, la lecture va environ 1,6 fois plus vite que le temps réel — une vidéo d’une minute prend une quarantaine de secondes ; les téléphones et les ordinateurs plus anciens mettent plusieurs fois plus de temps.
C’est gratuit. Les modèles ouverts de lecture labiale qu’il utilise (Auto-AVSR pour l’anglais, ViSpeR pour l’espagnol) sont sous licence réservée à la recherche et à un usage non commercial, et LipScribe l’est donc aussi : l’usage personnel, éducatif et de recherche est permis ; un usage commercial nécessiterait des modèles entraînés sur des vidéos dont les droits sont acquis. Si LipScribe vous a aidé, il y a une cagnotte à prix libre.