LectureTranslator
Video
English
Introduction
Hello, my name is Christiane Huber and I am going to show you our system demonstration for the paper and to end evaluation for low latency and simultaneous speech translation.Demo
You can try the demo yourself after going to the provided URL and using the provided credentials at the log in. You can start accession yourself. In the advanced options you can change the input language. By default we are using a multi-lingual model which has English and German as input languages. You can change the languages, the output languages you want to see, and also the presentation format between revision mode and off-line.Comparing remotes in parallel
Today want to show you a little demo where we compare these remotes and see them in parallel.Comparing remotes in different modes
As you can see now, we have the offline mode, the fixed mode and the revision mode, and the revision mode. You already see the unstable text in the fixed mode. You see just the stable text, and in the offline mode we see the output only if the sentence is finished. Furthermore, down here we can see the same. In the for the translation, some of the revision mode has again the unstable output, which can be revised.The fixed mode only has stable output, and the offline mode is only showing output after the sentence is finished.
Simulating remotes online
That's now for online input, but of course we can also use a test set and simulate online.Comparison of different approaches
And then compare our different approaches: You can see that here, for example, we compared cascades and to end approaches also online and offline modes and the fixed mode and the. Revision mode, and then we can compare the qualities of a blue sky in this case because we are doing a speech translation task. Also, the flicker rate, which is only non zero for the revision modes and the latency we can measure for the. Online approaches and comparison. English Summary
Introduction
The system demonstration is for a paper and speech translation with low latency and is being presented by Christiane Huber.Demo
- The demo allows users to log in using provided credentials after visiting a specified URL.
- Users can access the demo's advanced options to customize their experience, such as changing the input language and presentation format.
- The demo uses a multi-lingual model with default input languages of English and German,
Comparing remotes in parallel
The goal of the demo is to compare the CarPlay and Android Auto remotes in parallel.Comparing remotes in different modes
- The text output is displayed in three modes: offline mode, fixed mode, and revision mode.
- In the offline mode, the output is only shown when the entire sentence has been translated.
- In the fixed mode, only stable output is displayed, while in the revision mode, both stable and unstable output can be revised.
Simulating remotes online
The speaker is discussing the option of using a test set to simulate online input for their model.Comparison of different approaches
The paper compares different approaches for speech translation, including cascades, end-to-end models, online and offline modes, fixed mode, and revision mode, and evaluates their performance in terms of quality, flicker rate, and latency. German
Hallo, mein Name ist Christiane Huber und ich werde Ihnen unsere Systemdemonstration für das Papier und die abschließende Bewertung für niedrige Latenz und gleichzeitige Sprachübersetzung zeigen.
Sie können die Demo selbst ausprobieren, nachdem Sie die bereitgestellte URL und die bereitgestellten Anmeldeinformationen beim Anmelden verwendet haben.
Sie können den Zugang selbst beginnen.
In den erweiterten Optionen können Sie die Eingabesprache ändern.
Standardmäßig verwenden wir ein mehrsprachiges Modell, das Englisch und Deutsch als Eingabesprachen hat. Sie können die Sprachen, die Ausgabesprachen, die Sie sehen möchten, und auch das Präsentationsformat zwischen dem Revisionsmodus und Offline ändern. Heute möchte ich euch eine kleine Demo zeigen, in der wir diese Fernbedienungen vergleichen und parallel sehen.
Wie Sie jetzt sehen können, haben wir den Offline-Modus, den Fix-Modus und den Revision-Modus. Im feststehenden Modus sieht man bereits den instabilen Text. Sie sehen nur den stabilen Text, und im Offline-Modus sehen wir die Ausgabe nur, wenn der Satz fertig ist. Auch hier unten sehen wir das gleiche.
In der für die Übersetzung verwendeten Version hat ein Teil des Revisionsmodus wieder die instabile Ausgabe, die überarbeitet werden kann. Der feststehende Modus hat nur eine stabile Ausgabe, und der Offline-Modus zeigt die Ausgabe nur an, nachdem der Satz beendet ist. Das ist jetzt für Online-Eingaben, aber natürlich können wir auch einen Testsatz verwenden und online simulieren.
Und vergleichen Sie dann unsere verschiedenen Ansätze: Sie können sehen, dass wir hier zum Beispiel Kaskaden und Endzugänge auch online und offline und den festen Modus und den vergleichen. Revision-Modus, und dann können wir die Qualitäten eines blauen Himmels in diesem Fall vergleichen, weil wir eine Sprachübersetzungsaufgabe machen. Auch die Flackerrate, die nur für die Revisionsmodus nicht null ist und die Latenz, die wir für die Messung messen können.
Standardmäßig verwenden wir ein mehrsprachiges Modell, das Englisch und Deutsch als Eingabesprachen hat. Sie können die Sprachen, die Ausgabesprachen, die Sie sehen möchten, und auch das Präsentationsformat zwischen dem Revisionsmodus und Offline ändern. Heute möchte ich euch eine kleine Demo zeigen, in der wir diese Fernbedienungen vergleichen und parallel sehen.
Wie Sie jetzt sehen können, haben wir den Offline-Modus, den Fix-Modus und den Revision-Modus. Im feststehenden Modus sieht man bereits den instabilen Text. Sie sehen nur den stabilen Text, und im Offline-Modus sehen wir die Ausgabe nur, wenn der Satz fertig ist. Auch hier unten sehen wir das gleiche.
In der für die Übersetzung verwendeten Version hat ein Teil des Revisionsmodus wieder die instabile Ausgabe, die überarbeitet werden kann. Der feststehende Modus hat nur eine stabile Ausgabe, und der Offline-Modus zeigt die Ausgabe nur an, nachdem der Satz beendet ist. Das ist jetzt für Online-Eingaben, aber natürlich können wir auch einen Testsatz verwenden und online simulieren.
Und vergleichen Sie dann unsere verschiedenen Ansätze: Sie können sehen, dass wir hier zum Beispiel Kaskaden und Endzugänge auch online und offline und den festen Modus und den vergleichen. Revision-Modus, und dann können wir die Qualitäten eines blauen Himmels in diesem Fall vergleichen, weil wir eine Sprachübersetzungsaufgabe machen. Auch die Flackerrate, die nur für die Revisionsmodus nicht null ist und die Latenz, die wir für die Messung messen können.
Dutch
Hallo, ik ben Christiane Huber en ik zal u onze systeemdemonstratie voor het document en de eindevaluatie voor lage latentie en gelijktijdige Sprachoversetzung laten.
U kunt de demo zelf ausprobieren nadat u naar de verstrekte URL gaat en de verstrekte credentials gebruikt bij het anmelden.
U kunt zelf toetreden.
In de geavanceerde opties kan men de invoertaal veranderen.
De default is dat we een meertaligheidsmodel gebruiken, waarbij het Engels en het Duitse als input talen worden gebruikt. U kunt de talen, de uitgangs talen die u wilt zien, en ook het presentatieformat tussen de herzieningsmodus en off-line veranderen. Aujourd'hui wil ik u een kleine demo laten zien waar we deze remotes vergelijken en ze in parallel zien.
Zoals u nu kunt zien, hebben we de offline-modus, de vaste-modus en de herzienings-modus, en de herzieningsmodus. U ziet de instabiele tekst al in het vaste mode. U ziet alleen de stabiele tekst, en in de offline-modus zien we de output alleen als de zin is voltooid. Bovendien kunnen we hier hetzelfde zien.
In het geval van de vertaling heeft een deel van de herzieningsmodus weer het instabiele resultaat, dat kan worden herzien. De fixed-mode heeft alleen stabiele output, en de offline-mode geeft de output alleen aan nadat de zin is voltooid. Dat is nu voor online input, maar natuurlijk kunnen we ook een testset gebruiken en online simuleren.
En vervolgens de verschillende benaderingen: U kunt zien dat we hier bijvoorbeeld cascades en eindbenadering ook online en offline en de vaste en de. Revisionsmodus, en dan kunnen we de kwaliteiten van een blue sky in dit geval vergelijken omdat we een speechtranslator-task doen.
De default is dat we een meertaligheidsmodel gebruiken, waarbij het Engels en het Duitse als input talen worden gebruikt. U kunt de talen, de uitgangs talen die u wilt zien, en ook het presentatieformat tussen de herzieningsmodus en off-line veranderen. Aujourd'hui wil ik u een kleine demo laten zien waar we deze remotes vergelijken en ze in parallel zien.
Zoals u nu kunt zien, hebben we de offline-modus, de vaste-modus en de herzienings-modus, en de herzieningsmodus. U ziet de instabiele tekst al in het vaste mode. U ziet alleen de stabiele tekst, en in de offline-modus zien we de output alleen als de zin is voltooid. Bovendien kunnen we hier hetzelfde zien.
In het geval van de vertaling heeft een deel van de herzieningsmodus weer het instabiele resultaat, dat kan worden herzien. De fixed-mode heeft alleen stabiele output, en de offline-mode geeft de output alleen aan nadat de zin is voltooid. Dat is nu voor online input, maar natuurlijk kunnen we ook een testset gebruiken en online simuleren.
En vervolgens de verschillende benaderingen: U kunt zien dat we hier bijvoorbeeld cascades en eindbenadering ook online en offline en de vaste en de. Revisionsmodus, en dan kunnen we de kwaliteiten van een blue sky in dit geval vergelijken omdat we een speechtranslator-task doen.
Italian
Ciao, mi chiamo Christiane Huber e vi mostrerò il nostro sistema di dimostrazione per il paper e per concludere la valutazione per la traduzione vocale a bassa latenza e simultanea.
È possibile provare la demo da soli dopo aver visitato l'URL fornito e utilizzando le credenziali fornite durante il login.
Puoi iniziare l'accesso tu stesso.
Nelle opzioni avanzate è possibile cambiare la lingua di input.
Per impostazione predefinita stiamo utilizzando un modello multilingue che ha inglese e tedesco come lingue di input. È possibile cambiare le lingue, le lingue di output che si desidera visualizzare, e anche il formato di presentazione tra il modo di revisione e offline. Oggi voglio mostrarvi una piccola demo dove confrontiamo questi telecomandi e li vediamo in parallelo.
Come potete vedere ora, abbiamo la modalità offline, la modalità fissa e la modalità revisione, e la modalità revisione. Si vede già il testo instabile in modalità fissa. Si vede solo il testo stabile, e in modalità offline vediamo l'output solo se la frase è finita. Inoltre, qui sotto possiamo vedere lo stesso.
Nel modo per la traduzione, parte del modo di revisione ha di nuovo l'uscita instabile, che può essere rivisto. Il modo fisso ha solo una output stabile, e il modo offline mostra l'output solo dopo che la frase è finita. Questo è ora per l'input online, ma ovviamente possiamo anche usare un set di test e simulare online.
E poi confrontare i nostri diversi approcci: Si può vedere che qui, ad esempio, abbiamo confrontato le cascate e gli approcci alla fine anche i modi online e offline e il modo fisso e il. Modo di revisione, e poi possiamo confrontare le qualità di un cielo blu in questo caso perché stiamo facendo un compito di traduzione vocale.
Per impostazione predefinita stiamo utilizzando un modello multilingue che ha inglese e tedesco come lingue di input. È possibile cambiare le lingue, le lingue di output che si desidera visualizzare, e anche il formato di presentazione tra il modo di revisione e offline. Oggi voglio mostrarvi una piccola demo dove confrontiamo questi telecomandi e li vediamo in parallelo.
Come potete vedere ora, abbiamo la modalità offline, la modalità fissa e la modalità revisione, e la modalità revisione. Si vede già il testo instabile in modalità fissa. Si vede solo il testo stabile, e in modalità offline vediamo l'output solo se la frase è finita. Inoltre, qui sotto possiamo vedere lo stesso.
Nel modo per la traduzione, parte del modo di revisione ha di nuovo l'uscita instabile, che può essere rivisto. Il modo fisso ha solo una output stabile, e il modo offline mostra l'output solo dopo che la frase è finita. Questo è ora per l'input online, ma ovviamente possiamo anche usare un set di test e simulare online.
E poi confrontare i nostri diversi approcci: Si può vedere che qui, ad esempio, abbiamo confrontato le cascate e gli approcci alla fine anche i modi online e offline e il modo fisso e il. Modo di revisione, e poi possiamo confrontare le qualità di un cielo blu in questo caso perché stiamo facendo un compito di traduzione vocale.
Portugues
Olá, meu nome é Christiane Huber e vou mostrar-lhe a demonstração do nosso sistema para o artigo e concluir a avaliação para baixa latência e tradução simultânea de voz.
Você pode experimentar a demonstração você mesmo depois de ir para a URL fornecida e usando as credenciais fornecidas no login.
Você pode iniciar a adesão você mesmo.
Nas opções avançadas você pode alterar o idioma de entrada.
Por padrão, estamos usando um modelo multilíngue que tem o inglês e o alemão como idiomas de entrada. Você pode alterar os idiomas, os idiomas de saída que deseja ver e também o formato de apresentação entre o modo de revisão e off-line. Hoje quero mostrar-vos uma pequena demo onde comparamos estes controles remotos e os vemos em paralelo.
Como você pode ver agora, temos o modo offline, o modo fixo e o modo de revisão, e o modo de reposição. Você já vê o texto instável no modo fixo. Você vê apenas o texto estável, e no modo offline vemos a saída apenas se a frase estiver concluída. Além disso, aqui em baixo podemos ver o mesmo.
No modo para a tradução, parte do modo de revisão tem novamente a saída instável, que pode ser revisada. O modo fixo só tem saída estável, e o modo offline só mostra saída após a conclusão da frase. Isso é agora para entrada online, mas é claro que também podemos usar um conjunto de testes e simular online.
E, em seguida, compare nossas diferentes abordagens: Você pode ver que aqui, por exemplo, comparamos cascatas e abordagens de fim também online e offline e o modo fixo e o. Modo de revisão, e então podemos comparar as qualidades de um céu azul neste caso porque estamos fazendo uma tarefa de tradução de voz. Também, a taxa de parpadeamento, que é apenas não zero para os modos de revisão e a latência que podemos medir para o.
Abordagens online e comparação.
Por padrão, estamos usando um modelo multilíngue que tem o inglês e o alemão como idiomas de entrada. Você pode alterar os idiomas, os idiomas de saída que deseja ver e também o formato de apresentação entre o modo de revisão e off-line. Hoje quero mostrar-vos uma pequena demo onde comparamos estes controles remotos e os vemos em paralelo.
Como você pode ver agora, temos o modo offline, o modo fixo e o modo de revisão, e o modo de reposição. Você já vê o texto instável no modo fixo. Você vê apenas o texto estável, e no modo offline vemos a saída apenas se a frase estiver concluída. Além disso, aqui em baixo podemos ver o mesmo.
No modo para a tradução, parte do modo de revisão tem novamente a saída instável, que pode ser revisada. O modo fixo só tem saída estável, e o modo offline só mostra saída após a conclusão da frase. Isso é agora para entrada online, mas é claro que também podemos usar um conjunto de testes e simular online.
E, em seguida, compare nossas diferentes abordagens: Você pode ver que aqui, por exemplo, comparamos cascatas e abordagens de fim também online e offline e o modo fixo e o. Modo de revisão, e então podemos comparar as qualidades de um céu azul neste caso porque estamos fazendo uma tarefa de tradução de voz. Também, a taxa de parpadeamento, que é apenas não zero para os modos de revisão e a latência que podemos medir para o.
Abordagens online e comparação.
Spanish
Hola, mi nombre es Christiane Huber y voy a mostrarle nuestra demostración de sistema para el paper y para finalizar la evaluación de baja latencia y traducción simultánea de voz.
Puedes probar la demo tú mismo después de ir a la URL proporcionada y usar las credenciales proporcionadas en el inicio de sesión.
Usted puede iniciar la adhesión usted mismo.
En las opciones avanzadas puede cambiar el idioma de entrada.
Por defecto estamos utilizando un modelo multilingüe que tiene el inglés y el alemán como idiomas de entrada. Puede cambiar los idiomas, los idiomas de salida que desea ver y también el formato de presentación entre el modo de revisión y fuera de línea. Hoy quiero mostraros una pequeña demo donde comparamos estos controles y los vemos en paralelo.
Como puedes ver ahora, tenemos el modo sin conexión, el modo fijo y el modo de revisión, y el modo de revisión. Ya se ve el texto inestable en el modo fijo. Usted ve solo el texto estable, y en el modo sin conexión solo vemos la salida si la oración está terminada. Además, aquí abajo podemos ver lo mismo.
En el modo para la traducción, parte del modo de revisión tiene de nuevo el resultado inestable, que puede ser revisado. El modo fijo solo tiene una salida estable, y el modo sin conexión solo muestra la salida después de que la frase haya terminado. Eso es ahora para la entrada en línea, pero por supuesto también podemos usar un conjunto de pruebas y simular en línea.
Y luego comparar nuestros diferentes enfoques: Se puede ver que aquí, por ejemplo, comparamos las cascadas y los enfoques finales también los modos online y offline y el modo fijo y el. Modo de revisión, y entonces podemos comparar las cualidades de un cielo azul en este caso porque estamos haciendo una tarea de traducción de voz.
Por defecto estamos utilizando un modelo multilingüe que tiene el inglés y el alemán como idiomas de entrada. Puede cambiar los idiomas, los idiomas de salida que desea ver y también el formato de presentación entre el modo de revisión y fuera de línea. Hoy quiero mostraros una pequeña demo donde comparamos estos controles y los vemos en paralelo.
Como puedes ver ahora, tenemos el modo sin conexión, el modo fijo y el modo de revisión, y el modo de revisión. Ya se ve el texto inestable en el modo fijo. Usted ve solo el texto estable, y en el modo sin conexión solo vemos la salida si la oración está terminada. Además, aquí abajo podemos ver lo mismo.
En el modo para la traducción, parte del modo de revisión tiene de nuevo el resultado inestable, que puede ser revisado. El modo fijo solo tiene una salida estable, y el modo sin conexión solo muestra la salida después de que la frase haya terminado. Eso es ahora para la entrada en línea, pero por supuesto también podemos usar un conjunto de pruebas y simular en línea.
Y luego comparar nuestros diferentes enfoques: Se puede ver que aquí, por ejemplo, comparamos las cascadas y los enfoques finales también los modos online y offline y el modo fijo y el. Modo de revisión, y entonces podemos comparar las cualidades de un cielo azul en este caso porque estamos haciendo una tarea de traducción de voz.
French
Bonjour, je m'appelle Christiane Huber et je vais vous montrer notre démonstration de système pour le document et pour terminer l'évaluation pour la traduction simultanée de la parole à faible latence.
Vous pouvez essayer la démo vous-même après avoir visité l'URL fournie et en utilisant les identifiants fournis lors de la connexion.
Vous pouvez commencer l'accès vous-même.
Dans les options avancées, vous pouvez modifier la langue d'entrée.
Par défaut, nous utilisons un modèle multilingue qui a l'anglais et l'allemand comme langues d'entrée. Vous pouvez changer les langues, les langues de sortie que vous souhaitez voir, et aussi le format de présentation entre le mode de révision et hors ligne. Aujourd'hui je veux vous montrer une petite démo où nous comparons ces télécommandes et les voyons en parallèle.
Comme vous pouvez le voir maintenant, nous avons le mode hors ligne, le mode fixe et le mode révision, et le mode révision. Vous voyez déjà le texte instable en mode fixe. Vous voyez seulement le texte stable, et en mode hors ligne nous voyons la sortie seulement si la phrase est terminée. En outre, ici, nous pouvons voir la même chose.
Dans le mode pour la traduction, une partie du mode de révision a à nouveau la sortie instable, qui peut être révisée. Le mode fixe n'a que la sortie stable, et le mode hors ligne n'affiche la sortie qu'après la fin de la phrase. C'est maintenant pour l'entrée en ligne, mais bien sûr, nous pouvons également utiliser un ensemble de tests et simuler en ligne.
Et puis comparer nos différentes approches: Vous pouvez voir que ici, par exemple, nous avons comparé les cascades et les approches de fin aussi en ligne et hors ligne et le mode fixe et le. Modèle de révision, puis nous pouvons comparer les qualités d'un ciel bleu dans ce cas parce que nous faisons une tâche de traduction vocale. Aussi, le taux de clignotage, qui est seulement non nul pour les modes de révision et la latence que nous pouvons mesurer pour le.
Approches en ligne et comparaison.
Par défaut, nous utilisons un modèle multilingue qui a l'anglais et l'allemand comme langues d'entrée. Vous pouvez changer les langues, les langues de sortie que vous souhaitez voir, et aussi le format de présentation entre le mode de révision et hors ligne. Aujourd'hui je veux vous montrer une petite démo où nous comparons ces télécommandes et les voyons en parallèle.
Comme vous pouvez le voir maintenant, nous avons le mode hors ligne, le mode fixe et le mode révision, et le mode révision. Vous voyez déjà le texte instable en mode fixe. Vous voyez seulement le texte stable, et en mode hors ligne nous voyons la sortie seulement si la phrase est terminée. En outre, ici, nous pouvons voir la même chose.
Dans le mode pour la traduction, une partie du mode de révision a à nouveau la sortie instable, qui peut être révisée. Le mode fixe n'a que la sortie stable, et le mode hors ligne n'affiche la sortie qu'après la fin de la phrase. C'est maintenant pour l'entrée en ligne, mais bien sûr, nous pouvons également utiliser un ensemble de tests et simuler en ligne.
Et puis comparer nos différentes approches: Vous pouvez voir que ici, par exemple, nous avons comparé les cascades et les approches de fin aussi en ligne et hors ligne et le mode fixe et le. Modèle de révision, puis nous pouvons comparer les qualités d'un ciel bleu dans ce cas parce que nous faisons une tâche de traduction vocale. Aussi, le taux de clignotage, qui est seulement non nul pour les modes de révision et la latence que nous pouvons mesurer pour le.
Approches en ligne et comparaison.
German Audio