Tłumaczenia na żywo w inteligentnych okularach Meta działają dobrze — dopóki nie przestaną

Ostatni raz na lekcjach hiszpańskiego byłem w gimnazjum. Pamiętam wystarczająco dużo, żeby rozmawiać z maluchami — zwroty takie jak „Donde está el baño?” i „mi gato es muy gordo” — ale sensowna rozmowa po hiszpańsku bez tłumacza nie wchodzi w rachubę. Byłem więc naprawdę zaskoczony, kiedy pewnego dnia dzięki Inteligentne okulary Ray-Ban Metamógłbym prowadzić w miarę zrozumiałą rozmowę z osobą mówiącą po hiszpańsku na temat K-popu.

W ramach dodano tłumaczenia na żywo spadek liczby funkcji w zeszłym miesiącuwraz z aktywną sztuczną inteligencją i Shazamem. Dokładnie tak to brzmi. Po włączeniu tej funkcji możesz rozmawiać z osobą mówiącą po hiszpańsku, francusku lub włosku, a okulary będą w czasie rzeczywistym tłumaczyć to, co zostanie powiedziane bezpośrednio do twoich uszu. Zapis rozmowy możesz także wyświetlić na swoim telefonie. Cokolwiek powiesz po angielsku, zostanie również przetłumaczone na inny język.

Pełne ujawnienie, moja rozmowa była częścią demonstracji wspomaganej przez Meta. To nie to samo, co założenie okularów, wskoczenie do Barcelony i wypróbowanie tego na łonie natury. To powiedziawszy, jestem sceptyk w dziedzinie tłumaczeń i zamierzał znaleźć wszystkie pęknięcia, w których ta technologia może zawieść.

Okulary doskonale radziły sobie z tłumaczeniem podstawowych rozmów na temat zespołów K-popowych. Gdy mój rozmówca skończył mówić, tłumaczenie zaczęło się niedługo potem. Działało to dobrze, jeżeli rozmawialiśmy miarowo, ze średnią szybkością, używając tylko kilku zdań na raz. Ale ludzie tak naprawdę nie mówią. W prawdziwym życiu wpadamy w rozwlekłe tyrady, tracimy tok myślenia i mówimy znacznie szybciej, gdy jesteśmy wściekli lub podekscytowani.

Trzeba przyznać, iż Meta rozważyła podejście do niektórych z tych sytuacji. Mój rozmówca mówił szybciej i dłużej. Przyzwoicie radził sobie z prędkością, chociaż, co zrozumiałe, występowało pewne opóźnienie w transkrypcji w czasie rzeczywistym. W przypadku dłuższej wypowiedzi okulary zaczęły tłumaczyć w połowie, zanim mój partner skończył mówić. To było trochę irytujące i niezręczne, ponieważ ty, słuchacz, musisz zdać sobie sprawę, iż jesteś trochę w tyle. Doświadczenie jest podobne do tego, jak tłumacze na żywo robią to w międzynarodowych wiadomościach lub programach.

Największe wrażenie zrobiło na mnie to, iż okulary radzą sobie z odrobiną języka hiszpańskiego. Często wielojęzyczni użytkownicy rzadko trzymają się tylko jednego języka, szczególnie w towarzystwie mieszanym. W mojej rodzinie nazywamy go Konglish (koreańsko-angielski), a ludzie wpadają i wychodzą z każdego języka, mieszając i dopasowując gramatykę, która jest chaotyczna i funkcjonalna. Na przykład moja ciocia często mówi kilka zdań po koreańsku, dorzuca dwa zdania po angielsku, robi kolejne, będące mieszanką koreańskiego i angielskiego, a następnie wraca do koreańskiego. Poprosiłem mojego rozmówcę, żeby spróbował czegoś podobnego po hiszpańsku i… rezultaty były mieszane.

Z jednej strony okulary radziły sobie z krótkimi przełączaniami między językami. Jednak dłuższe wypady na angielski doprowadziły do ​​​​tego, iż sztuczna inteligencja powtarzała mi angielski do ucha. Czasami powtarzał także co Id powiedział, bo zaczęło się robić zamieszanie. To było tak rozpraszające, iż nie mogłem się skupić na tym, co zostało powiedziane.

Okulary walczyły ze slangiem. Każdy język ma swoje dialekty, a każdy dialekt może mieć swój niepowtarzalny charakter potoczny. Nie musisz szukać dalej, jak amerykańskie nastolatki poddają nas wszystkich zwrotom takim jak skibidi i rizz. W tym przypadku okulary nie mogły dokładnie przetłumaczyć „żadnych manches”. Oznacza to „bez plam”, ale w języku meksykańskim hiszpańskim oznacza to również „nie ma mowy” lub „żartujesz sobie!” Okulary wybrały dosłowne tłumaczenie. W tym sensie tłumaczenie jest sztuką. W niektórych przypadkach okulary dobrze uchwyciły istotę przekazu, ale nie uchwyciły pewnych niuansów tego, co do mnie mówiono. Jest to ciężar wszystkich tłumaczy – zarówno sztucznej inteligencji, jak i ludzi.

Nie można ich używać do oglądania filmów ani programów telewizyjnych w języku obcym bez napisów. Obejrzałam kilka klipów pt Emilia Perez, i choć mógł dokładnie przetłumaczyć sceny, w których wszyscy mówili głośno i wyraźnie, przestał działać w scenie, w której postacie gwałtownie szeptały do ​​siebie ściszonym głosem. Zapomnij całkowicie o numerach muzycznych filmu.

Niekoniecznie musiałbyś mieć te problemy, gdybyś trzymał się zamierzeń Meta dotyczących tej funkcji. Oczywiste jest, iż te okulary zostały zaprojektowane głównie po to, aby pomóc ludziom w podstawowych interakcjach podczas wizyty w innych krajach – na przykład pytaniu o drogę, zamawianiu jedzenia w restauracji, chodzeniu do muzeum czy finalizowaniu transakcji. W takich przypadkach jest bardziej prawdopodobne, iż spotkasz osoby, które mówią wolniej, wiedząc, iż nie jesteś native speakerem.

Dobry początek, ale wciąż marzę o babel fish z Douglasa Adamsa Przewodnik autostopem po galaktyce — małe stworzenie, które po włożeniu do ucha może natychmiast i dokładnie przetłumaczyć dowolny język na Twój własny. Na razie to wciąż sfera science fiction.