Jayu

Działanie

Jayu to rewolucyjny osobisty asystent, który płynnie łączy możliwości Gemini z interfejsem dotykowym. Jayu wykorzystuje Gemini, aby zapewnić użytkownikom wygodę i skupienie się na ich potrzebach. Dzięki temu narzędzie to jest przydatne dla wszystkich, od zaawansowanych użytkowników po osoby, które nie są zbytnio obeznane z technologią. Nie używaj kontenera Dockera, złożonego interfejsu ani innych interfejsów LLM ani VLM poza Gemini. W celu ułatwienia obsługi wbudowano funkcje zamiany mowy na tekst, tekstu na mowę i rozpoznawania gestów.

Moc Jayu polega na jego unikalnej zdolności do odpowiadania na prompty z uwzględnieniem kontekstu ekranu oraz na wchodzeniu w interakcje z elementami na ekranie. Jayu potrafi pisać kod na podstawie diagramu, bezpośrednio wchodzić w interakcję z aplikacjami i czytać na głos tłumaczenia na żywo.

Model Flash jest używany jako centrum sterowania. Po otrzymaniu instrukcji od użytkownika model wywołuje inne modele Gemini, aby w razie potrzeby pomóc mu w wykonywaniu zadania. Dzięki sztuce promptów modele Flash współpracują bezpośrednio z Chrome i odpowiadają na szybkie pytania, a modele Pro są trenowane, aby korzystać z zaawansowanych możliwości widzenia Gemini do analizowania okien aplikacji. Dzięki możliwościom wykrywania obiektów Gemini Jayu może klikać przyciski widoczne na ekranie.

Zdajemy sobie sprawę z ryzyka związanego z dostępem do ekranu lub plików. Jayu nie ma dostępu do folderów ani aplikacji, których nie widzi. Jayu będzie patrzeć na ekran tylko wtedy, gdy poprosisz o to bezpośrednio. Nie będzie też przechowywać żadnych danych ani dzienników dotyczących obrazów ani nagrań.