Usto-Mysz i Inteligentny długopis - innowacyjne technologie Politechniki Gdańskiej

"Usto-Mysz to rozwiązanie kierowane do osób sparaliżowanych, które nie są w stanie za pomocą rąk obsługiwać klawiatury i myszki, ale potrafią poruszać ustami. Rozwiązanie wykorzystuje typową kamerę internetową, która analizuje obraz głowy użytkownika, wykrywa stan twarzy, bada ruch ust" - tłumaczy Piotr Suchomski z Katedry Systemów Multimedialnych Politechniki Gdańskiej.

Jak mówi, "Usto-Mysz" reaguje na otwarcie ust, wyciągnięcie języka lub złożenie warg w dziobek. Te trzy proste gesty można skonfigurować zgodnie z preferencjami użytkownika, czyli "podpiąć" pod dowolne funkcje myszy.

"Usto-Mysz będzie więc działała jak sterownik myszy, interpretując nasze ruchy i, na przykład, odczytując otwarcie ust jako kliknięcie" - mówi Suchomski.

Uzupełnieniem wynalazku jest stworzona przez zespół naukowy PG aplikacja - komunikator dla osoby sparaliżowanej, która ma kłopoty z mówieniem.

"Hierarchiczne menu składa się z piktogramów, pod każdym z nim jest umieszczony fragment wypowiedzi. Klikając za pomocą ust na poszczególne piktogramy możemy składać całe wypowiedzi: +chcę jeść+, +chcę pić+ albo +podłóż mi poduszkę+. Możemy te teksty uzupełniać własnymi wypowiedziami dzięki niewielkiej klawiaturze podobnej do tej, w którą wyposażony jest telefon komórkowy. W urządzenie jest wbudowany syntezator mowy" - opisuje Suchomski.

"Usto-Mysz to polski wynalazek stworzony w Katedrze Systemów Multimedialnych PG przez prof. Andrzeja Czyżewskiego i Piotra Dalkę.

DŁUGOPIS EDUKACYJNY

"Inteligentny długopis to rozwiązanie kierowane do dzieci z problemem dysleksji, która utrudnia edukację i naukę. Spektrum problemów jest szerokie, nasza technologia skupia się na kilku aspektach posługiwania się długopisem podczas malowania, rysowania i pisania" - mówi Suchomski.

Jak tłumaczy, wynalazek wykorzystuje dostępne na rynku tablety graficzne, używane przez dzieci. Urządzenia te zostały zmodyfikowane - do piórek, które stanowią wyposażenie tabletu, dołożono dodatkowe czujniki.

"Piórko potrafi wykrywać dość dokładnie nacisk na tablet. My uzupełniliśmy je o sensory, które potrafią również interpretować jak mocno trzymamy jest długopis. Dodatkowo wyposażyliśmy je w nasadkę, która wymusza prawidłowy chwyt pisarski. Wszystko to zostało podłączone przez specjalny interfejs do komputera, gdzie zainstalowane jest opracowane przez nas oprogramowanie - szereg ćwiczeń dla dzieci: kolorowanki, śledzenie konturu, poruszanie się po labiryncie" - opisuje reprezentant katedry.

Jak tłumaczy, dziecko za pomocą tego długopisu jeździ po ekranie, a w trakcie wykonywania ćwiczenia pogram analizuje sygnały z czujników. Sygnał dźwiękowy lub ikonka graficzną informuje, że gdy dziecko trzyma długopis zbyt mocno albo zbyt słabo, wychodzi za linie i nie wykonuje ćwiczenia prawidłowo. Informacje te zapisywane są w bazie danych, dzięki czemu terapeuta lub nauczyciel może analizować problemy i postępy dziecka.

Przy opracowywaniu "Inteligentnego długopisu" inżynierowie ściśle współpracowali ze specjalistką od problemu dysleksji prof. zw. dr hab. Martą Bodanowicz z Uniwersytetu Gdanskiego, która była głównym konsultantem w kwestii ćwiczeń. Za stronę techniczną odpowiadali: prof. dr hab. inż. Andrzej Czyżewski oraz prof. dr hab. Bożena Kostek, ówcześni dyplomanci Agnieszka i Michał Grabkowscy oraz Piotr Odya.

TECHNOLOGIE CZEKAJĄ NA WDROŻENIA

"Inteligentny długopis" jest już po wstępnym pilotażu prowadzonym w szkołach podstawowych i w przedszkolach, wynalazek wkrótce zostanie wdrożony przez partnerującą naukowcom firmę Young Digital Planet. "Usto-Mysz" to na razie prototyp w fazie optymalizacji. Jak tłumaczą autorzy technologii, nowatorskie podejście do analizy twarzy, to wymaga jeszcze optymalizacji algorytmu.

PAP - Nauka w Polsce, Karolina Olszewska

bsz