Gesture controlled human–computer interface for the disabled

Background The possibility of using a computer by a disabled person is one of the difficult problems of the human–computer interaction (HCI), while the professional activity (employment) is one of the most important factors affecting the quality of life, especially for disabled people. The aim of the project has been to propose a new HCI system that would allow for resuming employment for people who have lost the possibility of a standard computer operation. Material and Methods The basic requirement was to replace all functions of a standard mouse without the need of performing precise hand movements and using fingers. The Microsoft’s Kinect motion controller had been selected as a device which would recognize hand movements. Several tests were made in order to create optimal working environment with the new device. The new communication system consisted of the Kinect device and the proper software had been built. Results The proposed system was tested by means of the standard subjective evaluations and objective metrics according to the standard ISO 9241-411:2012. The overall rating of the new HCI system shows the acceptance of the solution. The objective tests show that although the new system is a bit slower, it may effectively replace the computer mouse. Conclusions The new HCI system fulfilled its task for a specific disabled person. This resulted in the ability to return to work. Additionally, the project confirmed the possibility of effective but nonstandard use of the Kinect device. Med Pr 2017;68(1):11–21

Wstęp Możliwość korzystania z komputera przez osoby niepełnosprawne jest jednym z trudniejszych problemów interakcji człowiek–komputer, natomiast aktywność zawodowa (zatrudnienie) należy do najważniejszych czynników wpływających na jakość życia, szczególnie osób niepełnosprawnych. Celem pracy było zaproponowanie nowego systemu sterowania komputerem pozwalającego na powrót do pracy osobom, które straciły możliwość standardowej obsługi komputera. Materiał i metody Podstawowym założeniem nowego systemu było zastąpienie standardowej myszy komputerowej urządzeniem, które nie wymaga wykonywania precyzyjnych ruchów ręką i palcami. W pracy skorzystano z kontrolera Microsoft Kinect jako urządzenia rozpoznającego ruchy rąk. Przeprowadzono badania wstępne w celu określenia optymalnych warunków pracy nowego urządzenia i opracowano nowy system składający się z kontrolera Kinect i oprogramowania do niego. Wyniki System został przetestowany z wykorzystaniem standardowej oceny subiektywnej i obiektywnej zgodnie z normą ISO 9241-411:2012. Ogólna ocena nowego systemu wskazuje na akceptację proponowanego rozwiązania przez badanych. Obiektywne testy pokazują, że nowy system – choć jest nieco wolniejszy od standardowego – może skutecznie zastąpić mysz komputerową. Wnioski Nowy system interakcji człowiek–komputer spełnił swoje zadanie dla konkretnej osoby niepełnosprawnej, czyli umożliwił sterowanie komputerem, a tym samym powrót do pracy. Dodatkowo badanie potwierdziło możliwość skutecznego niestandardowego wykorzystania urządzenia Kinect. Med. Pr. 2017;68(1):11–21