Zastosowanie automatycznego rozpoznawania mowy do wspomagania pracy sztygara prowadzącego zmianę w komorze maszyn ciężkich

W artykule przedstawiono prototyp systemu rozpoznawania mowy zintegrowany z bazami systemów MES/ERP i technikami text mining, przystosowany do warunków i potrzeb ewidencyjnych sztygara prowadzącego zmianę w komorze maszyn ciężkich (KMC). Głównym celem rozwiązania jest odciążenie służb dozoru zmianowego w Oddziałach KGHM PM S.A. w zakresie rejestracji przebiegu realizacji prac w KMC, prowadzonej obecnie w elektronicznych systemach nadzoru operacyjnego i raportowania produkcji. Aktualnie w strukturze organizacyjnej KGHM funkcjonuje kilka specjalnych systemów, takich jak moduły SAP, obejmujące obszary HR, MM, PM/CMMS, oraz platforma eRaport. W ramach przeprowadzonych badań przeprowadzono inwentaryzację tych systemów, identyfikując wymagania funkcjonalne interfejsu wykorzystującego automatyczne rozpoznawanie mowy (ASR) do celów rejestracji wpisów, sporządzania notatek, przygotowywania korespondencji e-mail oraz pozyskiwania informacji niezbędnych do podejmowania bieżących decyzji. Określono również, które z procesów mogą być w pełni zautomatyzowane, a które jedynie w części. Opracowane wytyczne posłużyły do stworzenia oprogramowania, pełniącego funkcję asystenta głosowego, reagującego na precyzyjnie określony zakres komend, a także obsługującego specjalistyczny słownik i żargon kopalniany oraz wewnętrzną kodyfikację baz systemowych KGHM. Całość oprogramowania obejmuje aplikację mobilną dostępną dla urządzeń z systemem Android, a także skrypty w języku Python integrujące narzędzia uczenia maszynowego, analizy tekstu i rozpoznawania mowy. W celu oceny prototypowych rozwiązań, przeprowadzono szereg testów w kopalni i na powierzchni według opracowanych scenariuszy eksperymentalnych. Stworzono również mechanizm umożliwiający określenie tempa zdobywania doświadczenia przez użytkownika. Dodatkowo, przeprowadzona została ankieta wśród uczestników testów, która pozwoliła zidentyfikować obszary, możliwe do usprawnienia w ramach potencjalnego wdrożenia.