Od syntezatora mowy do badań nad jakością głosu. Przasnyszanin dr hab. inż. Krzysztof Szklanny, prof. PJATK: w pracy naukowej wyzwań nie brakuje

Wielu z nas doskonale pamięta charakterystyczny głos popularnego niegdyś syntezatora mowy IVONA, który stworzyła polska firma z Gdańska. Rok po premierze, podobny syntezator samodzielnie opracował przasnyszanin dr hab. inż. Krzysztof Szklanny, prof. Polsko – Japońskiej Akademii Technik Komputerowych. Dziś profesor Szklanny rozwija swoje naukowe zainteresowania związane z głosem i dźwiękiem, zaś wyniki prowadzonych przez niego badań, są zamieszczane w międzynarodowych czasopismach.

Z Polsko – Japońską Akademią Technik Komputerowych profesor Krzysztof Szklanny, związany jest od czasu swoich studiów. Po uzyskaniu tytułu inżyniera, a potem magistra, podjął pracę na uczelni jako asystent w Katedrze Multimediów i tym samym zaczął wpływać na jej rozwój. Dziś przasnyszanin swoją działalność dydaktyczną i naukową skupia głównie wokół dwóch aspektów: obrazu, czyli grafiki i zdjęć oraz dźwięku.

– Obroniłem dyplom na Wydziale Informatyki w 2002 roku wtedy jeszcze Polsko-Japońskiej Wyższej Szkole Technik Komputerowych, obecnie uczelnia ma status Akademii. Kształcimy studentów na czterech wydziałach, na Wydziale Informatyki, Sztuki Nowych Mediów, Zarządzania Informacją, Kulturze Japonii oraz na Kierunku Architektura Wnętrz. Uczelnia posiada uprawnienia do nadawania tytułu doktora i doktora habilitowanego  w dyscyplinie informatyka techniczna i telekomunikacja oraz tytułu doktora w dziedzinie sztuki dyscyplina sztuki plastyczne i konserwacji dzieł sztuki – mówi nam profesor Krzysztof Szklanny.

– W 2005 roku wraz z kolegami, w katedrze Multimediów, zaczęliśmy tworzyć Wydział Sztuki Nowych Mediów. Wszystko zaczęło się od tego, że nasze działania informatyczne zostały ukierunkowane na zastosowanie informatyki w pracach artystycznych – dodaje.

– Na nowym wydziale stworzyłem profesjonale studio fotograficzne. Zaczynaliśmy skromnie od kilku lamp studyjnych, obecnie używamy lamp szwajcarskiej firmy Broncolor, produkującej profesjonalne oświetlenie. Posiadamy kilkanaście bardzo dobrych lustrzanek, a w studiu możemy realizować fotografie komercyjne, artystyczne, eksperymentalne. W ostatnim czasie zrealizowaliśmy adaptację akustyczną studia fotograficznego co otworzyło nowe możliwości w realizacji nagrań wideo – opowiada nasz rozmówca.

Matematyka w pracy ze światłem

Powstanie studia fotograficznego łączy się ściśle z zainteresowaniami prof. PJATK, Krzysztofa Szklannego, dla którego fotografia jest pasją i częścią życia. Przasnyszanin ma na swoim koncie już kilka zrealizowanych projektów komercyjnych i wystaw, jest także drugim Polakiem w historii firmy Broncolor, którego zdjęcia znalazły się na stronie firmy produkującej oświetlenie do fotografii. Do pełnego skupienia się na pasji, jak przyznaje, brakuje mu jednak czasu, dlatego z fotografią obecnie najczęściej spotyka się właśnie na uczelni.

– Studentów uczymy reguł kompozycji, kadrowania i używania reguł matematycznych w pracy z oświetleniem. Tak, zdecydowanie matematyka jest obecna przy pracy ze światłem. W ten sposób otrzymujmy piękne portrety. Wprowadzony przeze mnie proces dydaktyczny jest innowacyjny, przynosi świetne rezultaty w szczególności w dobie stosowania smartfonów, które nas nieco rozleniwiają. Prace naszych studentów można obejrzeć na wystawie końcoworocznej przez okres wakacji w budynku uczelni. Jako ciekawostkę wspomnę, że wraz ze studentami realizujemy również własne konstrukcje aparatów, a w ramach fotografii ultraszybkiej mrozimy ruch bardzo szybko spadających elementów.

Dźwięk i własny syntezator mowy

Sukcesy w świecie naukowym profesorowi Krzysztofowi Szklannemu przynosi w szczególności praca związana z głosem i mową. Przygoda przasnyszanina w tym obszarze rozpoczęła się w 2002 roku. Tematem pracy magisterskiej było przygotowanie pierwszego syntezatora mowy, tematyka ta, jak mówi, jest obecna do dzisiaj w pracach badawczych.

W latach 2005 – 2009 w ramach pracy doktorskiej Krzysztof Szklanny stworzył pierwszy darmowy system syntezy mowy korpusowej, który mówi jego głosem.

– Jest to bardzo podobne rozwiązanie jakie zrealizowała firma IVONA obecnie Amazon. Za tamten syntezator odpowiadała duża firma z niezłym kapitałem, a ja swój stworzyłem samodzielnie. Myślę, że na tamten czas było to rozwiązanie unikalne, z punktu widzenia naukowego, pozwoliło na określenie reguł jak generować syntetyczną mowę, by brzmiała ona naturalnie – opowiada.

(Do dziś można posłuchać głosu, pod tym adresem https://users.pja.edu.pl/~kszklanny/syntezamowy/korpus.html)

Około pięć lat temu do Polsko – Japońskiej Akademii zgłosiła się osoba, która miała być poddana laryngektomii, czyli wycięcia całej krtani. Na skutek zabiegu, kobieta miała stracić głos. Zaledwie na kilka dni przed operacją, profesorowi Krzysztofowi Szklannemu, udało się go zarejestrować w celu stworzenia dla niej syntezatora mowy. Zadanie, jak przyznaje, nie było łatwe.

– Trudność polega na tym, że jeżeli chcemy syntezować czyjś głos, to musimy odpowiednio nagrać zestaw zdań, w sumie około 2 tysięcy, więc jest to duża praca. W tym konkretnym przypadku, zadanie było szczególnie trudne, gdyż ta osoba była dotknięta nowotworem, więc nie posługiwała się głosem tak sprawnie, jak osoba zdrowa. Mimo to udało nam się zrealizować wszystkie nagrania. Zrobiliśmy dla tej pani działający syntezator w nowej technologii. Potem porównaliśmy jakość syntezatora stworzonego dla tej pani, z syntezatorem stworzonym na nagraniach profesjonalnego lektora. Okazało się, że jakość syntezy mowy dla naszej pacjentki była wyższa, niż dla profesjonalnego mówcy – opowiada.  – Z ciekawostek mogę dodać, że prace rozpoczęliśmy 5 lat temu i do niedawna nie było podobnych dostępnych rozwiązań. Dopiero w 2022 roku firma Microsoft zaproponowała odpłatną realizację syntezatora mowy dla dowolnego głosu. Pozostałe firmy, które się takimi rzeczami zajmowały nie dostarczały rozwiązań dla języka polskiego.

– Gdy podjąłem decyzję o realizacji pracy habilitacyjnej trafiłem do Centrum Zdrowia Dziecka w Warszawie, gdzie podjąłem współpracę z prof. dr hab. n. med. Anną Tylki-Szymańską. Zaczęliśmy realizować pionierskie badania w zakresie jakości głosu i mowy w rzadkich chorobach genetycznych. W pierwszych obserwacjach stwierdziliśmy, że w rzadkiej chorobie genetycznej Pompego i w chorobie MPS (Mukopolisacharydoza) głos pacjentów nie jest taki jak u zdrowej osoby. Za pomocą metod informatycznych uzyskaliśmy szczegółowe informacje o pracy aparatu mowy. Badaliśmy również młodych pacjentów z guzkami głosowymi. Badania trwały dwa lata i poprzedzone były uzyskaniem przeze mnie zgody Komisji Bioetycznej, w ten sposób stworzyliśmy dużą bazę nagrań, obecnie dostępną dla naukowców z całego świata – wyjaśnia przasnyszanin.

Podczas tego projektu profesor nagrywał mowę młodych pacjentów otrzymując dwa rodzaje sygnałów.

– Na ich podstawie obliczaliśmy tak zwane akustyczne parametry. Do analizy i badania głosu używaliśmy bezinwazyjnego urządzenia zwanego elektroglotografem. Po dwóch latach pracy opracowałem metody informatyczne, dzięki którym można badać jakość głosu. Wyniki prac okazały się na tyle miarodajne, że zaowocowały publikacjami międzynarodowymi z wysokim współczynnikiem Impact Factor.

Jak przyznaje nam profesor Krzysztof Szklanny, który zajmuje się obecnie opracowywaniem rozwiązań pomocnym chórzystom w ocenie ich głosu, pomysłów na dalszą pracę naukową ma wiele.

– Tematyka badań nad jakością głosu jest bardzo ciekawa. Choćby dlatego, że rośnie ilość chorób cywilizacyjnych obejmujących aparat mowy, np. nowotworów krtani. Istnieje duże zapotrzebowanie na narzędzia, które pomogłyby tą diagnostykę wspomagać. Wyzwań nie brakuje, pracy również, a tematy są naprawdę ciekawe – podsumowuje.

Osoby, które chciałyby się dowiedzieć więcej na temat działalności naukowej przasnyszanina zachęcamy do odwiedzenia stron:

snm.pja.edu.pl/project/krzysztof-szklanny/

Instagram: studiopjatk

ren