Razpisane teme za magistrske naloge (2. stopnja)
LGM - Laboratorij za računalniško grafiko in multimedije
V kolikor vas katera izmed tem zanima, kontaktirajte predstojnika laboratorija prof. dr. Matijo Marolta, doc. dr. Matevža Peska ali doc. dr. Cirila Bohaka. Posivene teme niso več na voljo (so že izbrane).
Kontakt: prof. dr. Matija Marolt
Pri digitalizaciji arhivov časopisov in revij je večkrat zaradi kompleksne postavitve elementov na straneh težko ugotoviti katere vsebine in slike sodijo v posamezne članke. V nalogi se boste posvetili področju analize dokumentov s ciljem povezovanja sorodnih elementov v enotne članke in razvrščanju člankov v kategorije (npr. recenzija, intervju, poročilo s koncerta …). Pri tem boste preučili obstoječe pristope in izdelali svoj model za analizo ter ga preizkusili na novi digitalizirani zbirki.
Literatura:
Kontakt: prof. dr. Matija Marolt
Sistemi za avtomatsko sledenje (score following) v realnem času sledijo tempu izvajalca glasbe, pri čemer si pomagajo s poznavanjem notnega zapisa izvedene skladbe. V nalogi boste preučili trenutno stanje na tem področju in implementirali svoj odprtokodni sistem za sledenje.
Literatura:
Kontakt: doc. dr. Matevž Pesek
Cilj magistrske naloge je razvoj novih poigrenih učnih procesov in iger za učenje glasbene teorije in trening posluha z zajemom zvoka iz mobilne naprave, interakcijo z napravo (tapping) ali konvencionalnimi vnosi na platformi Trubadur [1,2,3]. Predlagane igre predstavljajo nadgradnjo obstoječih zmožnosti platforme Trubadur (https://trubadur.si, [4,5]]). Trenutni stack je Laravel (admin, backend) + Flutter (web in mobile frontend) v trenutni razvojni verziji 2.1.
Projekt razvijamo v sodelovanju s Konzervatorijem za glasbo in balet, Ljubljana in nižjimi glasbenimi šolami, kjer platformo uporabljajo pri pouku glasbene teorije. Pri razvoju aplikacije boste uporabili agilne pristope evalvacije uporabniškega vmesnika in izvedli A/B testiranje s študenti. Pripravljamo tudi longitudinalno študijo uporabe platforme, kjer je predvideno večmesečno testiranje. Predviden znanstveni prispevek je vsaj 1 SCI članek.
Literatura:
Kontakt: doc. dr. Matevž Pesek
V laboratoriju smo razvili kompozicionalni hierarhični model za pridobivanje informacij iz glasbe. Model odlikujejo generativnost in zmožnost nenadzorovanega učenja značilk. V model so vgrajeni biološko navdahnjeni mehanizmi, ki želijo obdelavo zvoka približati človekovi slušni zaznavi. Model ima sposobnost učenja različnih enitet (dogodkov) v signalu, zato je primeren za več opravil na področju pridobivanju informacij iz glasbe. Model je bil uspešno apliciran na različne tipe zvoka (spekter, simbolni zapisi, ritem). V magistrski nalogi boste nadgradili obstoječ SymCHM model za simbolne zapise s funkcionalnostjo upoštevanja metrične pozicije in dolžine not pri odkrivanju vzorcev. Model boste tudi ustrezno prilagodili za nove metrike, ki upoštevajo več različnih tipov iskanj vzorcev in primerjali rezultate na novi zbirki, ki jo razvijamo v laboratoriju.
Literatura:
Kontakt: doc. dr. Matevž Pesek
Cilj naloge je razvoj izobraževalne igre, ki izpopolnjuje igralčeve umske ali motorične sposobnosti. Na podobnih tematikah v Laboratoriju že delamo (npr. Steady the drums! [1]), namen pa je razviti nove prijeme, predvidoma na področju učenja glasbe, socializacije in pomoči uporabniku [2]. Trenutno razvijamo prototipe na področjih izobraževanja (osnovno in srednješolsko) na področju glasbe, jezika in naravoslovno-tehničnih tematik.
Literatura:
Kontakt: doc. dr. Matevž Pesek
V Laboratoriju razvijamo orodje za navideznoresničnostno komunikacijo z uporabniki z namenom treninga uporabnika v specifičnih situacijah. V VR okolju, ki ga boste razvili, bomo uporabili Metahuman za simulacijo izgleda ostalih uporabnikov, s katerimi bo uporabnik interaktiral. Ostali uporabniki bodo svoje geste in izgled simulirali na način, da bodo izrazno mimiko prenašali na simuliranega avatarja, ki bo čim bolj resničnostno odseval željeni lik v realni situaciji. Dodali bomo instrumentacijo z uporabo livelink-a in post-procesiranje z deep fake nevronskimi mrežami za pristnejši izgled. Izdelan projekt bomo evalvirali v realnem okolju z drugimi agencijami.
Literatura:
Kontakt: doc. dr. Matevž Pesek
Cilj naloge je razvoj navidezno resničnostne aplikacije, ki pomaga in analizira samostojno vadbo uporabnika in analizirane podatke v ločenem (spletnem) umesniku prikazuje ekspertu.
Na podobnih tematikah v Laboratoriju že delamo (npr. Steady the drums! [1]), namen pa je razviti nove prijeme, predvidoma na področju nevroloških bolezni [2] (Parkinson, Alzheimer in podobni), ki bi uporabniku na dostopen način omogočili kontrolirano vadbo, ekspertu pa vpogled v napredek uporabnika. Temo razpisujemo v sodelovanju s strokovnjaki s področja nevrologije.
Literatura:
Simulator za vizualizacijo podatkov projekta Znanost na sferi (SoS)
Kontakt: doc. dr. Ciril Bohak
Projekt Znanost na sferi (Science on a Sphere) je namenjen popularizaciji različnih geolociranih podatkov, ki prikazujejo izbrano tematiko na področju celotne zemlje. Naj si gre za prikaz različnih statističnih podatkov ali vnaprej pripravljenih “zgodb” o dogajanju na našem planetu iz najrazličnejših vidikov. Medtem ko so podatkovne zbirke na voljo vsem, je sistem za njihov prikaz plačljiv. Ideja naloge je, da se razvije spletni vmesnik za prikaz vsebin pripravljenih v okviru projekta in se takšne podatke vizualizira na spletu. Predvidena je uporab spletnega igralnega pogona Babylon.js, lahko pa se celoten vmesnik razvije tudi z uporabo nižjenivojskega vmesnika RenderCore. V obeh primerih je predvidena uporaba tehnologije WebGPU, saj omogoča dosti boljši izkoristek virov, kot tudi implementacijo lastnih računskih senčilnikov.
Tema je primerna tudi za magisterij, kjer pa je predvideno, da se poleg obstoječega izdela še sistem za pogovorno interakcijo s sfero z LLM (npr. s ChatGPT ali ekvivalentnim sistemom), kjer se lahko uporabnik pogovarja s sfero in definira kaj naj se na njej prikaže, kaj poveča, …
Literatura:
Razširitev upodabljanja z difuzijo s podporo spektralni predstavitvi svetlobe, polarizaciji, fluorescenci in fosforescenci
Kontakt: doc. dr. Ciril Bohak
Globalno osvetlitev v scenah je mogoče realizirati z uporabo različnih pristopov. Najbolj znan je pristop sledenja potem, katerega poglavitna slabost je njegovo počasno delovanje in konvergenca. Vse bolj se za interaktivno in realno-časovno uporabo uveljavljajo alternativni pristopi kot je difuzija. Slednji je do dobra predstavljen v [1]. Predpomnjenje osvetlitve pri volumetričnem upodabljanju z difuzijo.
Literatura:
Pretvorba 3D mrežne geometrije v modele sestavljene iz elementov LEGO technic
Kontakt: doc. dr. Ciril Bohak
Izdelava novih kompletov LEGO kock poteka praviloma ročno v modelirnih programih, ki ponujajo osnovne gradnike kock LEGO, ali pa v resničnem okolju iz pravih elementov LEGO. Pri tem se posamezniki velikokrat zelo trudijo najti čimbolj optimalno obliko modelov, hkrati pa poskrbeti tudi za njihovo ustrezno trdnost. Cilj naloge je izdelati enega ali več algoritmov za pretvorbo izbranih tipov mrežnih modelov v modele sestavljene iz kock LEGO (npr. za letala, za avtomobile, …). Pri tem se lahko opirate na obstoječe rešitve navedene med viri (ali širše), ideja pa je razviti tudi kakšno lastno rešitev, ki izboljša obstoječe pristope. V okviru naloge je predviden tudi razvoj primerjalne metodologije, ki objektivno primerja rezultate različnih rešitev na podlagi primerjave zasedanja prostora (s primerjanjem vokseliziranih predstavitev), na podlagi podobnosti s primerjanjem slik modelov zajetih poda različnimi koti, na podlagi trdnosti zgrajenih modelov, na podlagi števila uporabljenih elementov, …
Literatura:
Upodabljanje volumnov z Gaussovimi packami
Kontakt: doc. dr. Ciril Bohak
Sodobni pristopi k upodabljanju volumetričnih scen se zanašajo na rekonstrukcijo scen z različnimi modeli za predstavitev scen kot so NeRF. Še novejši pristopi uporabljajo predstavitev scen z Gaussovimi packami [1], ki so jih nedavno prilagodili tudi za dinamične scene [2]. Cilj naloge je razviti ekvivalenten pristop za vizualizacijo segmentiranih volumetričnih podatkov na spletu z uporabo standarda WebGPU.
Literatura:
Kontakt: doc. dr. Ciril Bohak
V posamezni celici se nahaja veliko število organelov in drugih struktur (npr. jedro, mitohondriji, golgijevi aparati, fuziformni vezikli, mikrotubuli ipd.), ki jih lahko prepoznamo v mikroskopskih podatkih zajetih z najnovejšimi pristopi v elektronski mikroskopiji (Focused Ion Beam Scanned Electronic Microscopy - FIB-SEM). Cilj naloge je na podlagi segmentiranih subceličnih struktur izdelati vizuelni model izbrane vrste struktur, ki nam omogoča proceduralno generiranje takšnih struktur in njihovo populacijo znotraj posamezne celice.
Literatura:
Kontakt: doc. dr. Ciril Bohak
V posamezni celici se nahaja veliko število organelov in drugih struktur (npr. jedro, mitohondriji, golgijevi aparati, fuziformni vezikli, mikrotubuli ipd.), ki jih lahko prepoznamo v mikroskopskih podatkih, zajetih z najnovejšimi pristopi v elektronski mikroskopiji. Cilj naloge je segmentirati različne strukture znotraj celice. Naloga v sodelovanju z Inštitutom za biologijo celice. V okviru naloge želimo preizkusiti najnovejše segmentacijske pristope in jih ovrednotiti na bioloških podatkih.
Literatura:
Kontakt: prof. dr. Matija Marolt
Ob zajemu volumetričnih podatkov celic z elektronskim mikroskopom se zaradi izjemno zahtevnega postopka zelo pogosto pojavijo deformacije opazovanih celičnih struktur. Na primer: fuziformni vezikli se včasih pri fiksaciji vozrca napihnejo. Vzorec kljub dolgotrajnemu postopku pridobivanja zaradi deformacij postane manj uporaben.
Cilj naloge je pripraviti avtomatski pristop za odpravljanje takih deformacij. Naloga se izvaja v sodelovanju z Inštitutom za biologijo celice.
V znanosti o materialih se za zajem podatkov pogosto uporablja vrstična elektronska mikroskopija, natančneje sistem za uklon povratno sipanih elektronov (angl. electron backscatter diffraction - EBSD). Tako pridobljeni podatki razkrivajo mnoge lastnosti materialov, npr. orientacijo kristalov, obremenitev, napetost, defekte itd. Ker je EBSD zajem izključno dvodimenzionalen, lahko volumetrične podatke pridobimo le z lepljenjem slik posameznih slojev. Namen magistrske naloge je razvoj spletnega orodja, ki poenostavi obdelavo EBSD slik in omogoča meritve v volumetričnih podatkih, denimo izračun in vizualizacijo sprememb parametrov vzdolž poljubnih osi.
Literatura:
Kompresija podatkov je v računalniški grafiki bistvenega pomena za obvladovanje ozkega grla pri pomnilniških dostopih. Manjša uporaba pomnilniškega vodila vodi do hitrejših in bolj učinkovitih programov, poleg tega pa zmanjšuje porabo energije, kar je kritičnega pomena na mobilnih napravah. Medtem ko je kompresija 2D slik in videov napredovala vedno bližje teoretičnim mejam, je kompresija statičnih in dinamičnih volumnov ostala primitivna, kljub temu da so volumni bistveno bolj prostorsko požrešni. Ločimo več vrst kompresijskih shem, ki se razlikujejo predvsem v hitrosti kompresije in dekompresije, hitrosti dostopa do poljubnih podatkov, kompresijskem razmerju in rekonstrukcijski napaki. Cilj te magistrske naloge je implementirati obstoječe in razviti nove pristope za kompresijo volumnov in volumetričnih videov ter jih temeljito analizirati. Implementacije bodo vključene v ogrodje VPT in dodane v specifikacijo formata BVP kot opcijske razširitve.
Literatura:
Medpomnjenje osvetlitve volumnov [1] omogoča znatne pohitritve volumetričnega upodabljanja, saj je ravno pravilen izračun oz. vzorčenje osvetlitve eden izmed najbolj potratnih delov upodabljanja. Takšno medpomnjenje lahko implementiramo na različne načine, npr. v obliki statičnih osvetlitvenih volumnov za aproksimacijo fiksne osvetlitve. Osvetlitveni volumni so lahko različnih resolucij, saj lahko že z manjšim volumnom dobro aproksimiramo osvetlitev celotnega volumna. Ideja te magistrske naloge pa je nevronsko medpomnjenje dinamične osvetlitve volumnov. Podobni prisotpi so bili že raziskani za nevronsko upodabljanje dinamičnih scen [2], ne pa tudi za hranjenje dinamične osvetlitve modelov.
Literatura:
Kontakt: doc. dr. Ciril Bohak
Pri segmentaciji objektov v volumetričnih predstavitvah so dobljene strukture predstavljene z voksli, ki hranijo verjetnost, da določen voksel pripada neki segmentirani strukturi. Te strukture pogosto ustrezajo nekim približnim oblikam, na primer pri mikroskopskih podatkih mitohondrijem v celicah. Za boljšo rekonstrukcijo 3D oblik tako želimo dobljene segmentirane oblike predstaviti s čim bolj pravilnimi površinami. Tako je potrebno za posamezni tip struktur izbrati primerne omejitve in jih uporabiti pri rekonstruiranju 3D geometrije.
Literatura:
V zadnjih letih so podatki površja zemlje zajeti na veliko načinov: (1) Iz letal s tehnologijo LiDAR, (2) 360° posnetki in globinske slike zajete iz avtomobilov (npr. Google Maps), in (3) satelitski posnetki površja. Vse naštete modalnosti zajamejo podatke pri precej različnih resolucijah z različno natančnostjo. Prav tako so podatki zajeti iz različnih zornih kotov in posledično zajemajo pogled na objekte iz različnih zornih kotov.
Ideja naloge je priprava učnih podatkov in učenje modela za nevronsko upodabljanje površja zemlje iz redkega oblaka točk, ki kjer točke poleg položajev hranijo tudi barvno informacijo. Končni cilj je naučen nevronski model za upodabljanje uporabiti v spletni aplikaciji za interaktivno upodabljanje. Pri tem je namen uporabiti spletno ogrodje RenderCore v tehnologiji WebGPU v kombinaciji z wonnx za inferenco na spletu z uporabo WebGPU.
Literatura:
Izdelava namenskih kart ali zemljevidov za potrebe promocije, načrtovanja, ali kakšne drugačne namenske uporabe večinoma poteka ročno s strani strokovnjakov ali umetnikov odvisno od namena uporabe. Z napredkom novih tehnologij predvsem na področju globokega učenja je mogoče veliko takšnih postopkov avtomatizirati. Namen te naloge je pregledati obstoječe pristope za prenos stila in njihovo ovrednotenje za podane namene. Nadalje želimo razviti lastni pristop prilagojen prav za zemljevide in demonstrirati njegovo uporabo na praktičnih primerih. Pri tem želimo ugotoviti kako dobro je mogoče zagotoviti ohranitev izbranih lastnosti (položaj željenih elementov, razmerja, razdalje, …). Uporabo razvitega pristopa želimo demonstrirati tudi na praktičnih primerih (npr. izdelava zemljevidov ali mini-mapa za igre, izdelava stiliziranega zemljevida kakšnega kraja s poudarjenimi ciljnimi objekti, …)
Literatura:
Inkrementalna rekonstrukcija slike iz razpršenih podatkov
Kontakt: Žiga Lesar
V računalniški grafiki moramo pogosto zmanjšati količino podatkov, da naše metode delujejo v realnem času. Pri metanju žarkov na primer želimo zmanjšati število svetlobnih žarkov, ki jih pošljemo v sceno, saj je količina žarkov neposredno povezana s hitrostjo upodabljanja. Več žarkov lahko pošljemo v delih slike, kjer pričakujemo več detajlov, manj žarkov pa v bolj homogene dele slike. Ker so žarki naključno razporejeni po končni sliki, govorimo o razpršenih podatkih. Za prikaz na zaslonu moramo končno sliko rekonstruirati iz razpršenih podatkov, tako da za vsak piksel izračunamo njegovo barvo. Cilj diplomske naloge je razvoj algoritma za rekonstrukcijo slike iz tovrstnih razpršenih podatkov. Ker lahko nabor razpršenih podatkov sproti razširjamo z dodajanjem novih žarkov, mora algoritem delovati inkrementalno, torej mora nove podatke čim hitreje vključiti v rekonstrukcijo. Razvita metoda bo uporabna ne le pri metanju žarkov, temveč tudi pri vizualizaciji oblakov točk, kompresiji slik in rekonstrukciji izgubljenih podatkov.
Kontakt: doc. dr. Ciril Bohak
V zadnjem času so veliko pozornosti pritegnili pristopi za proceduralno generiranje slik na podlagi podanega opisa z uporabo tekstovnih modelov. Modeli kot so Dall-E 1&2&Mini [1], Imagen [2] niso javno dostopni in brezplačno ponujajo zgolj generiranje manjših slik. Po drugi strani pa je pristop Stable Diffusion [3] izdan povsem odprtokodno in ga lahko uporabi vsakkdo. Pristop omogoča širok nabor uporab, od generiranja slik, do vrisavanja, dorisavanja, dodajanja podrobnosti in še kaj. Za delovanje pa je trenutno nujna postavitev v prilagojenem okolju. Različni uporabniki so že razvili vrsto vmesnikov, ki interaktira s postavitvijo na strežnikih. Ideja te magistrske naloge pa je, da se stabilno difuzijo prenese v izvedbo v sam brskalnik z uporabo ogrodja ONNX [4,5 ] in da se za njegovo uporabo razvije primeren grafični uporabniški vmesnik.
Izboljšanje kvalitete video posnetkov v realnem času
Kontakt: prof. dr. Matija Marolt
TV signali, še posebej v SD, vsebujejo precej popačenj slike, ki nastanejo kot posledica video kompresije. V nalogi boste preučili kako lahko izboljšamo kvaliteto video posnetkov z uporabo modelov globokega učenja in izdelali sistem, ki bo v realnem času tekel na platformi Nvidia Jetson Xavier.