Published using Google Docs
Razpisane teme za diplomske naloge - LGM
Updated automatically every 5 minutes

Razpisane teme za diplomske naloge (1. stopnja UNI, VSŠ)

LGM - Laboratorij za računalniško grafiko in multimedije

V kolikor vas katera izmed tem zanima, kontaktirajte predstojnika laboratorija prof. dr. Matijo Marolta, doc. dr. Alenko Kavčič, doc. dr. Matevža Peska ali doc. dr. Cirila Bohaka. Posivene teme niso več na voljo (so že izbrane).

Navidezna resničnost (VR)

Virtualna histeroskopija

Kontakt: doc. dr. Ciril Bohak ali as. Žiga Lesar

S postopkom histeroskopije ginekologi odkrivajo morebitne nepravilnosti v notranjosti maternic. Pred takšnimi pregledi maternice posnamejo tudi s 3D ultrazvokom in tako pridobijo njihovo volumetrično predstavitev. V našem laboratoriju smo takšne ultrazvočne posnetke maternic zelo uspešno segmentirali in pridobili predstavitev njihove notranjosti. Cilj naloge je vizualizacija notranjosti maternice, kjer bi ultrazvočne podatke stilsko preoblikovali v realistični izgled kakršnega ginekologi vidijo med histeroskopijo in vse skupaj prenesli v navidezno resničnost.

Literatura:

  1. E. Boneš,  M. Gergolet, C. Bohak, Ž. Lesar, M. Marolt. “Automatic segmentation and alignment of uterine shapes from 3D ultrasound data”, 2024.

Razvoj izobraževalnih iger v navidezno resničnostnem okolju

Kontakt: doc. dr. Matevž Pesek

Cilj naloge je razvoj izobraževalne igre, ki izpopolnjuje igralčeve umske ali motorične sposobnosti. Na podobnih tematikah v Laboratoriju že delamo (npr. Steady the drums! [1]), namen pa je razviti nove prijeme, predvidoma na področju učenja glasbe, socializacije in pomoči uporabniku [2]. Trenutno razvijamo prototipe na  področjih izobraževanja (osnovno in srednješolsko) na področju glasbe, jezika in naravoslovno-tehničnih tematik.

Literatura:

  1. https://www.oculus.com/experiences/quest/5470851372933076/
  2. N.Hirci, M. Marolt, Z. Lesar, M. Pesek - Evaluating Virtual Reality as Immersive Medium for Enhancing Music Skills  (SalentoXR) https://www.springerprofessional.de/evaluating-virtual-reality-as-immersive-medium-for-enhancing-mus/26004502 

Multimedija

Prepoznava oglašanja nočnih sov

Kontakt: prof. dr. Matija Marolt

Pri spremljanju živalskih populacij lahko uporabljamo snemalnike, ki postavljeni na različne lokacije več tednov zajemajo in hranijo zvočne signale. V temi boste raziskali kako lahko v tovrstnih posnetkih, zbranih na področju Slovenije, detektiramo in klasificiramo različna oglašanja sov, s ciljem spremljanja njihove populacije. Začeli boste s preizkušanjem obstoječih pristopov kot je BirdNet in jih prilagodili za čimboljše delovanje na zbranih podatkih. Naloga v sodelovanju z Nacionalnim Inštitutom za Biologijo.

Odstranjevanje mašil v govoru

Kontakt: prof. dr. Matija Marolt

Ko govorimo med razmišljanjem pogosto v govor dodajamo razna mašila kot so “eem” in “pač”. Če je teh v posnetkih veliko, lahko postanejo moteča. Cilj naloge je detekcija nekaterih mašil v govoru in njihova odstranitev oz maskiranje s signalom, ki ne bo moteč (npr. šum, ki je v ozadju posnetka sicer prisoten).

Računalniška grafika in vizualizacija

Avtomatska ekstrakcija srednjega prereza maternice

Kontakt: doc. dr. Ciril Bohak ali as. Žiga Lesar

Pri materničnih preiskavah ginekologi velikokrat pregledujejo maternico v t.i. srednjem prerezu ultrazvočnega zajema maternice, kjer najlažje določijo odstopanja od običajne oblike in s tem napovedujejo možnost zapletov pri zanositvi. Maternice so pri različnih ženskah lahko zelo različno ukrivljene. Prerez ginekologi pridobijo tako, da v stranskem pogledu na 3D ultrazvočne podatke ročno narišejo krivuljo, ki definira obliko srednjega prereza, nato pa sistem vzdolž te krivulje izvede prerez. V okviru naših raziskav [1] zmoremo iz 3D ultrazvočnih podatkov segmentirati obliko maternice in jo sploščiti. Iz tako sploščene oblike je veliko lažje pridobiti srednji prerez. V tako pridobljenem srednjem prerezu želimo nadalje vizualizirati odstopanja od srednje oblike maternice, kot smo jo pridobili v naši raziskavi (npr. z uporabo predznačene funkcije oddaljenosti).

Literatura:

  1. E. Boneš,  M. Gergolet, C. Bohak, Ž. Lesar, M. Marolt. “Automatic segmentation and alignment of uterine shapes from 3D ultrasound data”, 2024.Volumetrični podatki

Segmentacija bioloških mikroskopskih volumnov

Kontakt: doc. dr. Ciril Bohak

S segmentiranjem celičnih struktur lahko izoliramo in analiziramo specifične strukture znotraj celice, kar omogoča podrobnejše in celovitejše razumevanje njenega delovanja in obnašanja ter njihove porazdelitve znotraj celice. Ta tema se osredotoča na segmentacijo takšnih struktur [1,2] znotraj mikroskopskih volumnov in preizkušanje več obstoječih pristopov globokega učenja. Radi bi segmentirali membrane celičnih organelov in celične membrane (plazmaleme) ter analizirali njihovo prostorsko razporeditev in korelacijo. Poleg tega bi radi vizualizirali rezultate znotraj obstoječega ogrodja za volumetrično upodabljanje [3].

Literatura:

  1. M. Ž. Mekuč, C. Bohak, S. Hudoklin, B. H. Kim, R. Romih, M. Y. Kim, and M. Marolt. "Automatic segmentation of mitochondria and endolysosomes in volumetric electron microscopy data." Computers in biology and medicine 119 (2020): 103693.
  2. M. Ž. Mekuč, C. Bohak, E. Boneš, S. Hudoklin, R. Romih and M. Marolt. "Automatic segmentation and reconstruction of intracellular compartments in volumetric electron microscopy data." Computer methods and programs in biomedicine 223 (2022): 106959.
  3. Ž. Lesar, C. Bohak, and M. Marolt. 2018. Real-time interactive platform-agnostic volumetric path tracing in webGL 2.0. In Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D '18). Association for Computing Machinery, New York, NY, USA, Article 7, 1–7. https://doi.org/10.1145/3208806.3208814

Segmentacija in analiza mitohondrijev v mikroskopskih volumnih

Kontakt: doc. dr. Ciril Bohak

Mitohondriji imajo pomembno vlogo v celici, saj so ključni pri ustvarjanju energije, ki jo za življenje potrebujejo živi organizmi. Cilj diplomske naloge je iz mikrobioloških mikroskopskih volumnov segmentirati mitohondrije različnih plasti celic, jih analizirati in primerjati ter na podlagi dobljenih rezultatov ugotoviti kako se morebiti med seboj razlikujejo. Zanima nas tako njihova celostna oblika kot struktura njihove notranje membrane, ki je ključna pri ustvarjanju ATP-ja. Dobljene rezultate želimo tudi ustrezno vizualizirati.

Literatura:

  1. M. Ž. Mekuč, C. Bohak, S. Hudoklin, B. H. Kim, R. Romih, M. Y. Kim, and M. Marolt. "Automatic segmentation of mitochondria and endolysosomes in volumetric electron microscopy data." Computers in biology and medicine 119 (2020): 103693.
  2. M. Ž. Mekuč, C. Bohak, E. Boneš, S. Hudoklin, R. Romih and M. Marolt. "Automatic segmentation and reconstruction of intracellular compartments in volumetric electron microscopy data." Computer methods and programs in biomedicine 223 (2022): 106959.

Upodabljanje 3D scen v volumne

Kontakt: doc. dr. Ciril Bohak

Volumetrična predstavitev podatkov si dandanes utira pot tudi v vsakdanjo uporabo. S sodobnimi pristopi kot so NeRF [1] in Block-NeRF ter njune prilagoditve in razširitve je dandanes mogoče iz nekaj fotografij rekonstruirati 3D scene in se skozi njih interaktivno premikati. Ideja diplomske naloge je izdelava orodja za upodabljanje običajnih 3D scen, izdelanih v programu Blender, v volumetrično obliko. V okviru diplomske naloge je cilj razviti vtičnik za Blender, ki bo omogočal, da poljubno sceno upodobimo v volumen, pri čimer imamo možnost izbrati kateri del scene naj upodobljeni volumen vsebuje, resolucijo upodobljenega volumna, način shranjevanja lastnosti materiala (gostota, barva, osvetlitev), shranjevanje v BVP format, podpora animiranim scenam ipd. Takšne podatke je nato moč upodobiti v spletnem orodju za upodabljanje volumnov VPT [3]. Pri tem je potrebno nasloviti več izzivov: določitev materialov znotraj zaprtih objektov, kaj narediti z odprtimi mrežnimi modeli (odebelitev), ipd.

  1. Mildenhall, Ben, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65, no. 1 (2021): 99-106.
  2. Tancik, Matthew, Vincent Casser, Xinchen Yan, Sabeek Pradhan, Ben Mildenhall, Pratul P. Srinivasan, Jonathan T. Barron, and Henrik Kretzschmar. "Block-nerf: Scalable large scene neural view synthesis." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 8248-8258. 2022. [pdf]
  3. Žiga Lesar, Ciril Bohak, and Matija Marolt. 2018. Real-time interactive platform-agnostic volumetric path tracing in webGL 2.0. In Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D '18). Association for Computing Machinery, New York, NY, USA, Article 7, 1–7. https://doi.org/10.1145/3208806.3208814
  4. Enei Sluga, “Postprodukcijski efekti na volumetričnih videih”, diplomsko delo 2023.

Razno

Nadgradnja tekmovalnega sistema Bober

Kontakt: doc. dr. Alenka Kavčič

Za izvedbo tekmovanja iz računalniškega mišljenja ACM Bober (https://bober.acm.si/) uporabljamo spletni tekmovalni sistem, ki omogoča tako tekmovanje preko spleta kot tudi ustrezno administracijo (npr. priprava tekmovalnih skupin, nalog, podelitev priznanj tekmovalcem in mentorjem, prijava šol na tekmovanje, različne statistike ...). V okviru diplomske naloge boste obstoječi sistem nadgradili z dodatnimi funkcionalnostmi. Za konkretne naloge se bomo dogovorili skupaj z administratorjem sistema. Obstoječi sistem temelji na ogrodju Django.

Oddane teme

Rekonstrukcija in analiza mikroskopskih tomografij

Kontakt: doc. dr. Ciril Bohak

Volumetrično predstavitev mikroskopskih mikrobioloških podatkov lahko pridobimo z uporabo različnih tehnik. Ena izmed njih enje tomografija, kjer vzorce serijsko zajamemo iz različnih zornih kotov (t.i. tilt-series) in za njihovo rekonstrukcijo uporabimo računsko tomografijo. Cilj te naloge je rekonstruirati volumne iz tako zajetih sekvenc in na njih preizkusiti obstoječe pristope za njihovo segmentacijo [2,3]. Pridobljene rezultate želimo vizualizirati znotraj obstoječega ogrodja [4].

Literatura:

  1. J. R. Ramirez, P. Rautek, C. Bohak, O. Strnad, Z. Zhang, S. Li, I. Viola, and W. Heidrich. "GPU Accelerated 3D Tomographic Reconstruction and Visualization from Noisy Electron Microscopy Tilt-Series." IEEE Transactions on Visualization and Computer Graphics (2022).
  2. M. Ž. Mekuč, C. Bohak, S. Hudoklin, B. H. Kim, R. Romih, M. Y. Kim, and M. Marolt. "Automatic segmentation of mitochondria and endolysosomes in volumetric electron microscopy data." Computers in biology and medicine 119 (2020): 103693.
  3. M. Ž. Mekuč, C. Bohak, E. Boneš, S. Hudoklin, R. Romih and M. Marolt. "Automatic segmentation and reconstruction of intracellular compartments in volumetric electron microscopy data." Computer methods and programs in biomedicine 223 (2022): 106959.
  4. Ž. Lesar, C. Bohak, and M. Marolt. 2018. Real-time interactive platform-agnostic volumetric path tracing in webGL 2.0. In Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D '18). Association for Computing Machinery, New York, NY, USA, Article 7, 1–7. https://doi.org/10.1145/3208806.3208814

Pretvorba 3D mrežne geometrije v modele sestavljene iz elementov LEGO

Kontakt: doc. dr. Ciril Bohak

Izdelava novih kompletov LEGO kock poteka praviloma ročno v modelirnih programih, ki ponujajo osnovne gradnike kock LEGO, ali pa v resničnem okolju iz pravih elementov LEGO. Pri tem se posamezniki velikokrat zelo trudijo najti čimbolj optimalno obliko modelov, hkrati pa poskrbeti tudi za njihovo ustrezno trdnost. Cilj naloge je izdelati enega ali več algoritmov za pretvorbo izbranih tipov mrežnih modelov v modele sestavljene iz kock LEGO (npr. za stavbe, za avtomobile, …). Pri tem se lahko opirate na obstoječe rešitve navedene med viri (ali širše), ideja pa je razviti tudi kakšno lastno rešitev, ki izboljša obstoječe pristope.

Literatura:

  1. Ono, Sumiaki, Alexis André, Youngha Chang, and Masayuki Nakajima. "LEGO builder: automatic generation of LEGO assembly manual from 3D polygon model." ITE Transactions on Media Technology and Applications 1, no. 4 (2013): 354-360.
  2. Zhou, Jie, Xuejin Chen, and Y. Xu. "Automatic generation of vivid LEGO architectural sculptures." In Computer Graphics Forum, vol. 38, no. 6, pp. 31-42. 2019. (link)
  3. Testuz, Romain Pierre, Yuliy Schwartzburg, and Mark Pauly. Automatic generation of constructable brick sculptures. No. CONF. 2013. (link)
  4. Kim, Jae Woo, Kyung Kyu Kang, and Ji Hyoung Lee. "Survey on automated LEGO assembly construction." (2014). (link)
  5. Tattersall, George, Dizhong Zhu, William AP Smith, Sebastian Deterding, and Patrik Huber. "Reconstructing Creative Lego Models." In Proceedings of the Asian Conference on Computer Vision. 2020.
  6. Lennon, Kyle, Katharina Fransen, Alexander O'Brien, Yumeng Cao, Matthew Beveridge, Yamin Arefeen, Nikhil Singh, and Iddo Drori. "Image2lego: Customized lego set generation from images." arXiv preprint arXiv:2108.08477 (2021).
  7. Mingjun Zhou, Jiahao Ge, Hao Xu, and Chi-Wing Fu. 2023. Computational Design of LEGO® Sketch Art. ACM Trans. Graph. 42, 6, Article 201 (December 2023), 15 pages. https://doi.org/10.1145/3618306

Volumetrično osnovani posebni efekti v igrah

Kontakt: doc. dr. Ciril Bohak ali as. Žiga Lesar

Posebni efekti v igrah so v večini primerov še vedno predstavljeni ali z 2D geometrijo - panoji (sprites) ali preprosto 3D mrežno geometrijo z dodanimi teksturami. Ideja diplomske naloge je implementirati prave 3D efekte eksplozij, dima in podobnih efektov, ki bodo predstavljeni z volumnom pri izredno nizki ločljivosti in bodo imeli dodane detjle s proceduralno generiranimi teksturami podrobnosti in bodo realnočasnovno nadvzorčeni do želene ločljivosti.

Literatura:

  1. https://www.youtube.com/watch?v=ryB8hT5TMSg
  2. https://www.scratchapixel.com/lessons/3d-basic-rendering/volume-rendering-for-developers/intro-volume-rendering.html
  3. https://bronsonzgeb.com/index.php/2021/05/29/gpu-mesh-voxelizer-part-2/
  4. https://advances.realtimerendering.com/s2015/The%20Real-time%20Volumetric%20Cloudscapes%20of%20Horizon%20-%20Zero%20Dawn%20-%20ARTR.pdf
  5. https://shaderbits.com/blog/creating-volumetric-ray-marcher
  6. https://iquilezles.org/articles/distfunctions/
  7. https://github.com/GarrettGunnell/CS2-Smoke-Grenades

Razvoj navidezno resničnostnih aplikacij za domačo vadbo, namenjenih uporabnikom s specifičnimi boleznimi in primanjkljaji

Kontakt: doc. dr. Matevž Pesek

Cilj naloge je razvoj navidezno resničnostne aplikacije, ki pomaga in analizira samostojno vadbo uporabnika in analizirane podatke v ločenem (spletnem) umesniku prikazuje ekspertu.

Na podobnih tematikah v Laboratoriju že delamo (npr. Steady the drums! [1]), namen pa je razviti nove prijeme, predvidoma na področju nevroloških bolezni [2] (Parkinson, Alzheimer in podobni), ki bi uporabniku na dostopen način omogočili kontrolirano vadbo, ekspertu pa vpogled v napredek uporabnika. Temo razpisujemo v sodelovanju s strokovnjaki s področja nevrologije.

Literatura:

  1. https://www.oculus.com/experiences/quest/5470851372933076/ 
  2. N.Hirci, M. Marolt, Z. Lesar, M. Pesek - Evaluating Virtual Reality as Immersive Medium for Enhancing Music Skills  (SalentoXR) https://www.springerprofessional.de/evaluating-virtual-reality-as-immersive-medium-for-enhancing-mus/26004502 

Uporaba "deep fake" nevronskih mrež in orodja MetaHuman za pristne pogovore v navidezni resničnosti

Kontakt: doc. dr. Matevž Pesek

V Laboratoriju razvijamo orodje za navideznoresničnostno komunikacijo z uporabniki z namenom treninga uporabnika v specifičnih situacijah. V VR okolju, ki ga boste razvili, bomo uporabili Metahuman za simulacijo izgleda ostalih uporabnikov, s katerimi bo uporabnik interaktiral. Ostali uporabniki bodo svoje geste in izgled simulirali na način, da bodo izrazno mimiko prenašali na simuliranega avatarja, ki bo čim bolj resničnostno odseval željeni lik v realni situaciji. Dodali bomo instrumentacijo z uporabo livelink-a in post-procesiranje z deep fake nevronskimi mrežami za pristnejši izgled. Izdelan projekt bomo evalvirali v realnem okolju z drugimi agencijami.

Literatura:

  1. https://github.com/iperov/DeepFaceLive 

Vizualni model citosola

Kontakt: doc. dr. Ciril Bohak

V okviru naših raziskav razvijamo proceduralne pristope za celostno modeliranje celic vključno s subceličnimi strukturami. Največji delež v vsaki celici predstavlja citosol, ki je tekoči del citoplazme evkariontske ali prokariontske celice. Sestoji iz vode in v njej raztopljenih ionov ter vodotopnih molekul. Cilj diplomske naloge je izdelati proceduralni generativni model citosola, ki verodostojno generira to celično tekočino za namene upodabljanja. Ta celična tekočina je v posameznih predelih celice zaradi različnih raztopenih snovi neenakomerno gosta, kar vpliva na njene optične lastnosti - sprememba v lomnem količniku svetlobe zaradi česar prihaja do različnih popačenj pri upodaljanju. Ker tekočina v celici ne miruje, želimo simulirati njen pretok znotraj celice kar se odraža v vizualni spremembi.

Literatura:

  1. http://web.mit.edu/fluids-modules/www/exper_techniques/6.Shadowgraph_and_Schlierin.pdf
  2. https://www.sciencedirect.com/science/article/abs/pii/S0263224124000897

Simulator za vizualizacijo podatkov projekta Znanost na sferi (SoS)

Kontakt: doc. dr. Ciril Bohak

Projekt Znanost na sferi (Science on a Sphere) je namenjen popularizaciji različnih geolociranih podatkov, ki prikazujejo izbrano tematiko na področju celotne zemlje. Naj si gre za prikaz različnih statističnih podatkov ali vnaprej pripravljenih “zgodb” o dogajanju na našem planetu iz najrazličnejših vidikov. Medtem ko so podatkovne zbirke na voljo vsem, je sistem za njihov prikaz plačljiv. Ideja naloge je, da se razvije spletni vmesnik za prikaz vsebin pripravljenih v okviru projekta in se takšne podatke vizualizira na spletu. Predvidena je uporab spletnega igralnega pogona Babylon.js, lahko pa se celoten vmesnik razvije tudi z uporabo nižjenivojskega vmesnika RenderCore. V obeh primerih je predvidena uporaba tehnologije WebGPU, saj omogoča dosti boljši izkoristek virov, kot tudi implementacijo lastnih računskih senčilnikov.

Tema je primerna tudi za magisterij, kjer pa je predvideno, da se poleg obstoječega izdela še sistem za pogovorno interakcijo s sfero z LLM (npr. s ChatGPT ali ekvivalentnim sistemom), kjer se lahko uporabnik pogovarja s sfero in definira kaj naj se na njej prikaže, kaj poveča, …

Literatura:

  1. Domača stran projekta Znanost na sferi: https://sos.noaa.gov
  2. Babylon.js: https://www.babylonjs.com
  3. RenderCore: https://github.com/UL-FRI-LGM/RenderCore

Avtomatsko generiranje opisov scen v virtualnem okolju za namene komunikacije z LLM

Kontakt: doc. dr. Ciril Bohak

Pri razvoju iger se velikokrat srečamo z dejstvom, da je potrebno velike dele okolij napolniti z avtonomnimi liki (Non-Playable Characters - NPC-ji), s katerimi lahko igrwlci interaktirajo. Pri tem je potrebno tem likom podati neko ozadno zgodbo, ki se večinoma ustvarjajo ročno. Takšne zgodbe so statične in like je težko enostavno prestaviti v neko novo okolje ki ni bilo zajeto v zgodbi.

Medtem ko na izdelavi avtonomnih likov z uporabo LLM poteka že ogromno raziskav, pa je področje avtonomnega prepoznavanja in vpenjanja v okolje še neraziskano. Cilj diplomske naloge je razviti ogrodje za avtomatsko ustvarjanje opisa okolja v igri kot ga avtonomni lik vidi in dojema na določeni lokaciji. To bi dosegli tako da pogled iz določene točke zajamemo s t.i. fotosferično upodovitvijo v izbranih točkah scene. Takšne fotosfere nato segmentiramo s splošnimi segmentacisjkimi modeli kot je Segment [1] oz ekvivalentnimi pristopi, ki nam izločijo posamezne elemente scene. Tako prepoznane elemente lahko nato avtomatsko povezžemo v gruče kar lahko v povezavi z grafom scene uporabimo za  tvojenje opisov scene z določenega položaja.

Ideja je, da lahko takšen opis prostora kjer se avtonomni lik nahaja, skupaj z grafom scene, podamo kot dodaten parameter modelu LLM za bolj realno generiranje pogovora z igralcem.

Literatura:

  1. Domača stran projekta Segment Anything: https://segment-anything.com

Iskanje in popravljanje napak v samodejno razpoznanem besedilu

Kontakt: doc. dr. Alenka Kavčič

Tiskani zapisniki sej deželnega zbora kranjskega (1861-1918) so bili optično prebrani in za vsak zapisnik je pripravljena datoteka pdf z besedilom, pridobljenem s samodejno optično razpoznavo znakov OCR (optical character recognition). Značilnost teh zapisnikov je, da knjige stare, zapisi so dvojezični (v slovenščini in nemščini), da se uporablja star jezik in da je nemško besedilo zapisano v gotici. Posledično pri samodejni razpoznavi znakov prihaja tudi do večjih napak (OCR ne deluje povsod dobro). Cilj diplomske naloge je, da na podlagi statistike pojavitve besed in popravne razdalje poiščete ter ustrezno popravite napake v besedilu, ki so nastale pri samodejni razpoznavi črk.

Nadgradnja spletnega pregledovalnika datotek pdf

Kontakt: doc. dr. Alenka Kavčič

Obstoječi spletni pregledovalnik datotek pdf uporablja knjižnico pdf.js za prikaz dokumenta v formatu pdf in za iskanje po tem dokumentu. V okviru diplomske naloge bi izdelali napreden iskalnik v pdf dokumentu na spletu, ki bi v prikazanem dokumentu omogočil iskanje po ključnih besedah (povezanih z AND ali OR), po frazah (navedene v narekovajih) in po lemah ter ustrezen prikaz najdenih rezultatov. Vsak pdf dokument ima tudi pripadajoči dokument v obliki xml, v katerem se izvaja samo iskanje (kar omogoča iskanje po lemah). Za prikaz rezultatov bo potrebno vsebino xml povezati s pdf.

Vizualni gradniki za podatkovno analitiko na spletu

Kontakt: doc. dr. Ciril Bohak ali Žiga Lesar

Cilj naloge je zgraditi poenoteno zbirko vizualnih gradnikov za podatkovno analitiko na spletu za vizualizacijo najrazličnejših informacij pridobljenih iz podatkov. Za osnovo se lahko vzame katero izmed obstoječih prostodostopnih uveljavljenih zbirk, ki se jih prilagodi in dopolni z dodatnimi gradniki potrebnimi za prikaz informacij s pordročja 3D vizualizacij. Željen je futuristični izgled komponent s podporo svetli in temni temi.

Literatura:

  1. Lesar, Žiga, Ruwayda Alharbi, Ciril Bohak, Ondřej Strnad, Christoph Heinzl, Matija Marolt, and Ivan Viola. "Volume conductor: interactive visibility management for crowded volumes." The visual computer (2023): 1-16.
  2. Weissenböck, Johannes, Artem Amirkhanov, Weimin Li, Andreas Reh, Alexander Amirkhanov, Eduard Gröller, Johann Kastner, and Christoph Heinzl. "FiberScout: an interactive tool for exploring and analyzing fiber reinforced polymers." In 2014 IEEE Pacific Visualization Symposium, pp. 153-160. IEEE, 2014.

Prepoznava oglašanja miši

Kontakt: prof. dr. Matija Marolt

V temi se boste posvetili izdelavi sistema za detekcijo in klasifikacijo oglašanj miši. Miši komunicirajo v ultrazvočnem frekvenčnem področju, njihovo oglašanje lahko zajamemo s posebnimi mikrofoni. Cilj naloge je izdelati globoki model za detekcijo in razpoznavo različnih vrst oglašanj, ki jih miši uporabljajo pri komunikaciji. Model bi primerjali z obstoječimi rešitvami na področju, npr. DeepSqueak, učili in preizkusili pa bi ga na podatkih, ki jih bodo zagotovili raziskovalci Medicinske fakultete, ki preučujejo vpliv psihoaktivnih substanc na obnašanje miši.

Transkripcija petja

Kontakt: prof. dr. Matija Marolt

Globoki modeli za avtomatsko razpoznavo govora tudi za slovenščino delujejo že precej dobro. Ker je petje drugačno od govora, ti modeli na prepoznavanju zapetega besedila ne delujejo najbolje. V okviru diplomske naloge boste razvili model za avtomatsko razpoznavo zapetega besedilo. Delo vključuje izdelavo podatkovne zbirke zvočnih posnetkov in poravnanih besedil in učenje razpoznavalnega modela, ki bo baziral na modelu za razpoznavo govora.

Razširitev volumetričnega sledenje poti s podporo spektralni predstavitvi svetlobe

Kontakt: doc. dr. Ciril Bohak ali Žiga Lesar

Volumetrično upodabljanje se vse bolj vpenja v realno-časovno računalniško grafiko in pomembno je, da je z njim mogoče upodobiti scene čimbolj realistično. Za doseganje bolj realističnega upodabljanja, kot je na voljo v trenutni implementaciji [1], želimo v ogrodje dodati podporo spektralni predstavitvi svetlobe. S tem lahko obnašanje svetlobe simuliramo še natančneje in dosežemo pojave kot so razklon, fosforescenca, kromatična aberacija in podobne. Cilj naloge je ogrodje implementirano v tehnologiji WebGPU, razširiti in dopolniti, da bo podpiralo želene funkcionalnosti.

Literatura:

  1. Žiga Lesar, Ciril Bohak, and Matija Marolt. 2018. Real-time interactive platform-agnostic volumetric path tracing in webGL 2.0. In Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D '18). Association for Computing Machinery, New York, NY, USA, Article 7, 1–7. https://doi.org/10.1145/3208806.3208814
  2. Fascione, Luca, Johannes Hanika, Mark Leone, Marc Droske, Jorge Schwarzhaupt, Tomáš Davidovič, Andrea Weidlich, and Johannes Meng. "Manuka: A batch-shading architecture for spectral path tracing in movie production." ACM Transactions on Graphics (TOG) 37, no. 3 (2018): 1-18.
  3. Mojzík, Michal, Alban Fichet, and Alexander Wilkie. "Handling Fluorescence in a Uni‐directional Spectral Path Tracer." In Computer Graphics Forum, vol. 37, no. 4, pp. 77-94. 2018.

Petitjean, Victor, Pablo Bauszat, and Elmar Eisemann. "Spectral gradient sampling for path tracing." In Computer Graphics Forum, vol. 37, no. 4, pp. 45-53. 2018.

Ogrodje za uporabo globokih arhitektur v brskalniku

Kontakt: doc. dr. Ciril Bohak

V sodelovanju z Inštitutom za biologijo celice smo pripravili avtomatske algoritme za segmentacijo volumetričnih podatkov celice, ki temljijo na konvolucijskih nevronskih mrežah.

Cilj naloge je pripraviti ogrodje, ki bi za naučene modele omogočilo inferenco v brskalniku, tako da bi uporabnik lahko preizkusil delovanje modela na svojih podatkih. Za izvedbo inference se uporabi ogrodje ONNX [1], ki omogoča uporabo modelov naučenih z različnimi ogrodji na spletu. Poleg integracije modelov bo treba razviti tudi ustrezen uporabniški vmesnik za kar je predvidena kakšnega sodobnega ogrodja kot sta na primer Vue [2] ali React [3].

  1. ONNX, https://onnx.ai
  2. Vue, https://vuejs.org
  3. React, https://reactjs.org

Interaktivno raziskovanje volumetričnih podatkov prek galerije prenosnih funkcij

Kontakt: Žiga Lesar

Pri upodabljanju volumetričnih podakov moramo lokacijam v prostoru pripisati različne optične lastnosti, npr. gostoto, barvo, emisivnost, parametre sipanja ipd. To preslikavo opravlja t. i. prenosna funkcija, z njenim prilagajanjem pa lahko upodabljamo različne medije, npr. oblake, meglo, ogenj, trdne snovi ipd. Poleg tega se optične lastnosti medijev običajno spreminjajo glede na vrednost volumetričnih podatkov ali njihovega gradienta. Prilagajanje prenosne funkcije je dokaj težaven in uporabniku neprijazen postopek. Cilj naloge je zasnovati model prenosne funkcije, s katerim bi generirali prenosne funkcije in jih uporabniku prikazali prek galerije predogledov. Model naj bi upošteval tudi trenutno izbrano prenosno funkcijo, tako da bi bilo moč izvajati le lokalne perturbacije. Študent naj bi implementirane pristope medsebojno primerjal in ovrednotil.

Razvoj orodja za obdelavo in shranjevanje volumetričnih podatkov v formatu BVP

Kontakt: Žiga Lesar

Shranjevanje volumetričnih podatkov v praksi je v veliki meri odvisno od vsake aplikacije posebej. Obstaja nekaj formatov, ki so v širši uporabi, toda imajo velike pomanjkljivosti: pogosto je na voljo zelo omejen nabor formatov vokslov, ne dovoljujejo shranjevanja večkanalnih volumnov ali več ločenih volumnov v eni datoteki, ne omogočajo učinkovitega dostopa do podatkov in metapodatkov prek spletne povezave … Za ta namen smo razvili format BVP, ki združuje dobre pristope obstoječih formatov, poleg tega pa je primeren za uporabo na spletu. Cilj naloge je implementacija orodja za obdelavo volumetričnih podatkov (filtriranje, obrezovanje, pretvorba med formati vokslov) in shranjevanje v formatu BVP.

Postprodukcijski efekti na volumetričnih slikah in videu

Kontakt: doc. dr. Ciril Bohak

Volumetrične (3D) slike in video so vse bližje praktični uporabi, kot je pokazal tudi nedavni poskus prenosa volumetričnega videa NBA tekme [1], kjer lahko gledalci sami izberejo kje v prostoru se bodo nahajali in kam bodo gledali. Takšni podatki pa so nekaj povsem običajnega na nekaterih drugih področjih (npr. astronomija, meteorologija, mikrobiologija, medicina, fizika visokih energij, …). Ideja diplomske naloge je razviti/dopolniti upodobljevalni cevovod, ki je v uporabi v spletnem orodju za upodabljanje volumetričnih podatkov VPT [2], za takšne podatke, ki bo omogočal aplikacijo postprodukcijskih efektov nad volumetričnimi podatki in bo implementiran na principu odloženega upodabljanja.

  1. Novica o prenosu celotne tekme NBA v volumetrični obliki: https://www.techspot.com/news/93823-nba-aired-entire-game-using-volumetric-video-tech.html
  2. Žiga Lesar, Ciril Bohak, and Matija Marolt. 2018. Real-time interactive platform-agnostic volumetric path tracing in webGL 2.0. In Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D '18). Association for Computing Machinery, New York, NY, USA, Article 7, 1–7. https://doi.org/10.1145/3208806.3208814

Morski biomi po vzoru Whittakerjevih biomov

Kontakt: doc. dr. Ciril Bohak

Rastlinske vrste na kopnem so razporejene po posameznih predelih glede na to kako so prilagojene za življenje v določenih pogojih (kot so temepratura, vlažnost, obsijanost, ipd.). V kolikor se ti pogoji skozi čas spreminjajo se ustrezno med območji premikajo tudi rastlinske vrste. Rastline je v različne biome razporedil Whittaker [1], njegova razporeditev pa se zelo pogosto uporablja pri generiranju realištični z rastjem prekritih terenov. Podobno velja tudi za morsko rasthe in korale. Tudi zanje velja, da preferirajo določene pogoje pod katerimi močno uspevajo in ko se ti pogoji spremenijo, rastje izumre ali se preseli. V okviru diplomske naloge bi bilo potrebno najprej v povezavi z biologi definirati takšno rastje (tukaj je potrene nekaj samoiniciative pri iskanju pomoči). Nato pa bi se izdelalo okolje, ki simulira kako se takšni biomi skozi čas premikajo, če se spreminjajo pogoji. Generator terena na podlagi uporabe takšnih biomov je v okviru svoje diplome izrelel Primož Pečar.

  1. Whittaker, R. H., & Likens, G. E. (1975). The biosphere and man. In Primary productivity of the biosphere (pp. 305-328). Springer, Berlin, Heidelberg.
  2. Pečar, P. (2020). Proceduralno generiranje realistične pokrajine v različnih letnih časih, Univerza v Ljubljani, Fakulteta za računalništvo in informatiko, Ljubljanja.

Interpolacija odsevnih sond za hitro upodabljanje odsevnih materialov

Kontakt: Žiga Lesar

Med večjimi izzivi pri interaktivni računalniški grafiki je pravilno upodabljanje gladkih materialov in odsevov v tovrstnih materialih. Izgled odseva namreč narekuje okolica predmeta, zato je kvaliteta izrisa povsem odvisna od kvalitete vzorčenja okolice. Sledenje poti v tem primeru tvori pravilne rezultate, toda za potrebe interaktivne računalniške grafike je bistveno prepočasno. V praksi problem pogosto rešujemo tako, da okolico izrišemo vnaprej v fiksnih točkah v prostoru (s t. i. odsevnimi sondami), med izvajanjem upodobitve pa izrisane slike le vzorčimo. Pri tem moramo neizogibno interpolirati med odsevnimi sondami glede na položaj površine v prostoru, kvaliteta izrisa pa je tako odvisna od kvalitete interpolacije. V diplomskem delu boste raziskali interpolacijo odsevnih sond z globokimi modeli in njeno delovanje prikazali v prototipni aplikaciji. Dobljene rezultate boste kvalitativno in performančno ovrednotili ter primerjali z rezultati obstoječih metod.

Inkrementalna rekonstrukcija slike iz razpršenih podatkov

Kontakt: Žiga Lesar

V računalniški grafiki moramo pogosto zmanjšati količino podatkov, da naše metode delujejo v realnem času. Pri metanju žarkov na primer želimo zmanjšati število svetlobnih žarkov, ki jih pošljemo v sceno, saj je količina žarkov neposredno povezana s hitrostjo upodabljanja. Več žarkov lahko pošljemo v delih slike, kjer pričakujemo več detajlov, manj žarkov pa v bolj homogene dele slike. Ker so žarki naključno razporejeni po končni sliki, govorimo o razpršenih podatkih. Za prikaz na zaslonu moramo končno sliko rekonstruirati iz razpršenih podatkov, tako da za vsak piksel izračunamo njegovo barvo. Cilj diplomske naloge je razvoj algoritma za rekonstrukcijo slike iz tovrstnih razpršenih podatkov. Ker lahko nabor razpršenih podatkov sproti razširjamo z dodajanjem novih žarkov, mora algoritem delovati inkrementalno, torej mora nove podatke čim hitreje vključiti v rekonstrukcijo. Razvita metoda bo uporabna ne le pri metanju žarkov, temveč tudi pri vizualizaciji oblakov točk, kompresiji slik in rekonstrukciji izgubljenih podatkov.

Prenos stila letalskih posnetkov generirane pokrajine v realistični izgled

Kontakt: doc. dr. Ciril Bohak

Ideja naloge je, da vzamemo generator pokrajine, tako samega terena [1], rastja kot rastja [2] in urbanih delo [3] v, z njim izdelamo modele pokrajine, ki jih nato zajamemo iz perspektive kot so zajeti letalski posnetki z ortho perspektivo. Tako zajete posnetke želimo nato pretvoriti v realistični stil kot ga imajo realni letalski posnetki z razvojem in treniranjem lastnega globokega modela za prenos stilov [3-6].

  1. Pečar, P. (2020). Proceduralno generiranje realistične pokrajine v različnih letnih časih, Univerza v Ljubljani, Fakulteta za računalništvo in informatiko, Ljubljanja.
  2. CityEngine. https://www.esri.com/en-us/arcgis/products/arcgis-cityengine/overview
  3. Jing, Y., Yang, Y., Feng, Z., Ye, J., Yu, Y., & Song, M. (2019). Neural style transfer: A review. IEEE transactions on visualization and computer graphics, 26(11), 3365-3385.
  4. Li, Y., Wang, N., Liu, J., & Hou, X. (2017). Demystifying neural style transfer. arXiv preprint arXiv:1701.01036.
  5. Yoo, J., Uh, Y., Chun, S., Kang, B., & Ha, J. W. (2019). Photorealistic style transfer via wavelet transforms. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 9036-9045).
  6. An, J., Huang, S., Song, Y., Dou, D., Liu, W., & Luo, J. (2021). Artflow: Unbiased image style transfer via reversible neural flows. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 862-871).

Proceduralno generiranje in upodabljanje podvodnih struktur in organizmov

Kontakt: Žiga Lesar

Razvili boste metode za proceduralno generiranje podvodnih struktur in organizmov, kot so npr. rastline, korale, koralni grebeni, previsi in jame, ter poskrbeli za njihovo realnočasovno in prepričljivo upodabljanje. Za upodabljanje podvodnih scen boste implementirali enojno sipanje svetlobe, za upodabljanje vodne površine pa boste uporabili metodo inverzne Fourierjeve transformacije. Posebno pozornost boste morali posvetiti prilagajanju natančnosti izrisa, saj želimo ohraniti detajle na predmetih blizu kamere.

Literatura:

  1. https://dl.acm.org/doi/10.1145/1186822.1073309
  2. https://dl.acm.org/doi/10.5555/957155.957189
  3. https://dl.acm.org/doi/abs/10.5555/569046.569060
  4. https://dl.acm.org/doi/10.5555/882473.883441
  5. https://developer.amd.com/wordpress/media/2012/10/Mitchell_LightShafts.pdf
  6. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.131.5567
  7. http://eprints.fri.uni-lj.si/3665/
  8. https://repozitorij.uni-lj.si/IzpisGradiva.php?id=119972

Primerjava metod za rekonstrukcijo površin

Kontakt: Žiga Lesar

V nalogi boste implementirali in primerjali najpogostejše pristope za rekonstrukcijo površin iz oblakov točk, volumetričnih podatkov in implicitnih funkcij. TODO: alpha shapes, ball pivoting, marching triangles, bloomenthal

Razvoj novih didaktičnih prijemov za trening glasbene teorije z zajemom zvoka za platformo Trubadur

Kontakt: doc. dr. Matevž Pesek

Cilj naloge je razvoj spletne aplikacije za ritmični in intervalni narek, ki bosta delovali z zajemom zvoka iz mobilne naprave. Aplikaciji predstavljata inverzni model učenja obstoječih aplikacij za treniranje glasbenega spomina, ki ju boste vgradili v platformo za igrifikacijo glasbene teorije Trubadur (https://trubadur.si). Platforma združuje poigrene aplikacije za vadbo intervalnega in ritmičnega nareka. Trenutni stack je Laravel+ Flutter v trenutni razvojni verziji 2.0.
Projekt razvijamo v sodelovanju s Konzervatorijem za glasbo in balet, Ljubljana, kjer platformo uporabljajo pri pouku glasbene teorije. Pri razvoju aplikacije boste uporabili agilne pristope evalvacije uporabniškega vmesnika in izvedli A/B testiranje s študenti. Pripravljamo tudi longitudinalno študijo uporabe platforme, kjer je predvideno večmesečno testiranje. Predviden znanstveni prispevek je vsaj 1 SCI članek.

Literatura:

  1. M. Pesek, F. Klavž, P. Šavli, and M. Marolt, "Online and in-class evaluation of a music theory e-learning platform," Applied sciences, vol. 12, iss. 14, pp. 1-22, 2022.  

http://lgm.fri.uni-lj.si/wp-content/uploads/2022/09/116041731.pdf

  1. M. Pesek, L. Suhadolnik, P. Šavli, and M. Marolt, "Motivating students for ear-training with a rhythmic dictation application," Applied sciences, vol. 10, iss. 19, pp. 1-19, 2020. http://lgm.fri.uni-lj.si/wp-content/uploads/2020/11/29971715.pdf 
  2. M. Pesek, Ž. Vučko, P. Šavli, A. Kavčič, and M. Marolt, "Troubadour : a gamified e-learning platform for ear training," IEEE access, iss. 8, pp. 97090-97102, 2020.  https://ieeexplore.ieee.org/document/9093057 

Sistem za vmeščanje promocijskih modelov v virtualna okolja

Kontakt: doc. dr. Ciril Bohak

Dandanes veliko ljudi dobršn del časa preživi v virtualnih svetovih. Marsikateri izmed njih želi doseči čim večjo preslikavo stvari iz realnega sveta v virtualnega. Zelo hitro pa se zgodi, da uporabniki v virualnem svetu naletijo na izdelek, ki ga iz svojeg aokolja poznajo v drugačni obliki in je produkt konkretnega podjetja. Ideja je izdelati spletno storitev povezano z vtičnikom za igralni pogon (npr. Unity ali Unreal Engine), ki omogoča podjetjem svoje produkte ponuditi tudi za uporabo v virtualnem svetu za nemene promocije. Podjetje lahko tako preko spletne strani naloži 3D model model svojega produkta (morda tudi preko vtičnika kakšnega 3D modelirnega programa - Blender). Izdelkom se pripoji ustrezne oznake in/ali kategorije. Na drugi strani lahko uporabniki igralneg pogona preko vtičnika brskajo po zbirki in izberejo izdelke, ki jih želijo vstaviti v svoj virtualni svet. Vse skupaj je moč dodatno nadgraditi  monetizacijo. Možni scenariji:

  1. Na mizi v kuhinji so škatle izdelkov, ki jih lahko uporabniki kupijo v lokalnih trgovinah,
  2. V knjižnih policah vidimo knjige pravih avtorjev, ki jih je mogoče kupiti
  3. V garderobnih omarah so oblačila znamk, ki jih nosimo sami.

Izboljšanje kvalitete video posnetkov v realnem času

TV signali, še posebej v SD, vsebujejo precej popačenj slike, ki nastanejo kot posledica video kompresije. V nalogi boste preučili kako lahko izboljšamo kvaliteto video posnetkov z uporabo modelov globokega učenja in izdelali sistem, ki bo v realnem času tekel na platformi Nvidia Jetson Xavier.

Razvoj zalednih funkcionalnosti platforme Trubadur

Cilj diplomske naloge je nadaljnji razvoj platforme za igrifikacijo glasbene teorije Trubadur (https://trubadur.si). Platforma združuje poigrene aplikacije za vadbo intervalnega, ritmičnega in harmonskega nareka. Na zalednem delu želimo uporabnikom ponuditi nekatere funkcionalnosti LMS sistemov, kot so komunikacija med uporabniki, zmožnost izdelave izzivov in testov, personalizacija vadbe in napredna statistika uporabnikov. Trenutni stack je Laravel + Vue.js. Projekt razvijamo v sodelovanju s Konzervatorijem za glasbo in balet, Ljubljana, kjer platformo uporabljajo pri pouku glasbene teorije.

Razvoj aplikacije za trening harmonije za platformo Trubadur

Kontakt: doc. dr. Matevž Pesek

Cilj magistrske naloge je razvoj spletne aplikacije za harmonski narek, ki jo boste vgradili v platformo za igrifikacijo glasbene teorije Trubadur (https://trubadur.si). Platforma združuje poigrene aplikacije za vadbo intervalnega in ritmičnega nareka. Trenutni stack je Laravel + Vue.js
Projekt razvijamo v sodelovanju s Konzervatorijem za glasbo in balet, Ljubljana, kjer platformo uporabljajo pri pouku glasbene teorije. Pri razvoju aplikacije boste uporabili agilne pristope evalvacije uporabniškega vmesnika in izvedli A/B testiranje s študenti. Pripravljamo tudi longitudinalno študijo uporabe platforme, kjer je predvideno večmesečno testiranje. Predviden znanstveni prispevek je vsaj 1 SCI članek.