Protocolo Geral para Digitalização de Faces Voltado ao Planejamento de Cirurgia Ortognática e Rinoplastia - Comparação entre Ferramentas

Cícero Moraes

3D Designer

Dr. Everton da Rosa

Cir. Dentista

A proposta deste trabalho é abordar o uso de fotogrametria na obtenção da porção frontal da face para o uso em planejamentos cirúrgicos 3D digitais.

Encorajamos a tradução deste material para outros idiomas. Pedimos apenas que nos consulte antes para organizarmos a publicação (http://fb.me/ciceromoraes3d).

Objetivos do estudo

Obtenção das fotos

Para a digitalização das faces foram tiradas 26 fotos em arcos com duas alturas.

A câmera apontava ao centro do rosto e a distância entre as tomadas era de mais ou menos 7°30' ou 7,5 graus (em decimais) até completar 90 graus de rotação total.

A diferença das alturas era de mais ou menos 35%, sendo que uma delas fica acima da linha do horizonte e a outra fica abaixo buscando fotografar a parte inferior do nariz.

OBS.: Não é necessário seguir a risca o distanciamento e os graus expostos no material didático, o que vale mesmo é abordar as áreas pretendidas.

Fotografia e coleta de dados

Dados sobre os dispositivos

Máquina fotográfica

Galaxy J7 Metal (SM-J710MN)

Marca da câmera: Samsung

Modelo da câmera: SM-J710MN

Flash não ativado

Programa de exposição: Programa normal

Distância focal: 3,7

Computador

CPU: Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz

RAM: 11.70GB Physical Memory 0B Virtual Memory

OS: Xubuntu Minimal 17.10, Linux 4.10.0-42-generic (x86_64)

GPU: NVIDIA Corporation GF116 [GeForce GTS 450 Rev. 2]

Board Name:   P8H61-M LE/BR  (ASUSTeK COMPUTER INC)

HD Model: WDC WD10EZEX-00W

Área de interesse, alinhamento e redimensionamento

Todas as digitalizações foram rotacionadas, redimensionadas e seccionadas utilizando os recursos do addon OrtogOnBlender.

Ao serem importadas no software Blender 3D as faces foram alinhadas e redimensionadas utilizando como base a distância intercantal.

Vídeo exemplo de alinhamento e redimensionamento: https://youtu.be/MTfQLnKjK0o

A área de interesse definida é a porção frontal da face, posto que as simulações de cirurgia ortognática e rinoplastia geralmente focam nessa região.

Além da área de interesse se limitar a parte frontal, é imprescindível para esse tipo de modelo, que ele contenha poucas faces, de modo a facilitar as manipulações em tempo real necessárias nos procedimentos propostos.

Vídeo exemplo de seleção da área de interesse: https://youtu.be/h-bFvhLp-8g

Programas para fotogrametria

Todas as ferramentas a seguir foram configuradas para executar o processo de fotogrametria em menos de 20 minutos, limite que foi ultrapassado em momentos isolados, mas manteve-se dentro do proposto quando geradas as médias globais.

MVE/SMVS + Meshlab + MVS Texturing

  1. Alinhamento das câmeras (SMVS)
  2. Nuvem densa de pontos (SMVS)
  3. Reconstrução da malha 3D (Meshlabserver script)
  4. Texturização da malha 3D (MVS Texturing)

MVE/SMVS + MVS Texturing

  1. Alinhamento das câmeras
  2. Nuvem densa de pontos
  3. Reconstrução da malha 3D
  4. Limpeza da malha 3D
  5. Texturização da malha 3D

OpenMVG + OpenMVS

  1. Alinhamento das câmeras e nuvem esparsa de pontos (OpenMVG)
  2. Nuvem densa de pontos (OpenMVS)
  3. Reconstrução da malha 3D (OpenMVS)
  4. Texturização da malha 3D (OpenMVS)
  5. Exportação para OBJ (Meshlabserver script)

Photoscan

        Este software conta com um workflow próprio onde executa todos os passos do processo de fotogrametria.

Resultados da 1ª Tomada

Código: 000

Sexo: Feminino

Idade: 66

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 29 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 16 minutos

Tempo de digitalização OpenMVG+OpenMVS: 10 minutos

Tempo de digitalização Photoscan: 24 minutos

- Região faltante na parte inferior da face (1 e 2).

- Leve irregularidade na parte superior esquerda da face (4).

- - Região faltante na parte inferior e lateral da face (1 e 2).

- Irregularidade na parte lateral e inferior da face (4).

- Demonstração da região faltante na parte inferior da face (1 e 2).

- Irregularidade na parte inferior da face (4).

- Irregularidade na parte inferior do nariz (2).

Código: 001

Sexo: Masculino

Idade: 42

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 28 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 15 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 16 minutos

Tempo de digitalização OpenMVG+OpenMVS: 11 minutos

Tempo de digitalização Photoscan: 18 minutos

- Problemas com a digitalização na ponta do nariz por conta do brilho (1 e 2).

- Geração irregular na parte direita da face (3).

- Geração irregular da parte esquerda da face (4).

- O problema com o brilho na ponta do nariz é evidencial (1 e 2).

- Diferença na base do nariz em relação ao outros modelos (3).

- Dificuldade de visualização dos detalhes por conta da irregularidade da malha (4).

- Irregularidade na ponta do nariz evidenciada (1 e 2).

- Irregularidade na região do nariz evidenciada na parte esquerda da face (4).

- Assimetria nasal evidenciada (3).

- Irregularidades na ponta do nariz (1 e 2).

- Irregularidade na base do nariz (3).

- Irregularidade na estrutura do nariz e dificuldade para visualizar os detalhes da face (4).

- Irregularidade na ponta do nariz evidenciada (1 e 2).

- Irregularidade na base do nariz (3).

- Irregularidade ao longo da face, com menos intensidade do que no lado esquerdo (4).

Código: 002

Sexo: Feminino

Idade: 62

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 27 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 16 minutos

Tempo de digitalização OpenMVG+OpenMVS: 10 minutos

Tempo de digitalização Photoscan: 21 minutos

- Irregularidade na região superior da face (4).

- Região faltante na lateral da face (1 e 2).

- Demonstração da região inferior faltante (1 e 2).

- Região faltante nas partes inferior e lateral da face (1 e 2).

- Irregularidade nas regiões superior, lateral e nasal (4).

Código: 003

Sexo: Feminino

Idade: 29

Ancestralidade: Miscigenada

Tempo total da tomada de 26 fotos: 31 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 16 minutos

Tempo de digitalização OpenMVG+OpenMVS: 9 minutos

Tempo de digitalização Photoscan: 15 minutos

- Irregularidade na parte direita e dos olhos (3).

- Irregularidade na parte inferior (4).

 - Demonstração da irregularidade na parte direita (3).


- Assimetria nasal ampliada (3).

- Região inferior faltante (1 e 2).

- Região nasal inferior faltante (2).

- Irregularidade generalizada na parte direita (3).

- Irregularidade na parte inferior (4).

- Demonstração de irregularidade na ponta do nariz ( 1 e 2).

- Demonstração da irregularidade na parte inferior da face (4).

- Região faltante na parte inferior da face (1 e 2).

- Pequena região faltante na parte inferior do nariz (2).

- Demonstração da irregularidade na parte direita da face (3).

- Demonstração da irregularidade na parte inferior da face (4).

Código: 004

Sexo: Masculino

Idade: 44

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 33 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 14 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 15 minutos

Tempo de digitalização OpenMVG+OpenMVS: ERRO (não gerou 3D)

Tempo de digitalização Photoscan: 21 minutos

- Região faltante na base do nariz e da face (2).

- Região faltante na parte inferior do nariz (2).

- Leve irregularidade na parte direita da face, próximo ao olho (3).

Código: 005

Sexo: Masculino

Idade: 69

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 29 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 15 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 17 minutos

Tempo de digitalização OpenMVG+OpenMVS: ERRO (não gerou 3D)

Tempo de digitalização Photoscan: 18 minutos

- Região faltante nos cabelos (1 e 2).

- Irregularidade na região do nariz (3).

- Região faltante nos cabelos (1 e 2).

- Região faltante na parte direita da face (2).

- Irregularidade na região do nariz.

- Região faltante na parte esquerda do nariz.

Código: 006

Sexo: Feminino

Idade: 22

Ancestralidade: Miscigenada

Tempo total da tomada de 26 fotos: 26 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 15 minutos

Tempo de digitalização OpenMVG+OpenMVS: 10 minutos

Tempo de digitalização Photoscan: 15 minutos

- Irregularidade na ponta do nariz (1 e 2).

- Falta de cobertura na digitalização da face, principalmente na parte direita (3).

- Irregularidade abaixo dos olhos, na parte direita, no limite com o nariz (4).

- Demonstração da irreguladiade na ponta do nariz (1 e 2).

- Região faltante na lateral da face (2).

- Região faltante na parte inferior da face (1 e 2).

Demonstração da irregularidade na ponta do nariz (1 e 2).

Código: 007

Sexo: Feminino

Idade: 29

Ancestralidade: Africana

Tempo total da tomada de 26 fotos: 27 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 14 minutos

Tempo de digitalização OpenMVG+OpenMVS: 9 minutos

Tempo de digitalização Photoscan: 13 minutos

- Irregularidade na ponta do nariz (1 e 2).

- Irregularidades ao longo da face (3).

-  Irregulades na região do nariz e inferior da face.

- Demonstração da irregularidade na ponta do nariz (1 e 2).

- Demonstração das irregularidades ao longo da face (3 e 4).

- Pequena região faltante na base do nariz (2).

Código: 008

Sexo: Feminino

Idade: 9

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 28 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 14 minutos

Tempo de digitalização OpenMVG+OpenMVS: 8 minutos

Tempo de digitalização Photoscan: 12 minutos

- Irregularidades na base da face (2).

- Irregularidade generalizada e severo comprometimento do formato da face (3).

- Irregularidades ao longo da face e falta de nitidez (4).

- Irregularidade na ponta do nariz (1 e 2).

- Demonstração das irregularidades ao longo da face (2 e 3).

Código: 009

Sexo: Feminino

Idade: 45

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 28 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 14 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 16 minutos

Tempo de digitalização OpenMVG+OpenMVS: 9 minutos

Tempo de digitalização Photoscan: 21 minutos

- Irregularidade generalizada na parte superior da face (1 e 2).

- Irregularidade generalizada e severo comprometimento do formato da face (3).

- Irregularidade na região superior esquerda da face (4).

- Região faltante na parte inferior da face (1 e 2).

- Demonstração das irregularidades (1, 2, 3 e 4).

Código: 010

Sexo: Feminino

Idade: 11

Ancestralidade: Miscigenada

Tempo total da tomada de 26 fotos: 30 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 15 minutos

Tempo de digitalização OpenMVG+OpenMVS: 9 minutos

Tempo de digitalização Photoscan: 15 minutos

- Irregularidade generalizada e severo comprometimento do formato da face (3).

- Falta de nitidez (4).

- Região faltante na base da face (1 e 2).

- Região faltante nos lábios (2).

- Irregularidade na ponta do nariz (1 e 2).

Código: 011

Sexo: Feminino

Idade: 37

Ancestralidade: Miscigenada

Tempo total da tomada de 26 fotos: 24 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: ERRO (não gerou 3D)

Tempo de digitalização OpenMVG+OpenMVS: ERRO (não gerou 3D)

Tempo de digitalização Photoscan: 15 minutos

- Irregularidade na ponta do nariz (1).

- Leve falta de nitidez (2).

- Região faltante na base da face (1).

- Demonstração da irregularidade na parte direita da face (2).

- Demonstração da irregularidade na ponta do nariz (1).

Código: 012

Sexo: Masculino

Idade: 20

Ancestralidade: Européia

Tempo total da tomada de 26 fotos: 25 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 14 minutos

Tempo de digitalização OpenMVG+OpenMVS: 9 minutos

Tempo de digitalização Photoscan: 15 minutos

- Irregularidades na parte direita da face (2).

- Abaulamento da ponta do nariz (1).

- Leve irregularidade na ponta do nariz (4).

Tabela de Resultados

ID

Age

Ancestry

Time photos

MVE/SMVS+Meshlab

MVE/SMVS+MVS Texturing

OpenMVG+OpenMVS

Photoscan

000

66

EURO

29

13

16

10

24

001

42

EURO

28

15

16

11

18

002

62

EURO

27

13

16

10

21

003

29

MIX

31

13

16

9

15

004

44

EURO

33

14

15

ERR

21

005

69

EURO

29

15

17

ERR

18

006

22

MIX

26

13

15

10

15

007

29

AFR

27

13

14

9

13

008

9

EURO

28

12

14

8

12

009

45

EURO

28

14

16

9

21

010

11

MIX

30

13

15

9

15

011

37

MIX

24

12

ERR

ERR

17

012

20

EURO

25

12

14

9

15

Average

37

28

13

15

9

17

Resultados da 2ª Tomada

Descrição: Ambiente externo à sombra - natural

Tempo total da tomada de 26 fotos: 27 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização OpenMVG+OpenMVS: 6 minutos

Tempo de digitalização Photoscan: 16 minutos

- Irregularidade na textura presente na parte superior esquerda, na base da face e do nariz (1).

- Irregularidade generalizada na malha (2 e 3).

- Visualização padronizada para simulação cirúrgica (texture solid + ambient occlusion): Excelente (1), Regular (2), Bom (3).

- Pequena região faltante na lateral da face (1).

- Leve irregularidade ao longo da face (2).

- Irregularidade na parte direita da face.

Descrição: Ambiente externo à sombra - pontos no nariz

Tempo total da tomada de 26 fotos: 30 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: 7 minutos

Tempo de digitalização Photoscan: 19 minutos

O uso de pontos no nariz auxilia o algoritmo de fotogrametria a encontrar referências para os seus cálculos, além disso é o elementos mais simples de ser retirado no Modo de Textura do Blender, ou em um processo de pós produção no Gimp com o auxílio do plug-in Heal Selection.

Exemplo de uso do Heal Selection:

 https://www.facebook.com/ciceromoraes3d/videos/418460871657551/

Descrição: Ambiente interno amplamente iluminado por luz externa - natural

Tempo total da tomada de 26 fotos: 24 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização OpenMVG+OpenMVS: 7 minutos

Tempo de digitalização Photoscan: 16 minutos

- Problemas na textura na parte direita superior, na ponta do nariz e na extrema esquerda (1).

- Irregularidade na lateral da face (3).

- Pequena região faltante na lateral da face (1).

Descrição: Ambiente interno amplamente iluminado por luz externa - pontos no nariz

Tempo total da tomada de 26 fotos: 22 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização OpenMVG+OpenMVS: 7 minutos

Tempo de digitalização Photoscan: 16 minutos

- Problemas na textura na parte direita superior, na ponta do nariz e na extrema esquerda (1).

- Pequena área faltante na lateral da face (1).

- Pequena irregularidade na lateral da face (3).

- Demonstração da região faltante na lateral da face (1).

Descrição: Ambiente interno externamente iluminado pela direita - natural

Tempo total da tomada de 26 fotos: 22 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização OpenMVG+OpenMVS: 7 minutos

Tempo de digitalização Photoscan: 21 minutos

- Problema na textura ao longo da face (1).

- Reconstrução 3D comprometida (2).

- Pequenas irregularidades na parte direita da face (3).

- Irregularidade na ponta do nariz (1).

- Demonstração da assimetria nasal (1).

- Demonstração da pouca nitidez superficial (3).

- Pequenas irregularidades na lateral da face (3).

- Pequena região faltante na lateral da face (1).

Descrição: Ambiente interno externamente iluminado pela direita - pontos no nariz

Tempo total da tomada de 26 fotos: 29 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização OpenMVG+OpenMVS: 9 minutos

Tempo de digitalização Photoscan: 21 minutos

- Problemas de contraste na textura (1).

- Severo comprometimento estrutural da face (2).

- Leve falta da nitidez na estrutura (3).

- Pequenas regiões faltantes na lateral da face e do nariz (1).

Descrição: Ambiente interno externamente iluminado pela direita - riscos no nariz

Tempo total da tomada de 26 fotos: 23 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: 7 minutos

Tempo de digitalização Photoscan: 14 minutos

Riscar um objeto que apresenta homogeneidade na cor ajuda ao algoritmo de fotogrametria a encontrar referências para os seus cálculos. Se por um lado esse truque ajuda na obtenção de um modelo mais coerente com a realidade estruturalmente falando, por outro ele pode acarretar um grande trabalho, se for necessária remoção posterior da textura. Essa técnica, no entanto, é muito útil para pacientes que sofreram perda de parte da face ou mesmo de membros. A digitalização pode servir como base para a confecção de próteses. Outro uso corrente é para a comparação de pré e pós cirúrgico, posto que o objetivo de tal atividade está ligada mais a estrutura anatômica do que a textura da superfície.

- Problemas de contraste na textura (1).

- Irregularidades na parte esquerda da face (2 e 3).

- Demonstração das irregularidades ao longo da parte esquerda da face (2 e 3).

- Pequena região faltante na lateral da face (1).

Descrição: Ambiente interno externamente iluminado pela direita - maquiagem

Tempo total da tomada de 26 fotos: 37 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização OpenMVG+OpenMVS: 4 minutos

Tempo de digitalização Photoscan: 16 minutos

- Problema de contraste na geração da textura (1).

- Problema na projeção por região incoerente com a superfície original (2).

- Irregularidade na parte esquerda da face (2 e 3).

- Regiões faltantes na lateral da face (1).

- Comprometimento estrutural (2).

- Pequenaz regiões faltantes na lateral da face (1).

- Assimetria nasal (1).

- Pouca definição de detalhes (3).

- Demonstração das irregularidades laterais (2 e 3).

Demonstração das regiões faltantes.

Descrição: Ambiente interno externamente iluminado pela direita - maquiagem e pontos

Tempo total da tomada de 26 fotos: 34 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 13 minutos

Tempo de digitalização OpenMVG+OpenMVS: 7 minutos

Tempo de digitalização Photoscan: 18 minutos

- Problema de contraste na geração da textura (1).

- Região faltante na lateral da face (1).

- Irregularidades na parte superior com mais intensidade e demais regiões com menos intensidade (2).

- Irregularidade na lateral da face (3).

- Demonstração da região faltante na lateral da face (1).

- Demonstração da irregularidade na lateral da face (3).

Descrição: Ambiente interno iluminado - natural

Tempo total da tomada de 26 fotos: 29 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 10 minutos

Tempo de digitalização OpenMVG+OpenMVS: ERRO (não gerou 3D)

Tempo de digitalização Photoscan: 12 minutos

- Problema de contraste na geração da textura na parte inferior e lateral esquerda da face (1).

- Irregularidade na ponta do nariz (1).

- Falta de nitidez ao longo da face (2).

- Demonstração da irregularidade na ponta do nariz (1).

- Leve irregularidade na região inferior do nariz (2).

Descrição: Ambiente interno iluminado - pontos no nariz

Tempo total da tomada de 26 fotos: 28 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização OpenMVG+OpenMVS: 4 minutos

Tempo de digitalização Photoscan: 13 minutos

- Problema de contraste na geração da textura na lateral da face (1).

- Irregularidade na parte inferior da face (2).

- Irregularidade generalizada na superfície da malha (3).

- Pequena irregularidade na ponta do nariz (1).

- Pequena região faltante na lateral da face (1).

- Demonstração das irregularidades na lateral da face (2 e 3).

- Pequena irregularidade na base do nariz (3).

Descrição: Ambiente interno iluminado - riscos no nariz

Tempo total da tomada de 26 fotos: 25 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: 6 minutos

Tempo de digitalização Photoscan: 10 minutos

- Problemas de contraste na geração da textura (1).

- Irregularidades na parte inferior da face (2).

- Região faltante na lateral da face (3).

- Demonstração de projeção irregular na face (2).

- Pequena região faltante na lateral da face (1).

- Demonstração das irregularidades na lateral da face (2 e 3).

Descrição: Ambiente interno iluminado - maquiagem

Tempo total da tomada de 26 fotos: 37 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 12 minutos

Tempo de digitalização OpenMVG+OpenMVS: 3 minutos

Tempo de digitalização Photoscan: 10 minutos

- Leve problema com a textura nas extremidades laterais (1).

- Irregularidade na ponta do nariz (1).

- Comprometimento estrutural (2).

- Baixa nitidez de detalhes (3).

- Demonstração da irregularidade na ponta do nariz.

- Demonstração das irregularidades superficiais da lateral da face (3).

Descrição: Ambiente interno iluminado - maquiagem e pontos

Tempo total da tomada de 26 fotos: 30 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: 4 minutos

Tempo de digitalização Photoscan: 11 minutos

- Pequena incoerência na textura, localizada na parte direita inferior  da face (1).

- Irregularidade generalizada na parte direita da face (2 e 3).

Descrição: Ambiente interno pouco iluminado - natural

Tempo total da tomada de 26 fotos: 29 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: ERRO (não gerou 3D)

Tempo de digitalização Photoscan: 11 minutos

- Leve irregularidade na parte direita mediana da face (1).

- Irregularidade na ponta do nariz e na parte inferior da face (1).

- Irregularidade generalizada com maior e menor grau ao longo da face, pouca nitidez (2).

Descrição: Ambiente interno pouco iluminado - pontos no nariz

Tempo total da tomada de 26 fotos: 31 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: 5 minutos

Tempo de digitalização Photoscan: 9 minutos

- Leve irregularidade na ponta do nariz (1 e 3).

- Estrutura facial comprometida (2).

- Irregularidade entre os olhos e na parte inferior da face(1).

- Irregularidades ao longo da face (3).

- Demonstração da região faltante na lateral da face (1).

- Demonstração da irregularidade na base da face (3).

Descrição: Ambiente interno pouco iluminado - riscos no nariz

Tempo total da tomada de 26 fotos: 27 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: 4 minutos

Tempo de digitalização Photoscan: 8 minutos

- Problemas com o contraste na tectura (1).

- Irregularidades ao longo da face (2).

- Falta de nitidez nas regiões marginais da face (3).

- Demonstração de irregularidade na ponta do nariz (1).

- Pequena região faltante na lateral da face (1).

Descrição: Ambiente interno pouco iluminado - maquiagem

Tempo total da tomada de 26 fotos: 30 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: ERRO (não gerou 3D)

Tempo de digitalização Photoscan: 6 minutos

- Problema de contraste na textura (1).

- Irregularidade na ponta do nariz (1).

- Irregularidades ao longo da face e falta de nitidez (2).

Descrição: Ambiente interno pouco iluminado - maquiagem e pontos

Tempo total da tomada de 26 fotos: 30 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) OpenMVG+OpenMVS

3) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 11 minutos

Tempo de digitalização OpenMVG+OpenMVS: 5 minutos

Tempo de digitalização Photoscan: 8 minutos

- Pequena irregularidade da textura na parte superior da face (1).

- Comprometimento da estrutura (2).

- Irregularidades ao longo das regiões marginais da face (3).

Tabela de resultados

PLACE

Time 26 photos

MVE/SMVS+Meshlab

OpenMVG+OpenMVS

Photoscan

Externo sombra - natural

27

12

6

16

Externo sombra - pontos nariz

30

11

7

19

Ambiente interno amplamente iluminado por luz externa - natural

24

12

7

19

Ambiente interno amplamente iluminado por luz externa - pontos no nariz

22

12

7

16

Ambiente interno erternamente iluminado pela direita - natural

22

12

7

21

Ambiente interno externamente iluminado pela direita - pontos no nariz

29

13

9

21

Ambiente interno externamente iluminado pela direita - riscos

23

11

7

14

Ambiente interno externamente iluminado pela direita - maquiagem

37

12

4

16

Ambiente interno externamente iluminado pela direita - maquiagem e pontos

34

13

7

18

Ambiente interno iluminado - natural

29

10

ERR

12

Ambiente interno iluminado - pontos no nariz

28

12

4

13

Ambiente interno iluminado - riscos no nariz

25

11

6

10

Ambiente interno iluminado - maquiagem

37

12

3

10

Ambiente interno iluminado - maquiagem e pontos

30

11

4

11

Ambiente interno mal iluminado - natural

29

11

ERR

11

Ambiente interno mal iluminado - pontos no nariz

31

11

5

9

Ambiente interno mal iluminado - riscos no nariz

27

11

4

8

Ambiente interno mal iluminado - maquiagem

30

11

ERR

6

Ambiente interno mal iluminado - maquiagem e pontos

30

11

5

8

AVERAGE

29

12

6

14

Resultado da 3ª Tomada

Na primeira fase do projeto, a voluntária de código 003 (feminino, 45 anos, européia) foi fotograda com maquiagem facial. Diante dos resultados optou-se por fazer uma nova tomada de fotos sem maquiagem de modo a atestar a eficácia dos algorítmos diantes de tal configuração. O local e horário da tomada foram os mesmos da primeira fase.

Tempo total da tomada de 26 fotos: 25 segundos

Ordem (da esquerda para a direita):

1) MVE/SMVS+Meshlab+MVS Texturing

2) MVE/SMVS+MVS Texturing

3) OpenMVG+OpenMVS

4) Photoscan

Tempo de digitalização MVE/SMVS+Meshlab+Mvs Texturing: 14 minutos

Tempo de digitalização MVE/SMVS+Mvs Texturing: 15 minutos

Tempo de digitalização OpenMVG+OpenMVS: 8 minutos

Tempo de digitalização Photoscan: 21 minutos

Resultados 3ª tomada.

Resultados 1ª tomada.

A diferença dos resultados foi flagrante como atestado nas imagens acima. A ausência de maquiagem contribuiu para elevar consideravelmente a qualidade da digitalização.

Resultados e Análises

Tempo médio para a tomada de 26 fotos: 28 segundos

Média MVE/SMVS+Meshlab+MVS Texturing: 12 minutos

Média MVE/SMVS+MVS Texturing: 15 minutos

Média OpenMVG+OpenMVS: 7 minutos

Média Photoscan: 15 minutos

MVE/SMVS+Meshlab+MVS Texturing

MVE/SMVS+MVS Texturing

OpenMVG+OpenMVS

Photoscan

Problemas, soluções e recomendações

Textura com problema de contraste.

Configuração manual da câmera (Pro).

Face digitalizada em 3D no MVE/SMVS+Meshlab com a textura mais homogênea.

Irregularidades na ponta do nariz (superfície lustrosa).

Pó para redução de brilho.

Pontos feitos logo após a colocação do pó apenas na região do nariz. Se apenas os pontos fossem pintados sem a maquiagem, o brilho ainda seria emitido nas regiões em preto. Ainda podemos ver um leve brilho na imagem, mesmo com todos os cuidados tomados.

Texture Mode com os pontos.

Texture Mode, logo após a ocultação dos pontos feita com o auxílio da ferramenta Smear. A ocultação dos pontos também pode ser feita com o filtro Heal Selection do editor de imagens Gimp.

Antes e depois da ocultação dos pontos na textura.

Falta de detalhamento na superfície.

Regiões faltantes ou pequenos buracos na face

Recomendações gerais

Conclusão

Os resultados apresentados neste estudos mostram que um sistema baseado em fotogrametria de código aberto e smartphones simples é bastante possível.

Tanto a solução com o OpenMVG+OpenMVS e a baseada em MVE/SMVS já estão disponíveis no addon OrtogOnBlender.

A proposta utilizou de um lado o melhor do mundo UNIX, onde cada programa faz bem o seu papel gerando ao final um bom resultado, e de outro a conveniência dos aplicativos comerciais, onde com poucos cliques o usuário consegue executar tarefas complexas em tempo mínimo.

O próximo passo é continuar os estudos e mais do que isso, o uso em casos reais de planejamento cirúrgico para adequar as possibilidades tecnológicas às necessidades dos profissionais da área de cirurgia ortognática e rinoplastia.

Agradecimentos

Ao Dr. Rodrigo Dornelles pela busca constante de novas soluções, sempre com a humildade e paciência de aprender algo novo e gerar resultados fantásticos. Ao Dr. Pablo Maricevich pela vanguarda no uso de ferramentas abertas no planejamento de rinoplastia. Ao Dr. Rodrigo Salazar por utilizar a fotogrametria no campo da oncologia, devolvendo o brilho dos olhos e a dignidade de pacientes que os haviam perdido. Ao Dr. Graziane Olimpo por acreditar no uso de ferramentas abertas no campo da ortodontia. Aos participantes do experimento que gentilmente cederam o seu tempo e imagem a esse estudo. Aos nossos alunos e aos desenvolvedores de todos os aplicativos utilizados aqui, sem vocês e sem o auxílio de toda a comunidade isso não seria possível.