Matriz de Risco - Reconhecimento Facial em Escolas

	B	C	D	E	F
1
2	Risco	Descrição do dano	Probabilidade	Grau de Impacto	Ações Preventivas

3	Vieses raciais ou de gênero implícitos nos algoritmos	Apesar de hoje existirem algoritmos com alta acurácia ainda existem muitos que são particularmente ruins em identificar grupos subrepresentados, principalmente mulheres negras. Nesse caso, alunos podem ter faltas quando estão na realidade presentes. Podem ainda ser vistos com risco de evasão ou reprovação, ainda mais quando dados dos algoritmos são cruzados com outros fatores. Dependendo das razões pelas quais os algoritmos são usados podem ter vieses raciais sociais implícitos reforçados como associação a determinados comportamentos antissociais.	Alta	Alto	Exigir mensurações e comprovações de acurácia junto a órgãos reguladores que levem em consideração vieses raciais
4	Ferramentas serem usadas para "perseguir" alunos ou profissionais específicos ou que não sejam "padrão"	Isso já ocorre por vezes com câmeras simples, o reconhecimento facial só facilita ainda mais esse processo. Dependendo de como os algoritmos são programados podem incluir esses vieses. Também se houver uma lista de pessoas que são "ameaçadoras" às escolas como ocorre no exterior e isso não for transparente, podem se tornar ferramentas eficientes na perseguição a indivíduos	Baixa	Muito alto	Delimitar via regulação que critérios podem ser usados (se puderem) para estruturação de listas de indivíduos que podem gerar ameaças
5	"Terceirização" para câmeras do processo educacional que deveria ser feito de forma preventiva (ex-ante) e pode passar a ser feito de forma punitiva (ex-post)	Novamente, isso ocorre já com câmeras tradicionais, trata-se de algo que fica ainda mais eficiente com o reconhecimento facial. Há uma comodidade em analisar ocorrências após os fatos ou usar as câmeras como ameaça a alunos com comportamentos vistos como antissociais ao invés de tratar a temática de maneira preventiva e pedagógica	Alta	Médio	Formação profissional para ilustrar como essas ferramentas devem ser usadas na prática e colocá-las como parte de um processo mais holístico e pedagógico
6	Desperdício de recursos com quebras contínuas dos equipamentos e falta de manutenção	Algo que é sempre possível no caso do uso de tecnologia mas o reforço da necessidade de equipamentos em escola, ainda mais em um contexto que pode ser enxergado como vigilância pode levar à quebra intencional de equipamentos, aumentando os custos com a manutenção de equipamentos eletrônicos	Muito alta	Baixo	Requisitos mínimos pré-definidos que tornem os equipamentos mais robustos
7	Vazamento de dados sensíveis e/ou pessoais	A coleta de dados sensíveis, como é o caso dos biométricos, sem a devida preparação para proteção destes pode gerar incentivos a ataques e vazamento de informações de alunos	Muito alta	Médio	Regulações que só permitam a utilização desse tipo de algoritmo caso haja as devidas preparações e tecnologias para garantir a segurança das informações
8	Erros no reconhecimento facial	De forma mais ampla, algoritmos que simplesmente não sejam bons ou utilizando câmeras com uma resolução ruim podem levar a erros. Esses erros podem levar a problemas que vão desde faltas ou presenças marcadas erradas até, dependendo do tipo de uso que é dado, envolvimento inadequado de alguém em algum processo legal.	Muito alta	Alto	Exigir mensurações e comprovações de acurácia e qualidades mínimas dos equipamentos usados para a captura de imagem
9	Normalização da vigilância	Com alunos tendo seus dados sensíveis recolhidos desde cedo, pode haver uma percepção de naturalização desse processo que torne os alunos acríticos ao recolhimento desse tipo de informação	Alta	Alto	Apoio para garantia que haja na implantação de forma transversal e para a competência geral 5 da BNCC a problematização adequada do uso de dados sensíveis e a caracterização de informações biométricas desta maneira
10	Funções de segurança adentrando o cotidiano da escola	Dependendo da governança no entorno da utilização desses algoritmos e equipamentos, pode haver a requisição de dados das escolas por forças de segurança que botam os alunos em constante vigilância	Média	Alto	Estruturação de normativas de governança que impeçam os algoritmos e câmeras de serem usados como instrumento para segurança pública e, portanto, para vigilância contínua dos alunos
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100