1 of 61

O que é um cachorro?

Apresentador: Pedro Henrique Sousa dos Santos

2 of 61

3 of 61

4 of 61

5 of 61

O que é um conceito?

6 of 61

O que é um conceito?

7 of 61

Conceito como representação mental

  • Input ruidoso, ativações com gradiência, degradação de unidades.
  • Precisam ser passíveis de combinação para geração de pensamentos complexos e crenças.

​

  • Qual a melhor maneira de representar o que é um conceito?

​

8 of 61

9 of 61

10 of 61

O VETOR�(Espaço vetorial de alta dimensionalidade)

11 of 61

Dimensões

12 of 61

Dimensões

13 of 61

Dimensões

14 of 61

Dimensões

15 of 61

16 of 61

17 of 61

  • Conjunto de segmentos de reta com a mesma direção, intensidade/módulo e sentido.
    • Direção: horizontal, vertical, diagonal.
    • Sentido: esquerda-direita, direita-esquerda.
    • Módulo: tamanho do vetor.

18 of 61

19 of 61

20 of 61

21 of 61

Espaço vetorial multidimensional

[X, Y, Z]

​

[X, Y, Z, W]

​

[A, B, C, D, E, F, G, H, ..., Z]

22 of 61

23 of 61

24 of 61

25 of 61

  • Significado estabelecido por associação, e não oposição.
  • Linguística Cognitiva.

​

“Um signo é o que o outro não é” (Saussure).

​

​

26 of 61

Roger Shepard e o uso do Escalonamento Multidimensional

  • Mapear conceitos em pontos em um espaço. É como se fosse um mapa que preservasse distâncias.
    • Distância entre pontos: similaridade, distância conceitual ou confusão entre itens.
    • A interpretação de um conceito só é entendida em comparação com outras.

​

  • Dois conceitos próximos = dois vetores próximos.
    • Casa – Lar.

27 of 61

MDS mede distância!�PCA mede correlação

28 of 61

29 of 61

BERT, word2vec e transformers

  • Modelos semânticos que aprendem representações de palavras baseadas em vetores.
  • “Os vetores resultantes são convincentemente conectados a propriedades de conceitos humanos”.

30 of 61

Composicionalidade

  • LLMs codificam linguagem natural.
  • Produto tensorial.
  • Arquiteturas simbólico-vetoriais (VSA).

31 of 61

Tensor

  • É uma associação de vetores com propriedades da multiplicação;

32 of 61

Base e componentes

  • Na base {e}, temos três coordenadas: e1, e2, e3 (x, y, z).
  • Qualquer vetor v representado na base {e} precisa ter coordenadas vx, vy e vz.
  • vx, vy e vz = v

33 of 61

Associando vetores (quase chegando ao tensor)

  • vx, vy e vz = v
  • ux, uy e uz = u

​

  • v × u = (vx, vy, vz) × (ux, uy, uz)
  • v × u = (v1, v2, v2) × (u1, u2, u3)

​

v1u1, v1u2, v1u3 T11, T12, T13

v2u1, v2u2, v2u3 T21, T22, T23

v3u1, v3u2, v3u3 T31, T32, T33

34 of 61

35 of 61

  • Quando muda os valores da base, muda o tensor.
    • Curiosidade: assim você consegue trabalhar com distorções no espaço-tempo.
    • Um dos usos dos tensores é analisar “tensões” e deformações nos sólidos.
  • Um sólido (base) é deformado com uma força. O Tensor representa isso.
    • Casa (base) vermelha (deformação).
  • Se muda o valor da base (significado mais básico), muda o tensor (significado composicional).

36 of 61

Tensor Product

  • Combina dois tensores em um novo;
  • Multi-multiplicação;
  • Permite que unidades básicas interajam entre si (composicionalidade)!

37 of 61

38 of 61

39 of 61

  • É como se cada palavra fosse um ponto em um espaço vetorial com milhões de dimensões, cujo sentido só fosse capturado pela interação com outros vetores.

40 of 61

Níveis de Marr

41 of 61

Vetores e a visão prototípica de linguagem

  • Teoria do protótipo: cada conceito é um ponto no espaço de traços.
    • Uma variante é o modelo de exemplares: registramos tudo na memória.
      • Linguística Cognitiva.
    • Pertença a um conceito é probabilística (fuzzy).

​

  • Conceitos mais prototípicos são melhor lembrados (e mais rapidamente).

42 of 61

43 of 61

  • A prototipicidade de um conceito está relacionado ao quão próximo o vetor está do vetor que mais representa a classe.

​

  • O vetor de “andorinha” está mais próximo do vetor “pássaro” do que o vetor “pinguim”.

44 of 61

Como vetores se relacionam?

  • “Causar” – algo/alguém | algo.
    • Binding.
  • A soma da causa com seus argumentos é uma simples soma de vetores.

​

  • Vetor para “CARROS” = v CARRO + v MAÇÃS – v MAÇÃ
  • Vetor para marca de plural seria v MAÇÃS – v MAÇÃ

45 of 61

46 of 61

Visão teórica dos vetores

  • Conceitos só fazem sentido em relação com outros conceitos.
  • Church encoding e VSAs.

47 of 61

Church Encoding

  • Derivado do Cálculo Lambda;
    • Variable: x, y, z;
    • Abstraction: função (λ) λx.x | f(x) = x
    • Application: faz operações na abstração.
  • Church encoding: mapeia o cálculo lambda com valores numéricos.

​

  • Como o cálculo lambda é universal (o mesmo sistema usado para vários processamentos), você consegue usar o mesmo cálculo tanto para vetores quanto para a linguagem.
    • Os autores sugerem que temos um sistema de church-encoding em nós para associarmos conceitos.

48 of 61

VSA

  • Computações simbólicas (term rewriting) usando vetores.
    • Cada símbolo, um vetor.
    • Representações distribuídas (quanto mais dados, melhor).
      • Sensível a erros.
  • Operações simples de combinação de vetores representariam essas computações.

​

49 of 61

  • VSAs são versões aprimoradas de tensor-product.
    • O tensor-product possui um aumento de dimensões exponenciais conforme mais tensores são acrescentados.
      • VSA trabalha com um número limitado de dimensões.

Problema dos tensor-products:

1 vetor de 3 dimensões = 3 tensores.

2 vetores de 3 dimensões = 9 tensores.

3 vetores de 3 dimensões = 27 tensores (3^3).

X vetores de m dimensõres = m^x tensores.

50 of 61

  • VSAs aplicam uma função para que as dimensões sejam sempre n, ou seja, não há aumento de dimensionalidade.
  • Três operações são usadas:
    • Multiplication-like operator: gera associações, liga vetores.
    • Addition-like operator: sobreposição de vetores (auxilia na sinonímia);
    • Permutation-like operator: “citam” (quote) ou isolam vetores de outras operações.

Adição

Multiplicação

51 of 61

52 of 61

  • “Onde o presidente nasceu?”
  • Element-wise multiplication: modo de implementação da ligação de vetores.
  • Ortogonalidade

“Onde Lyndon nasceu?”

“Vvirgínia * Vgeorge washington” = noise.

53 of 61

O problema da definição

  • Um conceito tem uma definição.
    • Ravioli é um conjunto de pequenas porções de macarrão, geralmente quadradas, muitas vezes recheada com algo.
  • Definir: mapear um vetor com uma representação textual do vetor.
    • Há evidências de que isso pode ser feito com vetores, assim como o processo reverso “O que é um conjunto de pequenas porções de macarrão, geralmente quadradas, muitas vezes recheada com algo?”.

54 of 61

Ad hoc concepts

  • Conceitos formados durante o contexto comunicativo; só são formados no momento em que são necessários.
    • “Presente de Natal que eu vou dar ao meu padrinho”.
      • LMs conseguem se sair bem com isso.
      • Toda essa sentença se torna um vetor, que se aproxima de alguns outros, gerando os conceitos ad hoc.

55 of 61

56 of 61

Aproxima-se do modelo Hub and Spoke

57 of 61

Três limitações

  • 1) Nenhum modelo captura a totalidade conceitual humana (algumas tarefas de composicionalidade, analogia e raciocínio);

​

  • 2) Falta de plausibilidade biológica;
    • Um modelo desses precisa de muitos dados.

​

  • 3) Ainda não há como agrupar bem os modelos de produto tensorial, escalonamento multidimensional e VSA.

58 of 61

“Far from being unapproachable and mysterious, it may be time to conclude that we finally do know something (perhaps a lot) about how human concepts work”.

59 of 61

Para saber mais

​

​

60 of 61

​

GAYLER, Ross W. Vector Symbolic Architectures answer Jackendoff's challenges for cognitive neuroscience. ArXiv, dez. 2004. DOI: https://doi.org/10.48550/arXiv.cs/0412059.

​

61 of 61

SMOLENSKY, Paul. Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems. Artificial Intelligence, v. 46, p. 159-216, 1990. DOI: https://doi.org/10.1016/0004-3702(90)90007-M.