Preprocesamiento

Base de Datos Masivas (11088)

¿Por qué preprocesar?

• Muchos de los datos crudos contenidos en nuestras DB se encuentran sin preprocesar, incompletos y con ruido.
• Campos obsoletos o redundantes,
• Valores faltantes,
• Outliers,
• Los datos están en un formato no apto para los modelos de minería de datos,
• Valores no consistentes con el sentido común o con las políticas de la organización.

​

​

Calidad de los datos

• Medidas para la calidad de los datos: una visión multidimensional
• Precisión: correcta o incorrecta, precisa o no
• Integridad: no registrado, no disponible, …
• Consistencia: algunos modificados pero otros no, colgantes, …
• Puntualidad: ¿actualización oportuna? Tiene que ver con la caducidad de esos datos.
• Confiabilidad: ¿qué tan confiables son los datos?
• Interpretabilidad: ¿con qué facilidad se pueden entender los datos?

Tareas de preprocesamiento

Limpieza de datos

• Completar valores faltantes, eliminación de ruido, identificar o eliminar valores atípicos y corregir incoherencias.

Integración de datos

• Integración de múltiples bases de datos, cubos de datos o archivos

Reducción de datos

• Reducción de dimensionalidad
• Reducción de Numerosidad
• Compresión de datos

Transformación y discretización de datos

• Normalización
• Generación de jerarquía conceptual

Limpieza de datos

Los datos en el mundo real están sucios: datos incorrectos. Por ejemplo: error del instrumento, error humano o de la computadora, error de transmisión...

• Incompleto: carece de valores de atributo, carece de ciertos atributos de interés o contiene solo datos agregados
• por ejemplo, Ocupación = "" (datos faltantes)
• Ruidoso: contiene ruido, errores o valores atípicos
• por ejemplo, Salario = "- 10" (un error)
• Inconsistente: contiene discrepancias en códigos o nombres, por ejemplo:
• Edad = "42", cumpleaños = "03/07/2010"
• Estaba clasificando "1, 2, 3", ahora clasificando "A, B, C"
• Discrepancia entre registros duplicados
• Intencional (por ejemplo, datos faltantes disfrazados)
• ¿1 de enero como el cumpleaños de todos?

Ruido en los datos

Ruido en los datos

• El ruido es un error aleatorio o varianza en una variable medida.
• Los valores incorrectos de atributo pueden deberse a:
• Instrumentos de recolección de datos defectuosos
• Problemas de entrada de datos
• Problemas de transmisión de datos
• Limitación de tecnología
• Incoherencia en la convención de nombres
• Otros problemas de datos que requieren limpieza de datos
• registros duplicados
• datos incompletos
• datos inconsistentes

¿Cómo manejar el ruido en los datos?

• Binning:
• Primero ordenar los datos y la partición en bins (de igual frecuencia)
• Luego uno puede suavizar por media, mediana, por límites, etc.
• Regresión: Suavizado ajustando una función de regresión lineal, a partir de otra de las variables del dataset.

​

​

• Clustering: Es una herramienta que permite identificar outliers. Los valores similares son agrupados y los que quedan aislados pueden ser considerados outliers.

Binning: Ejemplo

Dada una variable Precio ($):

[45, 26, 21, 15, 9, 64, 24, 21, 8, 28, 4, 25]

​

Ordenada de menor a mayor:

4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 45, 64

Particionar los bins (igual-frecuencia):

Bin 1: 4, 8, 9, 15

Bin 2: 21, 21, 24, 25

Bin 3: 26, 28, 45, 64

Suavizado por medias:

Bin 1: 9, 9, 9, 9

Bin 2: 23, 23, 23, 23

Bin 3: 40.75, 40.75, 40.75, 40.75

Suavizado por límites:

Bin 1: 4, 4, 4, 15

Bin 2: 21, 21, 21, 25

Bin 3: 26, 26, 26, 64

​

Outliers

Análisis de Outliers

​

“Un outlier es una observación que se desvía tanto de las otras observaciones como para despertar sospechas que fue generado por un mecanismo diferente”

D. Hawkins. Identification of Outliers

​

​

​

• Análisis de outliers.
• Tipos de outliers
• Revisión de métodos univariados: IQR, Boxplot, z-score….
• Métodos multivariados: Local Outlier Factor (LOF)

Tipos de outlier

Univariado

Multivariado

• Son valores atípicos que podemos encontrar en una simple variable.
• El problema de los enfoques univariados es que son buenos para detección de extremos pero no en otros casos.

• Los valores atípicos multivariados se pueden encontrar en un espacio n-dimensional.
• Para detectar valores atípicos en espacios n-dimensionales es necesario ajustar un modelo.

Outliers

Métodos Univariados

Métodos Multivariados

• IQR: Analizar los valores que están por fuera del IRQ
• Identificar valores extremos a partir de 1, 2 o 3 desvíos de la media.

• Análisis globales: Clustering.
• Utilizando medidas de distancia como Mahalanobis.
• Local Outlier Factor (LOF)
• Es un método de detección de outliers basado en distancias.
• Calcula un score de outlier a partir de una distancia que se normaliza por densidad.
• Métodos basados en ensambles: IsolationForest

​

Análisis de Box-Plot

Los Box-Plots permiten visualizar valores extremos univariados.

Las estadísticas de una distribución univariada se resumen en términos de cinco cantidades:

• Mínimo/máximo (bigotes)
• Primer y tercer cuantil (caja)
• Mediana (línea media de la caja)
• IQR = Q3 - Q1
• Generalmente la regla de decisión es +/- 1.5*IQR

Limitaciones del Box-Plot

En el scatter se observan dos valores atípicos.

Limitaciones del Box-Plot

Podemos intervenir modificando el largo de los bigotes del gráfico.

​

En R podemos hacerlo con el parámetro range.

​

También es posible modificar los cuantiles para regular el tamaño de las cajas.

Z-Score

Z-Score es una métrica que indica cuántas desviaciones estándar tiene una observación de la media muestral, asumiendo una distribución gaussiana.

​

• Cuando calculamos Z-Score para cada muestra debemos fijar un umbral.
• Un valor como “regla de oro” es Z > 3

Z-Score Modificado

• La media de la muestra y la desviación estándar de la muestra, pueden verse afectados por los valores extremos presentes en los datos

• Regla de oro. Valores mayores a 3.5 son considerados outliers

Z-Score Modificado

Integración de datos

Integración de datos

• Integración de datos:
• Combina datos de múltiples fuentes en un único conjunto coherente
• Esquema de Integración: por ejemplo, A.cust-id B.cust-#
• Integra metadatos de diferentes fuentes
• Problema de identificación de entidades:
• Identificar entidades del mundo real a partir de múltiples fuentes de datos.
• Por ejemplo, Bill Clinton = William Clinton
• Detectar y resolver conflictos de valores de datos:
• Para la misma entidad del mundo real, los valores de los atributos de diferentes fuentes son diferentes
• Posibles razones: diferentes representaciones, diferentes escalas, por ejemplo, unidades métricas vs. británicas

Herramientas de integración

• En el contexto del Data Warehousing existen técnicas para realizar la integración de una forma ordenada.
• Las herramientas de Extraction–Transformation–Loading (ETL) son piezas de software responsables de la extracción de datos desde varias fuentes, su limpieza, puesta a punto, re formateo, integración e inserción en un Data Warehouse.

​

Se puede implementar cada parte de este proceso o utilizar herramientas como Pentaho Data Integration (Kettle) u otras.

Redundancia en la integración de datos

• Los datos redundantes ocurren a menudo cuando se integran múltiples bases de datos
• Identificación de objetos: el mismo atributo u objeto puede tener diferentes nombres en diferentes bases de datos
• Datos derivables: un atributo puede ser un atributo "derivado" en otra tabla, por ejemplo, ingresos anuales
• Los atributos redundantes pueden ser detectados por análisis de correlación y análisis de covarianza
• La integración cuidadosa de los datos de múltiples fuentes puede ayudar a reducir / evitar redundancias e inconsistencias y mejorar la velocidad y la calidad de la minería.

Análisis de Correlación (Datos Nominales)

• Prueba X²(chi-cuadrado)

​

​

• Cuanto mayor es el valor de Χ², es más probable que las variables estén relacionadas.
• Las celdas que más contribuyen al valor de Χ² son aquellas cuyo recuento real es muy diferente del recuento esperado.
• La correlación no implica causalidad
• # de hospitales y # de robo de automóvil en una ciudad están correlacionados
• Ambos están relacionados causalmente con la tercera variable: población

Prueba de X²: Ejemplo

Verificamos si las variables play_chess = Si/No y like_science_fiction = Si/No están correlacionadas.

Se rechaza la hipótesis que son

independientes y decimos que el juega y el tipo están fuertemente correlacionados.

Análisis de Correlación (Datos Numéricos)

Coeficiente de correlación de Pearson

​

Si r_A,B > 0, A y B están positivamente correlacionadas.

r_A,B = 0: no hay relación

r_AB < 0: relacionadas de forma negativa.

Covarianza (Datos Numéricos)

• Si Cov(A, B) > 0, entonces A y B tienden a ser más grandes que sus valores esperados.
• Si Cov(A, B) < 0, entonces, si A es mayor que su valor esperado, B es probable que sea menor que su valor esperado.
• Si Cov(A, B) = 0

​

Transformación

Feature Engineering

Normalización y Discretización Binning

Feature Engineering

• Dentro del Proceso de Descubrimiento de Conocimiento se corresponde con la etapa de Transformación de datos.
• La transformación de datos engloba, en realidad, cualquier proceso que modifique la forma de los datos.
• Prácticamente todos los procesos de preparación de datos entrañan algún tipo de transformación.

• Feature Engineering es la tarea de mejorar el rendimiento del modelado en un conjunto de datos mediante la transformación de su feature space.

Normalización

La normalización consiste en escalar los features (numéricos) de manera que puedan ser mapeados a un rango más pequeño.

Por ejemplo: 0 a 1 ó -1 a 1.

​

​

​

La normalización es particularmente utilizada en:

• Tareas de mining donde las unidades de medidas dificultan la comparación de features.
• Medidas de Distancias. Vecinos más cercanos, Clustering, etc.

Ayuda a evitar que atributos con mayores magnitudes tengan mayor peso que los rangos pequeños.

Los métodos más utilizados para normalizar son:

• Min-Max
• Z-Score
• Decimal Scaling

​

Normalización Decimal Scaling

Decimal Scaling asegura que cada valor normalizado se encuentra entre - 1 y 1.

​

​

​

donde d representa el número de dígitos en los valores de la variable con el valor absoluto más grande.

Sepal.Length� �Min. 4.300�Median 5.800�Mean 5.843�Max. 7.900

SD 0.828

​

​

Normalización Min-Max

La Normalización Min-Max funciona al ver cuánto más grande es el valor actual del valor mínimo min(X) y escala esta diferencia por el rango.

Los valores de normalización min-max van de 0 a 1.

Normalización Z-Score

Los valores para un atributo X, se normalizan en base a la media y desviación estándar de X.

Este método de normalización es útil cuando el verdadero mínimo y máximo del atributo X son desconocidos, o cuando hay valores atípicos que dominan la normalización min-max.

Comparación de métodos

Transformaciones para lograr Normalidad

• Si la media es mayor que la mediana entonces hay sesgo a derecha (Sesgo+)
• Si la media es menor que la mediana entonces hay sesgo a izquierda (Sesgo-)

Los histogramas de la diapo anterior, existía un leve sesgo positivo:

​

> print(sesgo.ori)�[1] 0.1569923�> print(sesgo.mm)�[1] 0.1569923�> print(sesgo.z)�[1] 0.1569923�> print(sesgo.d)�[1] 0.1569923

​

Podemos reducir este sesgo a partir de transformaciones:

​

1. Raíz cuadrada
2. Logaritmos
3. Inversa de la Raíz Cuadrada

​

> print(sesgo.tr.sq)�[1] 0.052761�> print(sesgo.tr.ln)�[1] -0.05237737

​

Discretización

• Es una técnica que permite dividir el rango de una variable continua en intervalos.
• Vamos de valores continuos a un número reducido de etiquetas.
• Esto conduce a una representación concisa y fácil de utilizar.

​

Discretización: Características

La discretización puede ser caracterizada según cómo se realiza:

• Si utiliza la clase como información
• Si la utiliza será supervisada
• Si no la utiliza será no supervisada

​

• Según la orientación en la que realice las recursivas particiones:
• Top-Down: Parte de algunos pocos puntos de spliting y trata de separar todo el rango
• Bottom-Up: Considera a todos los puntos como posibles separadores del rango

​

Si se realiza una discretización para cada sub-rango de manera recursiva se obtiene una Jerarquía.

​

Discretización: Binning

• La técnica es similar a la que utilizamos para manejo de ruido: suavizados.
• Es Top-Down.
• Se basa en un número específico de bins.
• Los criterios de agrupamiento pueden ser por:
• Igual-Frecuencia: La misma cantidad de observaciones en un bin.
• Igual-Ancho: Definimos rangos o intervalos de clases para cada bin.

A su vez para cada uno de los agrupamientos podemos hacer:

• Reemplazo por media
• Reemplazo por mediana

No se utiliza la información de la clase, por lo tanto es no supervisado.

​

Binning: Ejemplos

Supongamos que vamos a discretizar X en 3 categorías.

​

X = {1, 1, 1, 1, 1, 2, 2, 11, 11, 12, 12, 44}

​

Discretización: Otros no supervisados

• Rank: El ranking de un número es su tamaño relativo a otros valores de una variable numérica. Primero, ordenamos la lista de valores, luego asignamos la posición de un valor como su rango.
• Los mismos valores reciben el mismo rango pero la presencia de valores duplicados afecta a las filas de valores posteriores (por ejemplo, 1,2,3,3,4).
• Rango es un sólido método de binning con un inconveniente importante, los valores pueden tener rangos diferentes en diferentes listas.

​

​

Discretización: Otros no supervisados

• Quantiles (median, quartiles, percentiles, ...): Quantiles también son métodos binning muy útiles pero como Rank, un valor puede tener cuantil diferente si la lista de valores cambia.
• Math functions: Por ejemplo, FLOOR(LOG(X)) es un método binning efectivo para las variables numéricas con distribución altamente sesgada (por ejemplo, ingreso).

Discretización basada en Entropía

• Es supervisada y Separación Bottom-Up
• Explora la distribución de información en la clase para el cálculo y determinación del split-point
• Para un dataset D →{A₁,..,A_N} el método para discretizar A es:

​

1. Cada Valor de A se considera como un posible split-point para hacer una discretización binaria.
2. Calculo la Entropía para la Clase

​

• Calcula la Entropía para la Clase y el split-point a evaluar

​

​

• Calculo Information Gain para esa partición, como:

​

​

​

Discretización basada en Entropía: Ejemplo

Discretizar la variable de temperatura usando el algoritmo basado en entropía.

​

Paso 1: Calculamos Entropía para la variable objetivo.

​

​

​

Paso 2: Calculamos Entropía para la variable objetivo dado un bin.

​

​

​

​

Paso 3: Calculamos Ganancia de Información} (GI) dado un bin.

​

​

Variables Flags

• Algunos métodos analíticos, como la regresión, requieren que los predictores sean numéricos.
• Cuando tenemos descriptores categóricos, podemos recodificar la variable categórica en una o más variables Dummy o Flags.

If sex = female = then sex_flag = 0;

if sex = male then sex_flag = 1.

north_flag: If region = north then north_flag = 1; otherwise north_flag = 0.

east_flag: If region = east then east_flag = 1; otherwise east_flag = 0.

south_flag: If region = south then south_flag = 1; otherwise south_flag = 0.

​

Variables con dos categorías

Variables con N categorías

Tratamiento de datos faltantes

Datos Faltantes

• El problema de los missing data está presente en el análisis de datos desde los orígenes del almacenamiento.

​

• Este problema de missing data se vuelve incluso un dilema propio del proceso de KDD donde los volúmenes de datos se incrementan y con ello la probabilidad de inconsistencias y faltantes.

Datos faltantes

• Los datos no siempre están disponibles.
• Muchas tuplas no tienen ningún valor registrado para varios atributos.
• ¿Cuál es el ingreso de un cliente?
• Los datos faltantes pueden deberse a:
• Mal funcionamiento del un equipo.
• Tiene inconsistencias con otros datos grabados y, por lo tanto, es eliminado.
• Datos no ingresados debido a malentendidos.
• Ciertos datos pueden no ser considerados importantes en el momento de la entrada
• No se registra un historial o cambios de los datos

Las opciones al enfrentarnos con datos faltantes son: eliminar registros o trabajar con métodos de imputación.

Razones de la inconsistencia

• Factores propios del procedimiento.

Formularios mal diseñados, errores de programación, etc.

• Negativa a responder.

Ej: Cuestiones relacionadas con la edad, ¿cuánto gana? afiliación política, religión, etc.

• Respuestas inaplicables.

Ej: ¿Cuánto gasto en juguetes para sus hijos el último año?...no tengo hijos cuack!

​

Problemas de trabajar con faltantes

• Los datos faltantes (DF) dificultan el análisis de datos.
• Un manejo inapropiado de DF en el análisis puede introducir sesgos y puede resultar en conclusiones engañosas.
• También pueden limitar la generalización del conocimiento alcanzado.

Hay tres tipos de problemas que se asocian con los DF en minería de datos:

​

1. Pérdida de eficiencia.
2. Complicaciones en el análisis y el manejo de datos
3. Sesgos que resultan de las diferencias entre los datos completos y los faltantes.

​

​

Tipos de datos faltantes

Existen diferentes mecanismos de faltantes, los tipos estándar de DF son:

​

• Outliers tratados como datos faltantes: Cuando se conocen los límites de las diferentes variables del dataset, los datos que caen fuera del rango definido se deben etiquetar como faltantes.

​

• Datos faltantes al azar. Missing At Random MAR
• La probabilidad de que la variable Y tenga un dato faltante depende de X, pero no de Y.
• Es decir, el patrón de los datos faltantes se puede predecir a partir de otras variables de la base de datos.

Tipos de datos faltantes

• Datos faltantes completamente al azar. Missing completely at random MCAR
• La probabilidad de que la variable Y tenga un dato faltante es independiente de X.
• Los datos existentes en Y son una muestra al azar de los valores de Y

​

​

• Datos faltantes que dependen de un predictor no observado. Non-Ignorable missing data.
• El dato faltante se podría estimar a partir de otra variable, pero que no fue registrada.
• Se puede intentar modelar la variable con datos faltantes a partir de las presentes en el dataset.

Métodos para tratar con datos faltantes

• Utilizar solo registros completos: Esto va a depender de cómo es el origen del faltante.
• Se recomienda que se utilice solo en los casos en que el mecanismo de faltante sea MCAR.
• Borrar casos seleccionados o variables: La eliminación de registros ante la presencia de faltantes puede utilizarse cuando hay un patrón no aleatorio de datos faltantes.
• Si la eliminación de un subconjunto disminuye significativamente la utilidad de los datos, la eliminación del caso puede no ser efectiva.
• Imputación de datos: Son métodos de relleno de faltantes.
• Aproximaciones basadas en modelado: Múltiples imputaciones

Imputación de datos

• Son métodos de relleno de datos ante la presencia de faltantes.
• Según (Hair, 1998), “es el proceso de estimar datos faltantes de una observación a partir de valores válidos de otras variables”
• Se debe tener precaución al emplear métodos de imputación, ya que pueden generar sesgos importantes entre los datos reales y los imputados.

Imputación de Datos Faltantes

• Sustitución de casos. Se reemplaza con valores no observados. Debería ser realizado por un experto en esos datos.

​

• Sustitución de Medias. Se reemplaza utilizando el promedio calculado de los valores presentes. Debe verificarse que los datos ajusten a una distribución normal, si los datos están sesgados es mejor utilizar la mediana.

​

Hay tres desventajas en el uso de la media:

• La varianza estimada de la nueva variable no es válida porque está atenuada por los valores repetidos
• Se distorsiona la distribución
• Las correlaciones que se observen estaran deprimidas debido a la repetición de un solo valor constante.

​

Imputación: Cold Deck

Cold Deck

• Selecciona valores o usar relaciones obtenidas de fuentes distintas de la base de datos actual.
• Se sustituye un valor constante derivado de fuentes externas o de investigaciones previas.
• Tiene las mismas desventajas de aplicar la media.

Imputación: Hot Deck

Hot Deck: Reemplaza los faltantes con valores obtenidos de registros que son los más similares.

Ventajas de hot deck:

• Conceptualmente simple
• Conserva los niveles de medición adecuados para las variables
• Finaliza el proceso de imputación con un conjunto completo de datos.

​

Desventajas:

• la dificultad para definir qué es similar.

Imputación utilizando regresiones

• Se utiliza el análisis de regresión para para predecir valores faltantes a partir variables relacionadas en el conjunto de datos.
• Se pueden utilizar regresiones simples o múltiples.
• Se identifican las variables independientes y dependiente.

Reducción de Dimensionalidad

Reducción de Dimensionalidad

¿Cuál es el problema?

• Tenemos muchos atributos en nuestro dataset respecto a la cantidad de instancias, pueden existir demasiados grados de libertad, por lo que los patrones extraídos pueden ser poco robustos.
• “La maldición de la dimensionalidad”

¿Qué pasa con valores muy grandes de d?

d=2

d=3

d=1

Covarianza

La covarianza de un conjunto de datos con p variables puede ser representada a partir de una matriz de p x p llamada matriz de varianzas y covarianzas:

Cálculo de covarianzas:

El resto de la matriz tiene las covarianzas

La diagonal tiene las varianza de cada feature

Correlación

La correlación es una versión estandarizada de la covarianza:

• La correlación está acotada entre -1 y 1.
• Siempre que la covarianza es positiva, la correlación es positiva y viceversa.

​

• Mientras que la correlación no tiene unidades físicas, la covarianza sí.

Combinación Lineal

​

mi.iris$p1 = 0.5*mi.iris$Sepal.Length + 0.5*mi.iris$Sepal.Width

​

mi.iris$p2 = 0.5*mi.iris$Petal.Length + 0.5*mi.iris$Petal.Width

Una combinación lineal de dos o más columnas es la suma de sus componentes multiplicados por escalares.

Análisis de Componentes Principales

El análisis de componentes principales (PCA) se emplea cuando deseamos obtener una representación más simple (y en menor dimensión) para un conjunto de variables correlacionadas.

Para examinar las relaciones entre un conjunto de p variables correlacionadas, transformamos el conjunto original de variables a un nuevo conjunto no correlacionado usando una rotación ortogonal en el espacio p-dimensional.

​

Estas nuevas variables serán llamadas componentes principales.

Son obtenidas en orden decreciente de importancia, de modo que la primer componente resume la mayor cantidad de variabilidad de las variables originales.

Otra observación importante sobre el PCA es que depende de las escalas en las que las variables son medidas.

Componentes Principales

• Las CP son combinaciones lineales de las variables originales.
• Específicamente, son las combinaciones que tienen la máxima varianza posible y al mismo tiempo no están correlacionados entre sí (claro, son ortogonales).
• El coeficiente de correlación entre los distintos componentes es 0.
• Pueden existir tantos componentes principales como variables en el dataset.

Análisis de Componentes Principales

¿Qué pasa con la varianza cuando proyectamos los datos sobre el eje vertical?

​

¿Y en el horizontal?

Análisis de Componentes Principales

1

2

3

4

El segundo eje es ortogonal al primero

Varianza

• A medida que voy generando componentes principales, cada vez tengo menos libertad para elegir el siguiente porque el coeficiente de correlación entre todos tiene que ser 0.
• Si se mide la suma de las varianzas originales (estandarizadas) y la suma de la varianza de los CP a medida que agrego nuevos, la varianza explicada es cada vez menor.

¿Cómo se obtienen las CP?

Las CP las podemos obtener:

​

• A partir de la matriz de Correlaciones
• A partir de la matriz de Covarianzas

​

(Hay que normalizar)

Matriz de correlaciones

Elegancia Comodidad Deportividad

Elegancia 1.0000000 0.2029821 0.4371275

Comodidad 0.2029821 1.0000000 -0.6460583

Deportividad 0.4371275 -0.6460583 1.0000000

Conjunto de datos

La forma de encontrar las CP es a través de los Autovectores y Autovalores de la matriz de correlaciones o de covarianzas

Autovalores y Autovectores

​

Autovectores

Muestran el grado de correlación entre las CP y las variables originales.

[,1] [,2] [,3]

[1,] 0.290 0.838 0.463

[2,] -0.604 0.535 -0.590

[3,] 0.742 0.109 -0.661

Autovalores

Muestran cuánta varianza es capturada por esa componente

[1] 1.696 1.186 0.117

Es el vector que describen la dirección

Explica cuánto se aleja

Existe una combinación lineal (loadings) entre las variables originales que y las componentes.

​

CP1 = 0.290 * elegancia - 0.604 * comodidad + 0.742 * deportividad

Interpretación

Loadings:

Comp.1 Comp.2 Comp.3

Elegancia 0.290 0.838 0.463

Comodidad -0.604 0.535 -0.590

Deportividad 0.742 0.109 -0.661

​

​

Comp.1 Comp.2 Comp.3

0.66976320 0.30416297 0.02607383

0.6697632 0.9739262 1.00000000

% de Varianza capturada

97%

Corte en Varianzas mayores a 1

Biplot

Consideraciones

• Análisis de componente principal: Es una técnica estadística utilizada para examinar las interrelaciones entre un conjunto de variables con el fin de identificar la estructura subyacente de esas variables.
• Se trata de un análisis no paramétrico y la respuesta es única e independiente de cualquier hipótesis sobre la distribución de datos.
• Estas dos propiedades pueden ser consideradas como puntos débiles, así como fortalezas.
• La reducción de datos con ACP a menudo incurre en una pérdida de información.

Ejemplo

# Descomposición en Autovalores y Autovectores

# Calculamos la matriz de correlaciones

X = cor(iris[1:4])

# Obtenemos los autovalores y autovectores

eigen.X = eigen(X)

# Varianza explicada por cada una de las componentes

print(eigen.X$values)

# Proporción de Varianza explicada

print(eigen.X$values/sum(eigen.X$values))

# Proporción acumulada de Varianza explicada

print(cumsum(eigen.X$values/sum(eigen.X$values)))

# Loadings

print(eigen.X$vectors)

Bibliografía

• Jiawei Han, Micheline Kamber, Jian Pei. 2012. Tercera edición. Data Mining: Concepts and Techniques. Cap. 2 y Cap. 3
• García, S., Luengo, J., & Herrera, F. (2016). Data preprocessing in data mining. Springer. (Cap. 5)
• Zuur, A. F., Ieno, E. N., & Elphick, C. S. (2010). A protocol for data exploration to avoid common statistical problems. Methods in Ecology and Evolution, 1(1), 3–14. [pdf]

​