Cómo visualizar una enorme escasa tabla de contingencia?

Question

Tengo dos variables: Nombre del Medicamento (DN) y la correspondiente de los Eventos Adversos (ea), de los cuales se destacan en muchos-a-muchos de relación. Hay 33,556 los nombres de los medicamentos y 9,516 eventos adversos. El tamaño de la muestra es de alrededor de 5,8 millones de observaciones.

Quiero estudiar y comprender la asociación/relación entre el DN y AE. Estoy pensando en una forma de visualizar este conjunto en R ya que es mejor mirar las fotos. No estoy seguro de cómo ir sobre él...

Answer 1

Lo que puedes hacer es utilizar el residual de sombreado ideas de vcd aquí en combinación con la matriz dispersa de visualización como por ejemplo en la página 49 de este capítulo del libro. Imagine la última parcela con residual de matices y usted consigue la idea.

La escasa matriz/tabla de contingencia normalmente contienen el número de ocurrencias de cada medicamento con cada uno de los efectos adversos. Con el residual de sombreado idea, sin embargo, se puede establecer una línea de base de registro de modelo lineal (por ejemplo, una independencia modelo o cualquier otra cosa que te gusta) y utilizar el esquema de color para averiguar qué medicamentos/efecto que produce la combinación más a menudo/ con menos frecuencia que el modelo podría predecir. Puesto que usted tiene muchas observaciones, se podría utilizar una muy fina de color umbralización y obtener un mapa similar a cómo los microarrays en el análisis de cluster a menudo son visualizadas por ejemplo, aquí (pero probablemente con más color "degradados"). O usted podría construir los umbrales de tal manera que sólo si las diferencias de las observaciones con las predicciones supera el umbral de lo que se pone de color y el resto permanecerá en blanco. Cómo es exactamente lo que iba a hacer esto (por ejemplo, el modelo a utilizar o que los umbrales) depende de sus preguntas.

Editar Así que aquí es lo que yo haría (dado que me gustaría tener suficiente memoria RAM disponible...)

1. Crear una matriz dispersa de las dimensiones deseadas (nombres de medicamentos x efectos)
2. Calcular los residuos de la independencia modelo loglineal
3. Utilizar un degradado de color en alta resolución desde el mínimo hasta el máximo de los residuos (por ejemplo, con un espacio de color hsv)
4. Inserte el acuerdo de valor de color de los residuos de magnitud en la según la posición en la matriz dispersa
5. La trama de la matriz con una imagen de la trama.

Usted, a continuación, terminar con algo como esto (por supuesto que la imagen será mucho más grande y no va a ser mucho menor tamaño de píxel, pero usted debe tener la idea. Con un inteligente uso del color puede visualizar las asociaciones/salidas de la independencia que le interesa más).

Rápido y sucio ejemplo con un 100x100 de la matriz. Este es sólo un juguete ejemplo con los residuos que van desde -10 a 10 como se puede ver en la leyenda. El blanco es cero, el azul es menos frecuente de lo esperado, el rojo es más frecuente de lo esperado. Usted debe ser capaz de conseguir la idea y tomar desde allí. Edit: me fijo la trama de la configuración y el uso de la no-violentos colores.

Esto se hizo mediante la image función y cm.colors() en la siguiente función:

ImagePlot <- function(x, ...){
 min <- min(x)
 max <- max(x)
 layout(matrix(data=c(1,2), nrow=1, ncol=2), widths=c(1,7), heights=c(1,1))

 ColorLevels <- cm.colors(255)

 # Color Scale
 par(mar = c(1,2.2,1,1))
 image(1, seq(min,max,length=255),
  matrix(data=seq(min,max,length=255), ncol=length(ColorLevels),nrow=1),
  col=ColorLevels,
  xlab="",ylab="",
  xaxt="n")


 # Data Map
 par(mar = c(0.5,1,1,1))
 image(1:dim(x)[1], 1:dim(x)[2], t(x), col=ColorLevels, xlab="",
 ylab="", axes=FALSE, zlim=c(min,max))

layout(1)
}

#100x100 example
x <- c(seq(-10,10,length=255),rep(0,600))
mat <- matrix(sample(x,10000,replace=TRUE),nrow=100,ncol=100)
ImagePlot(mat)

usando las ideas de aquí http://www.phaget4.org/R/image_matrix.html. Si la matriz es tan grande que la image función se pone lento, el uso de la useRaster=TRUE argumento (también puede ser que desee utilizar la Matriz dispersa objetos; tenga en cuenta que debe haber un image método si desea utilizar el código de arriba, consulte la sparseM paquete.)

Si usted hace esto, algunos astutos orden de las filas/columnas podrían ser práctico, que se puede calcular con la arules paquete (consulte la página 17 y 18 o así). Me gustaría recomienda generalmente la arules utilidades para este tipo de datos y el problema (no sólo de visualización, pero también para encontrar patrones). Allí también encontrará las medidas de asociación entre los niveles que usted podría utilizar en lugar de los residuales de sombreado.

También puede ser que desee mirar tableplots de que usted quiere investigar, sólo un par de los efectos adversos más tarde.

Answer 2

Este es un problema conocido con una gran cantidad de literatura: Usted puede tener una mirada en, por ejemplo (a partir de la estadística en medicina, descargable): "Bayesiano de farmacovigilancia métodos de detección de señal revisited en una comparación múltiple de configuración "y las referencias therin.