[R-es] Mi script R es muy lento

[MªLuz Morales]

Hola, quiero compartir con vosotros mi problema y la solución que me han
planteado. Mi programa carga Outcomes.csv y Set-A.csv  (descargados de
http://garrickadenbuie.com/blog/2013/04/11/visualize-physionet-data-with-r/,
apartado Getting Started --> the code and the data set) de unos 50MB entre
los dos. Mi código era:


#  Transforma csv a data frame
seta <- read.csv('Set-A.csv');
outcomes <- read.csv('Outcomes-A.csv');

ids <- as.character(unique(outcomes$RecordID));
## Número de RecordsID distintos
Length_ids <- length(ids); #número de RecordsID distintos
ListaABP <- list('RecordID'=-1,'SAPS.I'=-1, 'SOFA'=-1, 'Survival'=-1,
'In.hospital_death'=-1, 'NISysABP_Min'=-1,'NISysABP_Max'=-1,
'NISysABP_Mean'=-1, 'NIDiasABP_Min'=-1,'NIDiasABP_Max'=-1,
'NIDiasABP_Mean'=-1,'NIMAP_Min'=-1,'NIMAP_Max'=-1, 'NIMAP_Mean'=-1);
for (i in 1:Length_ids){#NumRecordID){   # Para cada paciente...

  ListaABP$RecordID[i] <- outcomes$RecordID[i];
  ListaABP$SAPS.I[i] <- outcomes$SAPS.I[i];
  ListaABP$SOFA[i] <- outcomes$SOFA[i];
  ListaABP$Survival[i] <- outcomes$Survival[i];
  ListaABP$In.hospital_death[i] <- outcomes$In.hospital_death[i];

  # Parameter == 'NISysBP'
  #seta_NISysABP <- seta[seta$RecordID == ids[i] & seta$Parameter ==
'NISysABP' , c('RecordID','Value')] ;
  seta_NISysABP <- seta[seta$RecordID == ids[i] & seta$Parameter ==
'NISysABP' , 'Value'] ; #Creo que esto ya no sería un dataframe, por lo que
en la siguiente línea puede dar error
  ListaABP$NISysABP_Min[i] <- min(seta_NISysABP);
  ListaABP$NISysABP_Max[i] <- max(seta_NISysABP);
  ListaABP$NISysABP_Mean[i] <- mean(seta_NISysABP);

  # Parameter == 'NIDiasABP'
  #seta_NIDiasABP <- seta[seta$RecordID == ids[i] & seta$Parameter ==
'NIDiasABP' , c('Time','Value')] ; #En este caso la forma de hacer el min
sería ...min(seta_NIDiasABP$Value);
  seta_NIDiasABP <- seta[seta$RecordID == ids[i] & seta$Parameter ==
'NIDiasABP' , 'Value'] ;
  ListaABP$NIDiasABP_Min[i] <- min(seta_NIDiasABP);
  ListaABP$NIDiasABP_Max[i] <- max(seta_NIDiasABP);
  ListaABP$NIDiasABP_Mean[i] <- mean(seta_NIDiasABP);

  # Parameter == 'NIMAP'
  #seta_NIMAP <- seta[seta$RecordID == ids[i] & seta$Parameter == 'NIMAP' ,
c('Time','Value')] ;
  seta_NIMAP <- seta[seta$RecordID == ids[i] & seta$Parameter == 'NIMAP' ,
'Value'] ;
  ListaABP$NIMAP_Min[i] <- min(seta_NIMAP);
  ListaABP$NIMAP_Max[i] <- max(seta_NIMAP);
  ListaABP$NIMAP_Mean[i] <- mean(seta_NIMAP);

}#for i

Tabla <- data.frame(ListaABP);
#+++++++++++++++++++++++++++++++++++++++++++++++++

Este código tardaba 3 horas en ejecutarse. La solución que me han propuesto
es usar data.table en lugar de data.frame y ahora tarda 1 segundo
aproximadamente en ejecutarse y es este:

#-------------
library(data.table)
datSet <- fread("Set-A.csv")
resOut <- datSet[, .(ValMax=max(Value), ValMin=min(Value),
ValAvg=mean(Value)), by=c("RecordID","Parameter")]
resOut$RecordID <- as.factor(resOut$RecordID)
setkey(resOut, RecordID)
head(datSet)
datOutcome <- fread("Outcomes-A.csv")
datOutcome$RecordID <- as.factor(datOutcome$RecordID)
setkey(datOutcome, RecordID)
head(datOutcome)
#resEnd <- merge(resOut, datOutcome, by="RecordID", all=TRUE,
allow.cartesian=FALSE)
resEnd <- resOut[datOutcome]
head(resEnd)
setkey(resEnd, Parameter)
#Ejemplo para conseguir uno o varios parametros.
myRes <- resEnd[c("NISysABP","NIDiasABP","NIMAP")]
head(myRes)
#--------------

Tengo una pregunta, data.table es lo más eficiente para procesar grandes
cantidades de datos?, es fácil de manejar si quieres realizar cálculos
complejos además de reorganizar tablas...??

Gracias
Un saludo

	[[alternative HTML version deleted]]