[R-es] Paralelizar R en windows (Jesús Para Fernández)

[PEDRO CONCEJERO CEREZO]

Hola, parece que hay diferencias considerables para paralelizar en windows con mclapply:

https://www.r-bloggers.com/implementing-mclapply-on-windows-a-primer-on-embarrassingly-parallel-computation-on-multicore-systems-with-r/

(aunque esto es de 2014)

Hay alternativas como foreach, aunque mucho me temo  que *no* se puede paralelizar el acceso a disco (que es lo que requiere la lectura de ficheros) en windows, no tengo idea en otras plataformas.

Por si te sirve para comparar los dos enfoques (hay diferencia pero despreciable en la prueba que yo he hecho, a lo mejor te da algun resultado):

rm(list=ls())
gc()


library(data.table)

archivos<-list.files()

# Version NO PARALELA
time1 <- Sys.time()
out <-  for(i in 1:length(archivos)){
  fread(archivos[i],header=T,dec=",",sep=";")
}
time2 <- Sys.time()
print(paste("Tiempo de lectura =", time2 - time1))

# VERSION PARALELA

library(foreach)
time1 <- Sys.time()
out <-  foreach(i = 1:length(archivos),
                .packages = 'data.table') %dopar%
  fread(archivos[i],header=T,dec=",",sep=";")
time2 <- Sys.time()
print(paste("Tiempo de lectura =", time2 - time1))


El 12/06/2017 a las 20:59, r-help-es-request en r-project.org<mailto:r-help-es-request en r-project.org> escribió:

Paralelizar R en windows (Jesús Para Fernández)

--
Pedro Concejero
E-mail: pedro.concejerocerezo en telefonica.com<mailto:pedro.concejerocerezo en telefonica.com>
skype: pedro.concejero
twitter @ConcejeroPedro<https://twitter.com/ConcejeroPedro>
linkedin pedroconcejero<http://www.linkedin.com/in/pedroconcejero/es>
eRReRo feliz, me puedes encontrar en gRupo R madRid <http://madrid.r-es.org/?s=concejero&searchsubmit.x=21&searchsubmit.y=13>

________________________________

Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.

The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.

Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição

	[[alternative HTML version deleted]]