[R-es] Saber la capacidad de R

[PEDRO CONCEJERO CEREZO]

Hola, creo interesante mencionar algunos enlaces sobre las limitaciones de tamaño de objetos en R. Como ya se ha dicho, R (base) necesita tener los objetos en memoria RAM, por tanto el limite vendra por la RAM fisica disponible en la maquina *y por la que pueda manejar el sistema operativo*. Suponiendo un SO de 64 bits, en unix el limite sera el de la RAM fisica (aunque el SO puede procesar todavia en swap -escribe la RAM a disco- ira lentisimo, pero seguira funcionando siempre y cuando tengas swap -lo he hecho). Yo no trabajo con objetos grandes en windows, supongo que no es tan estable cuando se acerca al total de la RAM.
Supuesta RAM infinita, y segun:
https://stat.ethz.ch/R-manual/R-devel/library/base/html/Memory-limits.html

*No* hay limite en un sistema unix, y en windows son 8TB (Terabytes), que ya son. Y desde luego yo he manipulado objetos >25GB en una maquina unix con suficiente RAM, con bastante tranquilidad. El problema no viene por el tamanio del dataset sino por las manipulaciones que hagas. Tambien hay unas recomendaciones interesantes cuando manipulas objetos tan grandes, mira recomendaciones aqui:
https://rpubs.com/msundar/large_data_analysis

Dicho esto, hay que recordar la existencia de estupendas librerias para trabajar out-of-memory (escribiendo objetos a disco), con bigmemory y ff:
https://cran.r-project.org/web/packages/bigmemory/index.html
https://cran.r-project.org/web/packages/bigmemory/vignettes/Overview.pdf

Para cosas muy burras, como este ejemplo con 6TB, un cluster, pero puedes alquilarlo -no quiero promocionar AWS pero es que la documentacion esta muy bien:
https://aws.amazon.com/es/blogs/big-data/running-r-on-aws/
https://aws.amazon.com/es/blogs/big-data/tag/r/

Saludos,

--
Pedro Concejero
E-mail: pedro.concejerocerezo en telefonica.com<mailto:pedro.concejerocerezo en telefonica.com>
skype: pedro.concejero
twitter @ConcejeroPedro<https://twitter.com/ConcejeroPedro>
linkedin pedroconcejero<http://www.linkedin.com/in/pedroconcejero/es>
eRReRo feliz, me puedes encontrar en gRupo R madRid <http://madrid.r-es.org/?s=concejero&searchsubmit.x=21&searchsubmit.y=13>

________________________________

Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.

The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.

Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição

	[[alternative HTML version deleted]]