[R-es] Cargar csv de 16GB en R

[Isidro Hidalgo]

¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos
antes, R trabaja con la memoria física, por lo que nunca vas a poder
trabajar simultáneamente con objetos que requieran más memoria que la RAM de
tu equipo.
De hecho, bajo mi punto de vista, es el problema fundamental de R.
Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD
Así que, por favor, si alguien puede aclarar este asunto, lo agradecería
enormemente...
Un saludo a todos.

Isidro Hidalgo Arellano
Observatorio Regional de Empleo
Consejería de Empleo y Economía
http://www.jccm.es



> -----Mensaje original-----
> De: r-help-es-bounces en r-project.org [mailto:r-help-es-bounces en r-
> project.org] En nombre de Javier Marcuzzi
> Enviado el: miércoles, 04 de junio de 2014 1:54
> Para: Joan Carmona
> CC: r-help-es; laura tomé
> Asunto: Re: [R-es] Cargar csv de 16GB en R
>
> Estoy de acuerdo con la observación de Joan, yo supe utilizar formas
> para trabajar con más memoria de la configurada como base, pero
> tengamos en cuenta que una vez importados los datos, cualquier
> operación estará entre la memoria física y la virtual, es todo un
> desafío y dependerá del análisis estadístico (me refiero a los
> algoritmos que ordenen al CPU).
>
> Mi experiencia cuándo trabaje con muchos datos y tocando los
> parámetros de memoria, en algo parecido a un modelo mixto, una
> variable 5 minutos de procesamiento, dos variables unos 15 minutos,
> ambas más una relación más de dos días de procesamiento, esa
> relación en solo una variable algo como una hora. Básicamente podía
> por separado, pero cuándo sumaba algo al modelo de tiempos razonables
> pasaba a dos días (medido en la pantalla de R porque pasaba datos
> según procesaba - verbose=TRUE).
>
> Javier Marcuzzi
>
>
> El 3 de junio de 2014, 18:54, Joan Carmona <jcmld en carmonarocha.com>
> escribió:
>
> > Hola Laura,
> >
> > Asumo que estás usando una versión de R de 64 bits, de lo contrario
> > ya irías muy limitada por la versión, si ésta fuera de 32 bits.
> >
> > R puede trabajar con objetos mayores que la memoria física
> instalada,
> > gracias a la memoria virtual de la máquina.
> >
> > Pero hay que tener en cuenta que, en Windows, R limita la memoria
> > disponible para una sesión de R. Para cambiar este límite, mira los
> > comandos memory.size y memory.limit
> >
> > Saludos,
> >
> > Juan Carmona
> >
> > -----Mensaje original-----
> > De: r-help-es-bounces en r-project.org [mailto:
> > r-help-es-bounces en r-project.org]
> > En nombre de laura tomé
> > Enviado el: martes, 03 de junio de 2014 19:37
> > Para: r-help-es en r-project.org
> > Asunto: [R-es] Cargar csv de 16GB en R
> >
> >
> >
> >
> > Hola,
> >
> > Estoy todavía dando mis primeros pasos en R y una de las cosas que
> > tengo que hacer es trabajar con un csv de 16 GB. Consta de 10
> > columnas, 7 númericas He probado varias cosas entre ellas  los
> > paquetes  'colbycol', data.table, ff , etc,  pero nada, mi ordenador
> > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8
> >
> > ¿Debo trocear previamente el csv,me recomendais algún paquete en
> > especial, etc para trabajar con un fichero tan pesado, otra
> solución?...
> >
> > Muchas gracias
> >         [[alternative HTML version deleted]]
> >
> > _______________________________________________
> > R-help-es mailing list
> > R-help-es en r-project.org
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
>
> 	[[alternative HTML version deleted]]