[R-es] Cargar csv de 16GB en R
Igor Sosa Mayor
joseleopoldo1792 en gmail.com
Mar Jun 3 19:53:59 CEST 2014
laura tomé <tomelaurita en yahoo.es> writes:
> Hola,
>
> Estoy todavía dando mis primeros pasos en R y una de las cosas que tengo que hacer es trabajar con un csv de 16 GB. Consta de 10 columnas, 7 númericas
> He probado varias cosas entre ellas los paquetes 'colbycol',
> data.table, ff , etc, pero nada, mi ordenador de queda frito. Por
> cierto, tiene 8GB de RAM y Windows 8
>
> ¿Debo trocear previamente el csv,me recomendais algún paquete en especial, etc para trabajar con un fichero tan pesado, otra solución?...
yo la verdad es que no tengo experiencia con ese tipo de datos, pero la
cuestión aparece una y otra vez en los foros, stackexchange, etc.
Siguiendo este link:
http://statcompute.wordpress.com/2014/02/11/efficiency-of-importing-large-csv-files-in-r/
hay varias opciones: bigmemory, data.table, sqldf, etc. pero la función
fread de data.table parece la más rápida. Yo probaría primeramente con
esa.
Aquí hay también algunos consejos:
http://stackoverflow.com/questions/1727772/quickly-reading-very-large-tables-as-dataframes-in-r
De todas formas, otros de la lista creo que tienen más experiencia con
el asunto.
Suerte!
--
:: Igor Sosa Mayor :: joseleopoldo1792 en gmail.com ::
:: GnuPG: 0x1C1E2890 :: http://www.gnupg.org/ ::
:: jabberid: rogorido :: ::
Más información sobre la lista de distribución R-help-es