Define "hacer minería de datos". Muchas de las técnicas que se utilizan en
minería de datos pueden aplicarsecomo comentaba antes con muestras para
entrenar los modelos con resultados más que buenos aunque luego quieras
aplicar el modelo a todo el conjunto (esto último suele ser relativamente
fácil de hacer por lotes, por lo que de nuevo no es necesario cargar todo
el conjunto de datos).

Para los casos en los que irremediablemente haya que utilizar un conjunto
de datos que no "quepa" en R (pocos casos me he encontrado para cosas
estrictamente analíticas), no pasa nada por explorar otras opciones. Dudo
mucho que el objetivo sea nunca "Hacer minería de datos con R", el objetivo
suele ser resolver un problema concreto, y por mucho que nos guste una
herramienta, no pasa nada por combinarla con otras opciones también
gratuitas para resolver determinados problemas :)




El 4 de junio de 2014, 17:20, Joan Carmona <jcmld@carmonarocha.com>
escribió:

> No soy experto en data mining con R, sé que existe algún paquete al
> respecto, pero no sé si R sería lo más adecuado para cantidades ingentes de
> datos…
>
> Saludos,
>
> Juan Carmona.
>
>
>
> De: Eduardo Bieñkowski [mailto:edukoski@gmail.com]
> Enviado el: miércoles, 04 de junio de 2014 17:07
> Para: Joan Carmona
> CC: Isidro Hidalgo; r-help-es
> Asunto: Re: [R-es] Cargar csv de 16GB en R
>
>
>
> Si pero que pasaría entonces si lo que se necesita hacer es minería de
> datos con R, y queda un fichero enorme a pesar de darle todos los filtros y
> selecciones posibles?????
>
>
>
> El 4 de junio de 2014, 8:24, Joan Carmona <jcmld@carmonarocha.com <mailto:
> jcmld@carmonarocha.com> > escribió:
>
> Es cierto que R carga los objetos en memoria, pero ésta puede ser memoria
> RAM + Virtual.
> Yo he trabajado con data frames mayores que la memoria física. Es cierto
> que
> esto ralentiza las operaciones.
> Lo que marca realmente los límites de la memoria es la versión del sistema
> operativo y de R, que han de ser de 64 bits. En un sistema de 32 bits el
> direccionamiento teórico máximo es de 4 Gbytes, pero en un sistema de 64
> bits el límite es de varios Tbytes. Teóricamente (y sólo teóricamente) se
> podría trabajar con objetos muy grandes, siempre que tengas suficiente
> espacio en disco.
>
>
> -----Mensaje original-----
> De: r-help-es-bounces@r-project.org <mailto:
> r-help-es-bounces@r-project.org>  [mailto:r-help-es-bounces@r-project.org
> <mailto:r-help-es-bounces@r-project.org> ]
>
> En nombre de Isidro Hidalgo
> Enviado el: miércoles, 04 de junio de 2014 11:39
> Para: 'r-help-es'
>
> Asunto: Re: [R-es] Cargar csv de 16GB en R
>
> ¿Memoria virtual y R? Por lo que tengo entendido, como ha dicho Carlos
> antes, R trabaja con la memoria física, por lo que nunca vas a poder
> trabajar simultáneamente con objetos que requieran más memoria que la RAM
> de
> tu equipo.
> De hecho, bajo mi punto de vista, es el problema fundamental de R.
> Si funcionara con memoria virtual... IGUAL HASTA ME CASABA CON ÉL, XD Así
> que, por favor, si alguien puede aclarar este asunto, lo agradecería
> enormemente...
> Un saludo a todos.
>
> Isidro Hidalgo Arellano
> Observatorio Regional de Empleo
> Consejería de Empleo y Economía
> http://www.jccm.es
>
>
>
> > -----Mensaje original-----
> > De: r-help-es-bounces@r-project.org <mailto:
> r-help-es-bounces@r-project.org>  [mailto:r-help-es-bounces@r- <mailto:
> r-help-es-bounces@r->
> > project.org <http://project.org> ] En nombre de Javier Marcuzzi Enviado
> el: miércoles, 04 de
> > junio de 2014 1:54
> > Para: Joan Carmona
> > CC: r-help-es; laura tomé
> > Asunto: Re: [R-es] Cargar csv de 16GB en R
> >
> > Estoy de acuerdo con la observaciÃ³n de Joan, yo supe utilizar formas
> > para trabajar con mÃ¡s memoria de la configurada como base, pero
> > tengamos en cuenta que una vez importados los datos, cualquier
> > operaciÃ³n estarÃ¡ entre la memoria fÃ­sica y la virtual, es todo un
> > desafÃ­o y dependerÃ¡ del anÃ¡lisis estadÃ­stico (me refiero a los
> > algoritmos que ordenen al CPU).
> >
> > Mi experiencia cuÃ¡ndo trabaje con muchos datos y tocando los
> > parÃ¡metros de memoria, en algo parecido a un modelo mixto, una
> > variable 5 minutos de procesamiento, dos variables unos 15 minutos,
> > ambas mÃ¡s una relaciÃ³n mÃ¡s de dos dÃ­as de procesamiento, esa
> > relaciÃ³n en solo una variable algo como una hora. BÃ¡sicamente podÃ­a
> > por separado, pero cuÃ¡ndo sumaba algo al modelo de tiempos razonables
> > pasaba a dos dÃ­as (medido en la pantalla de R porque pasaba datos
> > segÃºn procesaba - verbose=TRUE).
> >
> > Javier Marcuzzi
> >
> >
> > El 3 de junio de 2014, 18:54, Joan Carmona <jcmld@carmonarocha.com
> <mailto:jcmld@carmonarocha.com> >
> > escribiÃ³:
> >
> > > Hola Laura,
> > >
> > > Asumo que estÃ¡s usando una versiÃ³n de R de 64 bits, de lo
> > > contrario ya irÃ­as muy limitada por la versiÃ³n, si Ã©sta fuera de 32
> bits.
> > >
> > > R puede trabajar con objetos mayores que la memoria fÃ­sica
> > instalada,
> > > gracias a la memoria virtual de la mÃ¡quina.
> > >
> > > Pero hay que tener en cuenta que, en Windows, R limita la memoria
> > > disponible para una sesiÃ³n de R. Para cambiar este lÃ­mite, mira
> > > los comandos memory.size y memory.limit
> > >
> > > Saludos,
> > >
> > > Juan Carmona
> > >
> > > -----Mensaje original-----
> > > De: r-help-es-bounces@r-project.org <mailto:
> r-help-es-bounces@r-project.org>  [mailto:
> > > r-help-es-bounces@r-project.org <mailto:
> r-help-es-bounces@r-project.org> ]
> > > En nombre de laura tomÃ©
> > > Enviado el: martes, 03 de junio de 2014 19:37
> > > Para: r-help-es@r-project.org <mailto:r-help-es@r-project.org>
> > > Asunto: [R-es] Cargar csv de 16GB en R
> > >
> > >
> > >
> > >
> > > Hola,
> > >
> > > Estoy todavÃ­a dando mis primeros pasos en R y una de las cosas que
> > > tengo que hacer es trabajar con un csv de 16 GB. Consta de 10
> > > columnas, 7 nÃºmericas He probado varias cosas entre ellas  los
> > > paquetes  'colbycol', data.table, ff , etc,  pero nada, mi ordenador
> > > de queda frito. Por cierto, tiene 8GB de RAM y Windows 8
> > >
> > > Â¿Debo trocear previamente el csv,me recomendais algÃºn paquete en
> > > especial, etc para trabajar con un fichero tan pesado, otra
> > soluciÃ³n?...
> > >
> > > Muchas gracias
> > >         [[alternative HTML version deleted]]
> > >
> > > _______________________________________________
> > > R-help-es mailing list
> > > R-help-es@r-project.org <mailto:R-help-es@r-project.org>
> > > https://stat.ethz.ch/mailman/listinfo/r-help-es
> > >
> >
> >       [[alternative HTML version deleted]]
>
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org <mailto:R-help-es@r-project.org>
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org <mailto:R-help-es@r-project.org>
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>
>
>
> --
> Eduardo
>
>
>         [[alternative HTML version deleted]]
>
>
> _______________________________________________
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>

	[[alternative HTML version deleted]]

