[R-es] Avro.-

Freddy Omar López Quintero freddy.lopez.quintero en gmail.com
Vie Feb 2 16:57:05 CET 2018


Hola.

Espero que estén bien.

Les cuento. Tengo acceso a unos datos .avro en un s3 de amazon pero estoy
desconcertado con la forma de leerlos desde sparkR (*no sparklyr*) sin
tener que descargar el archivo.

Como antecedente, descargando el archivo, he utilizado felizmente las
instrucciones:

Sys.setenv(SPARK_HOME="/opt/apache-spark/")

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R",
"lib")))

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory
= "2g"), sparkPackages = c("com.databricks:spark-avro_2.11:4.0.0"

dd <- read.df(path="/home/vate01/Descargas/TR_TRN_1.avro", source =
'com.databricks.spark.avro')

Pero quisiera evitar el paso de la descarga, teniendo las credenciales de
la cuenta de amazon.

ˇGracias!

-- 
«...homines autem hominum causa esse generatos...»

Cicero

	[[alternative HTML version deleted]]



Más información sobre la lista de distribución R-help-es