[R-es] Avro.-
Freddy Omar López Quintero
freddy.lopez.quintero en gmail.com
Vie Feb 2 16:57:05 CET 2018
Hola.
Espero que estén bien.
Les cuento. Tengo acceso a unos datos .avro en un s3 de amazon pero estoy
desconcertado con la forma de leerlos desde sparkR (*no sparklyr*) sin
tener que descargar el archivo.
Como antecedente, descargando el archivo, he utilizado felizmente las
instrucciones:
Sys.setenv(SPARK_HOME="/opt/apache-spark/")
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R",
"lib")))
sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory
= "2g"), sparkPackages = c("com.databricks:spark-avro_2.11:4.0.0"
dd <- read.df(path="/home/vate01/Descargas/TR_TRN_1.avro", source =
'com.databricks.spark.avro')
Pero quisiera evitar el paso de la descarga, teniendo las credenciales de
la cuenta de amazon.
ˇGracias!
--
«...homines autem hominum causa esse generatos...»
Cicero
[[alternative HTML version deleted]]
Más información sobre la lista de distribución R-help-es