A diferencia de Map, FlatMap nos permitirá generar una lista de elementos de uno solo, en Map teníamos un elemento de entrada y teníamos uno de salida, con FlatMap tendremos un elemento de entrada y a partir de este generaremos un conjunto de elementos de salida. En el […]
Recordemos que las transformaciones son operaciones sobre RDDs que darán como resultado un nuevo RDD, las transformaciones más comunes son las siguientes: Filter: Toma una función que devuelve un nuevo RDD formado por los elementos que pasen una función filtro. Esta función se puede utilizar para limpiar un […]
En el post anterior aprendimos los conceptos básicos de un RDDs, en este post los implementaremos con Java y analizaremos su funcionamiento. En Spark tenemos tres formas de crear RDDs : Paralelizando una colección existente en tu programa Creando un dataset de un almacenamiento externo Creando un RDD […]
Todo Apache Spark fue construido alrededor de RDD(Resilient distributed dataset) y es el objeto principal cuando construimos aplicaciones con Spark. Pueden contener cualquier tipo de objetos incluyendo clases definidas por el desarrollador, en Spark todo el trabajo se expresa en crear, transformar o llamar operaciones que darán como […]
Apache Spark es un cluster dedicado al procesamiento de información de forma muy rápida, provee soporte para el desarrollo de aplicaciones con Java, Scala, Python y R. Su engine cuenta con soporte para SQL, Machine Learning, Streaming, GraphX, etc. Características Cuando se procesan grandes datasets uno de los […]
havelino249
jfconavarrete
ozfranco
raidentrance