A diferencia de Map, FlatMap nos permitirá generar una lista de elementos de uno solo, en Map teníamos un elemento de entrada y teníamos uno de salida, con FlatMap tendremos un elemento de entrada y a partir de este generaremos un conjunto de elementos de salida. En el […]
Recordemos que las transformaciones son operaciones sobre RDDs que darán como resultado un nuevo RDD, las transformaciones más comunes son las siguientes: Filter: Toma una función que devuelve un nuevo RDD formado por los elementos que pasen una función filtro. Esta función se puede utilizar para limpiar un […]
En el post anterior aprendimos los conceptos básicos de un RDDs, en este post los implementaremos con Java y analizaremos su funcionamiento. En Spark tenemos tres formas de crear RDDs : Paralelizando una colección existente en tu programa Creando un dataset de un almacenamiento externo Creando un RDD […]
Todo Apache Spark fue construido alrededor de RDD(Resilient distributed dataset) y es el objeto principal cuando construimos aplicaciones con Spark. Pueden contener cualquier tipo de objetos incluyendo clases definidas por el desarrollador, en Spark todo el trabajo se expresa en crear, transformar o llamar operaciones que darán como […]
Apache Spark es un cluster dedicado al procesamiento de información de forma muy rápida, provee soporte para el desarrollo de aplicaciones con Java, Scala, Python y R. Su engine cuenta con soporte para SQL, Machine Learning, Streaming, GraphX, etc. Características Cuando se procesan grandes datasets uno de los […]
Walmart recibe cada semana cerca de 270 millones de clientes y miembros que visitan más de 11,700 tiendas dentro de 65 marcas en 28 países y sitios de eCommerce. Esto la hace la empresa más importante en ingresos a nivel mundial, si estas buscando un lugar nuevo donde […]
En el post anterior Kafka streams: Primera aplicación con Kafka streams aprendimos a programar nuestra primer aplicación Kafka streams y ejecutarla desde nuestra computadora, pero cuando creemos una aplicación que funcionará en producción buscamos que se ejecute en un servidor, así que en este post veremos como empaquetarla para que […]
havelino249
jfconavarrete
ozfranco
raidentrance