Crear una biblioteca de Spark about tfm-semisup HOT 14 CLOSED

Gracias !!

Una pregunta en el build.sbt https://github.com/mjuez/sbt_scala_spark_hello_world/blob/main/build.sbt
¿tenria que incluir también el componente ml (sparkComponents += "ml") ?

from tfm-semisup.

Sí, porque es una dependencia que tienes

from tfm-semisup.

Es raro pero estoy intentado entender porque me da este error (Error downloading org.apache.spark:spark-ml_2.12:3.0.1) cuando añado ml (con mllib me genera el .jar)...

from tfm-semisup.

¿Te da el problema con tu repositorio o con el que te ponía de ejemplo?

from tfm-semisup.

Al añadir el paquete --> sparkComponents += "ml” no me genera el .jar me da error dice que no lo encuentra…

Si no le pongo este paquete no me da error y me genera el .jar para la clase SelfTraining.

He estado buscando y no hay mucha información al respecto, pero en todos los casos que he visto solo ponen "mllib" en sparkComponents, no sé si con esta dependencia es suficiente he indirectamente también tiene en cuenta "ml". De todas maneras, cuando cargo la librería .jar que me genera con solo mllib en DataBricks tampoco me deja hacer un import me sale error.
Lo hablamos el lunes y os comento mejor.

from tfm-semisup.

Para hacer la prueba de si te funciona o no, probar con una instalación local de Spark. Ejecutar el script spark-shell con --jars

./spark-shell --jars pathOfjarsWithCommaSeprated

from tfm-semisup.

Tenía un problema con la ruta donde se encontraba la clase (es decir que me compilaba una clase vacía, sin nada...)

Ahora me indica que no conoce el $. En DataBricks hacia un import de sqlContext.implicits._ pero aquí no me funciona.
Por otro lado, en la clase SelfTraining trabajo con otra clase SemiSupervisedDataResults que tendría que estar previamente generada para poder importarla a SelfTraining.

@alvarag, quizá seria mejor y más rápido hablarlo via Teams. ¿Tendrías algún hueco durante la semana ?

PD: Esta subido en Github.

from tfm-semisup.

Si te va bien podríamos quedar mañana por la tarde a las 16:30, por ejemplo.

El import de sqlImplicits debes hacerlo dentro de la clase y no fuera con los otros imports. Es un poco raro el import para que funcione la $-notation, pero deberías ponerlo en el interior de la definición de la clase. En tu caso en la línea 20 por ejemplo.

from tfm-semisup.

En cuanto al error que te da por "SemiSupervisedDataResults" es porque dicha clase no la tienes definida. Supongo que estará en otro fichero que no esta subida o esta en otra ruta

from tfm-semisup.

@alvarag Perfecto mañana a las 16:30.
Por otro lado el error relacionado con "SemiSupervisedDataResults" esta solucionado era porque no estaba subido el archivo, de lo contrario no consigo eliminar el de sqlImplicits, he probado con:

import org.apache.spark.sql.SQLImplicits
import sqlContext.implicits._
import spark.implicits._

y creo que alguno más... todos ellos dentro de la clase pero no consigo que me funcione...

from tfm-semisup.

Para poder importar implicits necesitas tener primero una referencia al objeto SparkSession.

En la funcioón/método que necesites utilizar la $-notation debes poner lo siguiente:

val sql = sparkSession
import sql.implicits._

from tfm-semisup.

Lo tengo @Dguipla , importa arriba como tenías:

import org.apache.spark.sql.{SparkSession, SQLContext}

Luego abajo donde tenías el val sql... pon:

val sql = SparkSession.builder().getOrCreate()

from tfm-semisup.

Lo acabo de probar y perfecto también lo he probado en Spark y funciona :

from tfm-semisup.

@alvarag @jjrodriguez ya he modificado el nombre de la columna label, para el Self-Training y Co-Training ahora por defecto es "label".

Por otro lado también he corregido el error con el plugins.sbt . He generado el .jar y funciona clonando el proyecto de Gihub.

Si lo probais tendria que funcionar, si no me deciis...

from tfm-semisup.