Formato del JSON entregado por los scrapers & código de ciudad. about preciosa HOT 6 CLOSED

el formato está perfecto. una lista de diccionarios.
si encontrás el ID de la ciudad, serás aun más capo.

abrazo

2014-02-09 12:26 GMT-03:00 Carlos [email protected]:

@mgaitan https://github.com/mgaitan Tengo un par de dudas.
Formato JSON

Ya tengo listo los dumps en json. La primer duda es sobre el formato.
¿Está bien si el scraper entrega una lista? Del estilo que tenés dentro de
"fields" en los fixtures. Por ejemplo para Mariano Max, los dumps que
genero son:

[{"nombre": "Cruz del Eje (Suc. 6)", "ciudad": "Cruz del eje", "horarios": "Lunes a S\u00e1bados: de 8 hs. a 13 hs. y de 17 hs. a 22 hs.Domingos y Feriados: de 9 hs. a 13 hs.", "direccion": "Jos\u00e9 Hern\u00e1ndez esq. Mitre, Cruz del Eje \u2013 Provincia de C\u00f3rdoba."}, {"nombre": "Jes\u00fas Mar\u00eda (Suc. 4)", "ciudad": "Jesus Maria", "horarios": "Lunes a S\u00e1bados: de 8 hs. a 13 hs. y de 17 hs. a 21.30 hs.Domingos y Feriados: de 9 hs. a 13.30 hs.", "direccion": "Italia 363, Jes\u00fas Mar\u00eda."}, {"nombre": "Jos\u00e9 Ignacio D\u00edaz (Suc. 1)", "ciudad": "Cordoba", "horarios": "Lunes a S\u00e1bado: de 8 hs. a 13 hs. y de 17 hs. a 21 hs.Domingos y Feriados: de 9 hs. a 13 hs.", "direccion": "Av. 11 de Setiembre 2765 - B\u00b0 Jos\u00e9 Ignacio Diaz 2da Secci\u00f3n."}, {"nombre": "Villa Corina (Suc. 2)", "ciudad": "Cordoba", "horarios": "Lunes a S\u00e1bados: de 8 hs. a 22 hs.Domingos y Feriados: de 9 hs. a 22 hs.", "direccion": "Av. A. Capdevila 1831 esq. Rancagua - B\u00b0 Villa Corina."}, {"nombre": "Amp. Centro Am\u00e9rica (Suc. 3)", "ciudad": "Cordoba", "horarios": "Lunes a S\u00e1bados: de 8 hs. a 13 hs. y de 17 hs. a 21 hs.Domingos y Feriados: de 9 hs. a 13 hs.", "direccion": "Av. Saavedra Lamas 900 esq. L. Membrives - B\u00b0 A. C. Am\u00e9rica."}, {"nombre": "Los Pl\u00e1tanos (Suc. 5)", "ciudad": "Cordoba", "horarios": "Lunes a S\u00e1bados: de 8 hs. a 22 hs.Domingos y Feriados: de 9 hs. a 22 hs.", "direccion": "Santa Ana 3551 esq. F\u00e9lix Paz - B\u00ba Los Pl\u00e1tanos."}, {"nombre": "Las Flores (Suc. 7)", "ciudad": "Cordoba", "horarios": "Lunes a S\u00e1bados: de 8 hs. a 22 hs.Domingos y Feriados: de 9 hs. a 22 hs.", "direccion": "Av. Velez Sarsfield 4051 \u2013 Provincia de C\u00f3rdoba."}]

¿O necesitás que te pase también los parámetros "pk" y "model"?
Segunda duda

Como verás, las ciudades aún están referenciadas por nombre, lo cual es
ambiguo, tenés razón. ¿Te parece bien si directamente te paso el código de
la ciudad, de acuerdo a los códigos que usas en tus fixtures?

Resolviendo estas dudas, hoy mismo te entrego los scrapers de Hiper
Libertad, Mariano Max y Yaguar. Aún pueden quedar errores, va quedando cada
vez más completo.

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/40
.

mgaitan.github.io
textosyprextextos.com.ar

from preciosa.

Listo @mgaitan . Ya lo tengo. Mejoré la precisión. Ahora todos los campos aparecen correctamente.

Sólo me falta una cosa: No encontré el ID de Rosario ni el de José C Paz (en el fixture). ¿Faltan los datos o soy yo que no los puedo ubicar?

Edit: Estaba indexando las ciudades con el campo "pk" de fixture/ciudades.json, porque según entiendo así lo estabas haciendo. Pero encontré duplicados. Por ejemplo, da la casualidad que tanto "Mendoza, Mendoza, Argentina" como "Sinnar, Sudan", ambas tienen el mismo código pk: 2896.

Cómo hacemos con eso?

from preciosa.

Puede ser, no es raro el dump de Geoname: figuran hay caserios rurales y no
Rosario. Yo lo agregué: quedó con ID 5676

In [11]: City.objects.get(name='Rosario', region__name='Santa Fe').id
Out[11]: 5676

José C paz habrá que agregarlo igual.

Me mandás entonces los json que obtuviste?

muchas gracias!

2014-02-09 19:41 GMT-03:00 Carlos [email protected]:

Listo. Ya lo tengo. Mejoré la precisión. Ahora todos los campos aparecen
correctamente.
Sólo me falta una cosa: No encontré el ID de Rosario ni el de José C Paz
(en el fixture). ¿Faltan los datos o soy yo que no los puedo ubicar?

—
Reply to this email directly or view it on GitHubhttps://github.com//issues/40#issuecomment-34589832
.

mgaitan.github.io
textosyprextextos.com.ar

from preciosa.

Listo, a josé C paz le puse 1111111, luego lo cambiás por el que corresponda. Ahora te hago pull request así te queda la última versión del scraper. Te lo envío los dumps de json tal como lo deja el scraper:

• Hiper Libertad: https://mega.co.nz/#!dBpC3CwB!eyH8kQEWG4uN439nGBm9Q2OeO5sOC-Bq7btFHn71_No
• Mariano Max: https://mega.co.nz/#!0F43xRRS!Hb7UuGVl9pUF6Ank4r6dBVrbUEg_8bCeCZHmO-hue28
• Yaguar: https://mega.co.nz/#!wEozCR5C!OxiLdkj_kkHKgbMyP61zwA1zyboWf4wjik23OXpvMTs

from preciosa.

Hice pull, para que te quede la ultima versión del scraper. Si encontrás error en los json, avisame. Yo no encontré nada mal, por el momento.

Abrazo,
Carlos

from preciosa.

para referencia: los datos de las sucursales ya fueron integrados al fixture general valido para cargar en la bbdd de django python manage.py loaddata fixtures/sucursale.json

from preciosa.