Scrapping de productos y categorías de Walmart about preciosa HOT 2 CLOSED

Quizas sea más fácil intentar obtener la marca a partir del codigo upc (las primeras cifras corresponden a la marca)

from preciosa.

El commit d02979c agrega el scrapping de categorias de walmart.

El sitio de walmart utiliza el framework spry que compone las paginas mediante llamadas ajax

por ejemplo, una pagina para una categoria de nivel 3 es por ejemplo Bebidas sin alcohol > Gaseosas > Tónica

https://www.walmartonline.com.ar/Busqueda.aspx?Departamento=D_bebidas%20sin%20alcohol&Familia=&Linea=l_TONICA&Text=

En la carga de la página hace una llamada via ajax (via el framework spry) a
"https://www.walmartonline.com.ar/WebControls/hlSearchResults.ashx?busqueda=&departamento=D_bebidas%20sin%20alcohol&familia=&linea=l_TONICA&orderby=undefined&orderbyid=undefined&range=undefined&sid=0.2594193538885615"

que a su vez, invoca a otras sendas url que devuelven Productos, subcategorias, etc. Por ejemplo
https://www.walmartonline.com.ar/WebControls/hlSearchProducts.ashx

el parametro sid es aleatorio.

Los problema que tengo son

1. del árbol de categorias sólo guardé los nombres y no los parámetros asociados que conforma la url (departamento, familia, linea respectivamente para cada nivel de categoria). Por lo tanto no hay una forma unívoca de construir la url

2. No logro hacer el request GET a la direccion que devuelve el listado de items

In [15]: requests.get('https://www.walmartonline.com.ar/WebControls/hlSearchProducts.ashx?busqueda=undefined&departamento=D_almacen&familia=undefined&linea=undefined&orderby=undefined&orderbyid=undefined&range=undefined&sid=0.90923454555', headers={'HTTP_X_REQUESTED_WITH': 'XMLHttpRequest'}).content
Out[15]: ''

from preciosa.