Cómo analizar response.text de Scrapy, (o requests, o Beautiful Soup).
(No se necesitan expresiones regulares, solo dividir, limpiar, reemplazar).
Si descubres que estás intentando raspar comentarios de una página, y están dentro de javascript, necesitarás una forma de obtener los valores/texto de otra manera. CSS o XPATH no te ayudarán.
Aquí muestro cómo analizar el javascript para extraer el JSON, y luego cargar el JSON en un diccionario. Una vez que las claves:valores están ahí, puedes trabajar con ellos muy fácilmente.
◉ 1:26 buscando JSON
◉ 2:19 ver fuente
◉ 2:55 encontrado JSON.parse
◉ 4:45 encontrados comentarios dentro de JSON
◉ 5:29 imprimir(response.text)
◉ 6:09 x = response.text.split('JSON.parse')[2].replace("\\u0022","\"").lstrip("\(").split(" ")[0].replace("}\");","\"").replace("\"{","\""})
◉ 8:43 json.loads
◉ 12:27 salida final
RTFM 📙 :
Gracias por ver.
¿Nos vemos por ahí, sí?
Dr P.