Como analisar response.text do Scrapy, (ou requests, ou Beautiful Soup).
(Nenhuma expressão regular necessária, apenas dividir, remover espaços, substituir).
Se você descobrir que está tentando extrair comentários de uma página, e eles estão dentro do javascript, então você precisará de uma maneira de obter os valores/texto de outra forma. CSS ou XPATH não vão te ajudar.
Aqui eu mostro como analisar o javascript para extrair o JSON e, em seguida, carregar o JSON em um dicionário. Uma vez que as chaves:valores estão lá, você pode trabalhar com eles muito facilmente.
◉ 1:26 procurando JSON
◉ 2:19 ver fonte
◉ 2:55 encontrado JSON.parse
◉ 4:45 encontrados comentários dentro do JSON
◉ 5:29 imprimir(response.text)
◉ 6:09 x = response.text.split('JSON.parse')[2].replace("\\u0022","\"").lstrip("\(").split(" ")[0].replace("}\");","\"").replace("\"{","\""})
◉ 8:43 json.loads
◉ 12:27 saída final
RTFM 📙 :
Obrigado por assistir.
Até mais, certo?
Dr P.