Web Scrapping com Python

Esse projeto consiste em um código para o usuário buscar as últimas nóticias sobre um termo qualquer, no site G1. Para esse projeto foi escolhida a linguagem de programação Python. Para que fosse possível realizar essa busca, foram utilizadas três bibiliotecas, que foram:

  • selenium – Utilizada para automatizar o processo e obter o conteúdo da página Web.
  • bs4 – BeautifoulSoup – Utilizada para manipular o conteúdo HTML.
  • Pandas – Utilizada para criar e exportar um dataframe com as informações obtidas.

? Pré-Requisitos

Antes de comerçar, verifique se você atende os seguintes requisitos:

  • Possuir Windows, Linux or Mac.
  • Possuir o Python instalado em sua máquina.
  • Possuir o navegador Google Chrome instalado em sua máquina na versão 97.0.4692.71.
  • Possuir conexão à Internet

? Running

Instale os pacotes necessários:

$ pip install -r requirements.txt

Execute o arquivo main.py, aguarde alguns segundos e será gerada uma planilha XLSX e um arquivo CSV com as informações.

License

MIT

Free Software, Hell Yeah!

GitHub

View Github