Ir para conteúdo

[Python] crawly - web crawler simples


Guest ichy-wayland

Posts Recomendados

Guest ichy-wayland

<p>crawly é um web crawler simples, que segue todos os elementos &lt;a&gt; e &lt;form&gt; de um site para as urls que eles tem, fazendo basicamente uma lista de todas urls partindo de algum site, depois analisando essas urls para ver se tem mais alguma url e assim em diante.<br />

<br />

instalação:(antes de instalar, certifique-se de ter o python 3 instalado):<br />

1- baixe esse zip: https://github.com/IchyTheDev/crawly/archive/1.0.zip<br />

2- extraia</p><br />

3- execute o arquivo setup.py&nbsp; com o argumento &quot;install&quot; usando o python (cmd: python setup.py install)</p><br />

4 - para executar o programa, digite num terminal "crawly" e pronto c:</p><br />

exemplo de como fica um arquivo:<br />

http://www.mediafire.com/view/8vc1ovwdp4x9rt2/craw_example.txt" (arquivo tem umas 12 mil linhas de links e foi a partir do link python.org.)<br />

Source code: https://github.com/IchyTheDev/crawly"</p>

Editado por ichy-wayland
Link para o comentário
Compartilhar em outros sites

Visitante
Este tópico está impedido de receber novos posts.
×
×
  • Criar Novo...