GitHub - lucinante/GSERP-Scraping: Highschool internship project: a SERP script that retrieves information using Google WebDriver and Threading technique in python.

lucinante / GSERP-Scraping Public

Notifications You must be signed in to change notification settings
Fork 0
Star 0

Highschool internship project: a SERP script that retrieves information using Google WebDriver and Threading technique in python.

0 stars 0 forks Branches Tags Activity

Star

Notifications

Branches Tags

Name		Name	Last commit message	Last commit date
Latest commit History 1 Commit
__pycache__		__pycache__
database		database
database_src		database_src
prova		prova
README.txt		README.txt
det_charset.py		det_charset.py
googlesearch.py		googlesearch.py
linkcollector.py		linkcollector.py
test.py		test.py
urlpage_has_tokens.py		urlpage_has_tokens.py

Repository files navigation

>autore: zhao luca
>data: 18 Giugno 2021
>oggetto: 
	una semplice introduzione al progetto

==========================================================================
>progetto:
	creazione di una classe che è in grado di "raschiare", ordinare e salvare i link relativi alle aziende,
	le quali informazioni sono salvati in una tabular database.

>packages to import:
		-threading
		-os
		-pandas
		-bs4
		-selenium
		-cloudscraper
		-requests

>tabular database format:
		(città)	(azienda)
		citta_1 ,	azienda_1
		citta_1 ,	azienda_2
		citta_2 ,	azienda_3
		   ...
		citta_n ,	azienda_k

>output file format:
		output.txt:
			link1\n
			link2\n
			   ...
			linkn\n

>output directories' structure:
		OUTPUTDIR
			|__news ...
			|
			|__socials ...
			|
			|__others ...
==========================================================================