Le Web scraping, le processus d'extraction de données de sites Web, est devenu une technique puissante pour collecter des informations sur la vaste étendue d'Internet. Dans ce didacticiel, nous explorerons diverses bibliothèques et modules Python couramment utilisés pour le web scraping et expliquerons pourquoi Python 3 est le choix préféré pour cette tâche.

Packages et outils essentiels pour Python Web Scraping

La dernière version de Python , propose un riche ensemble d'outils et de bibliothèques spécialement conçus pour le web scraping, ce qui facilite plus que jamais la récupération efficace et efficiente des données sur le Web.

Table des matières

• Module de requêtes
• Bibliothèque BeautifulSoup
• Sélénium
• Lxml
• Module Urllib
• PyautoGUI
• Calendrier
• Pourquoi Python Web Scraping ?

Module de requêtes

La bibliothèque de requêtes est utilisée pour effectuer des requêtes HTTP vers une URL spécifique et renvoie la réponse. Les requêtes Python fournissent des fonctionnalités intégrées pour gérer à la fois la requête et la réponse.

pip install requests>

Exemple : Faire une demande

Le module de requêtes Python dispose de plusieurs méthodes intégrées pour effectuer des requêtes HTTP vers l'URI spécifié à l'aide de requêtes GET, POST, PUT, PATCH ou HEAD. Une requête HTTP est destinée soit à récupérer des données à partir d'un URI spécifié, soit à transmettre des données à un serveur. Il fonctionne comme un protocole requête-réponse entre un client et un serveur. Ici, nous utiliserons la requête GET. Le Méthode OBTENIR est utilisé pour récupérer des informations sur le serveur donné en utilisant un URI donné. La méthode GET envoie les informations utilisateur codées ajoutées à la demande de page.

import requests # Making a GET request r = requests.get('https://www.techcodeview.com) # check status code for response received # success code - 200 print(r) # print content of request print(r.content)>

Sortir

Pour plus d'informations, reportez-vous à notre Tutoriel sur les requêtes Python .

Bibliothèque BeautifulSoup

Beautiful Soup fournit quelques méthodes simples et phrases Pythoniques pour guider, rechercher et modifier un arbre d'analyse : une boîte à outils pour étudier un document et supprimer ce dont vous avez besoin. Il ne faut pas beaucoup de code pour documenter une application.

Beautiful Soup convertit automatiquement les enregistrements entrants en Unicode et les formulaires sortants en UTF-8. Vous n’avez pas à penser aux encodages à moins que le document ne définisse pas d’encodage, et Beautiful Soup ne peut pas en attraper un. Il ne vous reste plus qu'à choisir l'encodage d'origine. Beautiful Soup repose sur des analyseurs Python célèbres tels que LXML et HTML, vous permettant d'essayer différentes stratégies d'analyse ou d'échanger la vitesse contre la flexibilité.

pip install beautifulsoup4>

Exemple

1. Importation de bibliothèques : Le code importe la bibliothèque de requêtes pour effectuer des requêtes HTTP et la classe BeautifulSoup de la bibliothèque bs4 pour analyser le HTML.
2. Faire une requête GET : Il envoie une requête GET à 'https://www.techcodeview.com
3. Vérification du code d'état : Il imprime le code d'état de la réponse, généralement 200 en cas de succès.
4. Analyser le HTML : Le contenu HTML de la réponse est analysé à l'aide de BeautifulSoup et stocké dans la variable soup.
5. Impression du HTML embelli : Il imprime la version embellie du contenu HTML analysé pour plus de lisibilité et d'analyse.

import requests from bs4 import BeautifulSoup # Making a GET request r = requests.get('https://www.techcodeview.com) # check status code for response received # success code - 200 print(r) # Parsing the HTML soup = BeautifulSoup(r.content, 'html.parser') print(soup.prettify())>

Sortir

Recherche d'éléments par classe

Maintenant, nous aimerions extraire quelques données utiles du contenu HTML. L'objet soupe contient toutes les données de la structure imbriquée qui pourraient être extraites par programme. Le site Web que nous voulons supprimer contient beaucoup de texte, alors grattons maintenant tout ce contenu. Tout d’abord, inspectons la page Web que nous voulons gratter.

système opérateur

Dans l'image ci-dessus, nous pouvons voir que tout le contenu de la page se trouve sous le div avec le contenu d'entrée de classe. Nous utiliserons la classe find. Cette classe trouvera la balise donnée avec l'attribut donné. Dans notre cas, il trouvera tous les div ayant une classe comme contenu d'entrée.

On voit que le contenu de la page est sous le

étiqueter. Il faut maintenant retrouver toutes les balises p présentes dans cette classe. Nous pouvons utiliser leTrouver tout classe du BeautifulSoup.

import requests from bs4 import BeautifulSoup # Making a GET request r = requests.get('https://www.techcodeview.com) # Parsing the HTML soup = BeautifulSoup(r.content, 'html.parser') s = soup.find('div', class_='entry-content') content = s.find_all('p') print(content)>

Sortir:

Pour plus d'informations, reportez-vous à notre Python BelleSoup .

Sélénium

Selenium est un module Python populaire utilisé pour automatiser les navigateurs Web. Il permet aux développeurs de contrôler les navigateurs Web par programmation, permettant ainsi des tâches telles que le web scraping, les tests automatisés et l'interaction avec les applications Web. Selenium prend en charge divers navigateurs Web, notamment Chrome, Firefox, Safari et Edge, ce qui en fait un outil polyvalent pour l'automatisation du navigateur.

Exemple 1 : Pour Firefox

Dans cet exemple spécifique, nous dirigeons le navigateur vers la page de recherche Google avec le paramètre de requête geeksforgeeks. Le navigateur chargera cette page et nous pourrons ensuite interagir avec elle par programme à l'aide de Selenium. Cette interaction peut impliquer des tâches telles que l'extraction des résultats de recherche, le clic sur des liens ou la suppression de contenu spécifique de la page.

# import webdriver  from selenium import webdriver # create webdriver object  driver = webdriver.Firefox() # get google.co.in  driver.get('https://google.co.in / search?q = geeksforgeeks')>

Sortir

javafx

Exemple 2 : pour Chrome

1. Nous importons le module webdriver depuis la bibliothèque Selenium.
2. Nous spécifions le chemin d'accès à l'exécutable du pilote Web. Vous devez télécharger le pilote approprié pour votre navigateur et indiquer le chemin d'accès. Dans cet exemple, nous utilisons le pilote Chrome.
3. Nous créons une nouvelle instance du navigateur Web à l'aide de webdriver.Chrome() et transmettons le chemin d'accès à l'exécutable du pilote Chrome comme argument.
4. Nous accédons à une page Web en appelant la méthode get() sur l'objet navigateur et en transmettant l'URL de la page Web.
5. Nous extrayons les informations de la page Web en utilisant diverses méthodes fournies par Selenium. Dans cet exemple, nous récupérons le titre de la page en utilisant l'attribut title de l'objet navigateur.
6. Enfin, nous fermons le navigateur en utilisant la méthode quit().

# importing necessary packages from selenium import webdriver from selenium.webdriver.common.by import By from webdriver_manager.chrome import ChromeDriverManager # for holding the resultant list element_list = [] for page in range(1, 3, 1): page_url = 'https://webscraper.io/test-sites/e-commerce/static/computers/laptops?page=' + str(page) driver = webdriver.Chrome(ChromeDriverManager().install()) driver.get(page_url) title = driver.find_elements(By.CLASS_NAME, 'title') price = driver.find_elements(By.CLASS_NAME, 'price') description = driver.find_elements(By.CLASS_NAME, 'description') rating = driver.find_elements(By.CLASS_NAME, 'ratings') for i in range(len(title)): element_list.append([title[i].text, price[i].text, description[i].text, rating[i].text]) print(element_list) #closing the driver driver.close()>

Sortir

Pour plus d'informations, reportez-vous à notre Python Sélénium .

Lxml

Le module lxml en Python est une bibliothèque puissante pour traiter les documents XML et HTML. Il fournit des capacités d'analyse XML et HTML hautes performances ainsi qu'une API simple et Pythonique. lxml est largement utilisé dans le web scraping Python en raison de sa vitesse, de sa flexibilité et de sa facilité d'utilisation.

pip install lxml>

Exemple

Voici un exemple simple montrant comment utiliser le module lxml pour le web scraping Python :

1. Nous importons le module html de lxml avec le module de requêtes pour l'envoi de requêtes HTTP.
2. Nous définissons l'URL du site Web que nous souhaitons gratter.
3. Nous envoyons une requête HTTP GET au site Web à l'aide de la fonction request.get() et récupérons le contenu HTML de la page.
4. Nous analysons le contenu HTML à l'aide de la fonction html.fromstring() de lxml, qui renvoie une arborescence d'éléments HTML.
5. Nous utilisons des expressions XPath pour extraire des éléments spécifiques de l'arborescence HTML. Dans ce cas, nous extrayons le contenu textuel de tous les (ancrer) des éléments sur la page.
6. Nous parcourons les titres des liens extraits et les imprimons.

from lxml import html import requests # Define the URL of the website to scrape url = 'https://example.com' # Send an HTTP request to the website and retrieve the HTML content response = requests.get(url) # Parse the HTML content using lxml tree = html.fromstring(response.content) # Extract specific elements from the HTML tree using XPath # For example, let's extract the titles of all the links on the page link_titles = tree.xpath('//a/text()') # Print the extracted link titles for title in link_titles: print(title)>

More information...>

pip install urllib3>

import urllib.request # URL of the web page to fetch url = 'https://www.example.com' try: # Open the URL and read its content response = urllib.request.urlopen(url) # Read the content of the response data = response.read() # Decode the data (if it's in bytes) to a string html_content = data.decode('utf-8') # Print the HTML content of the web page print(html_content) except Exception as e: print('Error fetching URL:', e)>

pip3 install pyautogui>

import pyautogui # moves to (519,1060) in 1 sec pyautogui.moveTo(519, 1060, duration = 1) # simulates a click at the present  # mouse position  pyautogui.click() # moves to (1717,352) in 1 sec pyautogui.moveTo(1717, 352, duration = 1) # simulates a click at the present  # mouse position pyautogui.click()>

import schedule import time def func(): print('Geeksforgeeks') schedule.every(1).minutes.do(func) while True: schedule.run_pending() time.sleep(1)>