Scraping siti Web con Python e BeautifulSoup - Consigli Semalt

Ci sono più che sufficienti informazioni su Internet su come raschiare correttamente siti Web e blog. Ciò di cui abbiamo bisogno non è solo l'accesso a tali dati, ma i modi scalabili per raccoglierli, analizzarli e organizzarli. Python e BeautifulSoup sono due meravigliosi strumenti per raschiare siti Web ed estrarre dati. Nel web scraping, i dati possono essere facilmente estratti e presentati nel formato desiderato. Se sei un avido investitore che valorizza il suo tempo e denaro, devi sicuramente accelerare il processo di web scraping e renderlo il più ottimizzato possibile.

Iniziare

Utilizzeremo sia Python che BeautifulSoup come principale linguaggio di scraping.

  • 1. Per gli utenti Mac, Python è preinstallato in OS X. Devono solo aprire Terminal e digitare python –version . In questo modo, saranno in grado di vedere la versione Python 2.7.
  • 2. Per gli utenti Windows, si consiglia di installare Python tramite il suo sito ufficiale.
  • 3. Successivamente, devi accedere alla libreria BeautifulSoup con l'aiuto di pip. Questo strumento di gestione dei pacchetti è stato creato appositamente per Python.

Nel terminale, è necessario inserire il seguente codice:

easy_install pip

pip installa BeautifulSoup4

Regole di raschiatura:

Le principali regole di raschiatura di cui dovresti occuparti sono:

  • 1. Devi controllare le norme e i regolamenti del sito prima di iniziare a utilizzare il suo scraping. Quindi stai molto attento!
  • 2. Non è necessario richiedere i dati dai siti in modo troppo aggressivo. Assicurarsi che lo strumento utilizzato si comporti in modo ragionevole. Altrimenti, puoi interrompere il sito.
  • 3. Una richiesta al secondo è la pratica giusta.
  • 4. Il layout del blog o del sito può essere modificato in qualsiasi momento e potrebbe essere necessario rivisitare quel sito e riscrivere il proprio codice ogni volta che è necessario.

Ispeziona la pagina

Passa il cursore sulla pagina dei prezzi per capire cosa fare. Leggi il testo relativo sia a HTML che a Python e dai risultati vedrai i prezzi all'interno dei tag HTML.

Esporta in Excel CSV

Dopo aver estratto i dati, il passaggio successivo è salvarli offline. Excel Comma Separated Format è la scelta migliore in questo senso e puoi facilmente aprirlo nel tuo foglio Excel. Ma prima, dovresti importare i moduli Python CSV e i moduli data-ora per registrare correttamente i tuoi dati. Il seguente codice può essere inserito nella sezione di importazione:

import csv

dall'importazione del datetime al datetime

Tecniche avanzate di raschiatura

BeautifulSoup è uno degli strumenti più semplici e completi per il web scraping. Tuttavia, se è necessario raccogliere grandi volumi di dati, considerare alcune altre alternative:

  • 1. Scrapy è un potente e sorprendente framework di raschiatura in pitone.
  • 2. È inoltre possibile integrare il codice con un'API pubblica. L'efficienza dei tuoi dati sarà importante. Ad esempio, puoi provare l'API Graph di Facebook, che aiuta a nascondere i dati e non li mostra nelle pagine di Facebook.
  • 3. Inoltre, è possibile utilizzare i programmi di back-end come MySQL e archiviare i dati in grande quantità con grande precisione.
  • 4. DRY significa "Non ripetere te stesso" e puoi provare ad automatizzare le normali attività usando questa tecnica.

send email