Blog
Ein tiefer Einblick in die Infrastruktur von Webdaten, Extraktionstechniken und die Zukunft strukturierter Daten in großem Maßstab.
181 Artikel
In diesem Tutorial wird gezeigt, wie man mit Python das Web crawlt. Web-Crawling ist eine leistungsstarke Methode, um Daten aus dem Web zu sammeln, indem alle URLs einer oder mehrerer Domains ermittelt werden.
TL;DR: Die meisten HTML-Tabellen können mit einer einzigen Zeile von pandas.read_html ausgelesen werden. Wenn die Tabelle paginiert ist, mit JavaScript gerendert wurde oder zusammengefasste Kopfzeilen hat, wechseln Sie zu Requests + BeautifulSoup oder einem Headless-Browser wie Playwright. In diesem Leitfaden finden Sie eine Entscheidungsmatrix, Arbeitscode für alle drei Ansätze und die Bereinigungsschritte, die aus den gescrapten Zeilen pipelinefähige Daten machen.
TL;DR: Cheerio ist ein leichtgewichtiger HTML-Parser; Puppeteer steuert einen echten Chromium-Browser. Verwenden Sie Cheerio, wenn die Daten bereits im rohen HTML sind, Puppeteer, wenn JavaScript sie rendert, und kombinieren Sie sie, wenn eine JS-lastige Seite viele Felder pro Besuch zu extrahieren hat.
TL;DR: Browser-Automatisierung ist die Praxis der Steuerung eines echten oder Headless-Webbrowsers aus dem Code, so dass er in Ihrem Namen klickt, tippt, navigiert und Seiten liest. Dieser Leitfaden erklärt, was Browser-Automatisierung unter der Haube ist, vergleicht Selenium, Playwright, Puppeteer und Cypress und zeigt, wann man nicht nach einem vollständigen Browser greifen sollte.
TL;DR: Web Scraping sammelt Rohdaten von öffentlichen Webseiten. Beim Data Mining werden strukturierte Daten analysiert, um Muster, Vorhersagen und Segmente zu ermitteln. Es handelt sich um verschiedene Phasen desselben Lebenszyklus, und die meisten Produktionssysteme kombinieren sie in einer Pipeline aus Scrapen, Normalisieren und Mining.
TL;DR: Die besten Web-Scraping-Kurse hängen von Ihrer Sprache, Ihrem Niveau und dem angestrebten Anwendungsfall ab. Dieser Leitfaden vergleicht fünf kostenpflichtige Kurse von Udemy, Coursera, DataCamp und Packt, verweist auf kostenlose Ergänzungen wie offizielle Dokumente und zeigt, wie man vom Abschluss eines Kurses zum Betrieb von Produktions-Scrapern übergeht.
Los geht’s
Schließen Sie sich den über 2.000 Unternehmen an, die WebScrapingAPI nutzen, um Webdaten im Unternehmensmaßstab ohne zusätzlichen Infrastrukturaufwand zu extrahieren.
