web scraping : Différence entre versions
De Vulgum Techus
(Page créée avec « Catégorie:Sécurité Catégorie:Sites Internet = Articles externes = * [https://techcrunch.com/2016/08/15/linkedin-sues-scrapers/ TechCrunch - 15/08/16] '''Linke... ») |
(→Articles externes) |
||
| (5 révisions intermédiaires par un utilisateur sont masquées) | |||
| Ligne 1 : | Ligne 1 : | ||
| + | [[Catégorie:Logiciels]] | ||
[[Catégorie:Sécurité]] | [[Catégorie:Sécurité]] | ||
[[Catégorie:Sites Internet]] | [[Catégorie:Sites Internet]] | ||
| + | '''[[Lien court]]''' vers cette page : http://vt.cx/wscrap | ||
| + | '''[[QR code]]''' vers cette page : http://vt.cx/wscrap.qr | ||
| + | <html> | ||
| + | <script type="text/javascript"><!-- | ||
| + | google_ad_client = "ca-pub-3341840374417340"; | ||
| + | /* VT2 */ | ||
| + | google_ad_slot = "6349432125"; | ||
| + | google_ad_width = 468; | ||
| + | google_ad_height = 60; | ||
| + | //--> | ||
| + | </script> | ||
| + | <script type="text/javascript" | ||
| + | src="//pagead2.googlesyndication.com/pagead/show_ads.js"> | ||
| + | </script> | ||
| + | </html> | ||
| + | |||
| + | = [[Vidéos]] = | ||
| + | {| class="wikitable" | ||
| + | |- | ||
| + | ! Python Web Scraping Tutorial 1 !! Extract Facebook Data and save as CSV | ||
| + | |- | ||
| + | | {{#Widget:YouTube|id=E7wB__M9fdw}} || {{#Widget:YouTube|id=S9kYApoR8U4}} | ||
| + | |} | ||
| + | |||
| + | = [[Sites]] utiles = | ||
| + | * [https://www.import.io import.io] '''Import.io''' : en '''[[version]] [[gratuite]]''' limitée à '''10.000''' requêtes par mois | ||
| + | * [http://scraping.pro/xpath-review/ scraping.pro] '''Xpath''' expliqué | ||
| + | * [http://www.iwebscraping.com iwebscraping.com] '''iWeb Scraping Services : web scraping''' à façon (payant) | ||
| + | |||
| + | = [[Programmes]] utiles = | ||
| + | == Généralistes == | ||
| + | * [http://scraping.pro/handy-web-extractor/ scraping.pro] '''Handy Web Extractor''' : un freeware utilisant les expressions '''Xpath''' ou les '''[[regex]]''' pour extraire les données ([[Windows]]) | ||
| + | * [https://www.outwit.com/products/hub/ outwit.com] '''OutWit Hub''' : moissonne les '''[[sites]]''' et en récupère '''données, images, [[audio]], [[vidéos]]''' sans programmation ([[Windows]]) | ||
| + | * [http://www.octoparse.com octoparse.com] '''Octoparse''' : en '''[[version]] [[gratuite]]''' limitée à '''10''' tâches et nombre de pages '''[[web]]''' illimité ([[Windows]]) | ||
| + | |||
| + | == [[Facebook]] == | ||
| + | * [https://github.com/strohne/Facepager github.com] '''Facepager''' ([[Windows]])([[OS X]]) | ||
| + | * [https://github.com/minimaxir/facebook-page-post-scraper github.com] '''[[Facebook]] Data Scraper''' ([[Python]]) | ||
= Articles externes = | = Articles externes = | ||
| + | * [http://www.legalis.net/spip.php?article5073 Legalis - 18/07/16] '''Aspiration''' de '''données personnelles''' sur un '''[[site]]''' public : relaxe | ||
* [https://techcrunch.com/2016/08/15/linkedin-sues-scrapers/ TechCrunch - 15/08/16] '''LinkedIn''' sues anonymous '''data scrapers''' | * [https://techcrunch.com/2016/08/15/linkedin-sues-scrapers/ TechCrunch - 15/08/16] '''LinkedIn''' sues anonymous '''data scrapers''' | ||
| + | |||
| + | = Commentaires = | ||
| + | {{#widget:DISQUS | ||
| + | |id=vulgumtechus | ||
| + | }} | ||
Version actuelle en date du 5 septembre 2016 à 16:34
Lien court vers cette page : http://vt.cx/wscrap QR code vers cette page : http://vt.cx/wscrap.qr
Sommaire
Vidéos
| Python Web Scraping Tutorial 1 | Extract Facebook Data and save as CSV |
|---|---|
Sites utiles
- import.io Import.io : en version gratuite limitée à 10.000 requêtes par mois
- scraping.pro Xpath expliqué
- iwebscraping.com iWeb Scraping Services : web scraping à façon (payant)
Programmes utiles
Généralistes
- scraping.pro Handy Web Extractor : un freeware utilisant les expressions Xpath ou les regex pour extraire les données (Windows)
- outwit.com OutWit Hub : moissonne les sites et en récupère données, images, audio, vidéos sans programmation (Windows)
- octoparse.com Octoparse : en version gratuite limitée à 10 tâches et nombre de pages web illimité (Windows)
- github.com Facepager (Windows)(OS X)
- github.com Facebook Data Scraper (Python)
Articles externes
- Legalis - 18/07/16 Aspiration de données personnelles sur un site public : relaxe
- TechCrunch - 15/08/16 LinkedIn sues anonymous data scrapers
