web scraping : Différence entre versions
De Vulgum Techus
| Ligne 2 : | Ligne 2 : | ||
[[Catégorie:Sécurité]] | [[Catégorie:Sécurité]] | ||
[[Catégorie:Sites Internet]] | [[Catégorie:Sites Internet]] | ||
| + | |||
| + | = [[Vidéos]] = | ||
| + | {| class="wikitable" | ||
| + | |- | ||
| + | ! Texte !! Extract Facebook Data and save as CSV | ||
| + | |- | ||
| + | | {{#Widget:YouTube|id=}} || {{#Widget:YouTube|id=S9kYApoR8U4}} | ||
| + | |} | ||
= [[Sites]] utiles = | = [[Sites]] utiles = | ||
* [https://www.import.io import.io] '''Import.io''' : en '''[[version]] [[gratuite]]''' limitée à '''10.000''' requêtes par mois | * [https://www.import.io import.io] '''Import.io''' : en '''[[version]] [[gratuite]]''' limitée à '''10.000''' requêtes par mois | ||
* [http://scraping.pro/xpath-review/ scraping.pro] '''Xpath''' expliqué | * [http://scraping.pro/xpath-review/ scraping.pro] '''Xpath''' expliqué | ||
| + | * [http://www.iwebscraping.com iwebscraping.com] '''iWeb Scraping Services : web scraping''' à façon (payant) | ||
= [[Programmes]] utiles = | = [[Programmes]] utiles = | ||
| + | == Généralistes == | ||
* [http://scraping.pro/handy-web-extractor/ scraping.pro] '''Handy Web Extractor''' : un freeware utilisant les expressions '''Xpath''' ou les '''[[regex]]''' pour extraire les données ([[Windows]]) | * [http://scraping.pro/handy-web-extractor/ scraping.pro] '''Handy Web Extractor''' : un freeware utilisant les expressions '''Xpath''' ou les '''[[regex]]''' pour extraire les données ([[Windows]]) | ||
* [https://www.outwit.com/products/hub/ outwit.com] '''OutWit Hub''' : moissonne les '''[[sites]]''' et en récupère '''données, images, [[audio]], [[vidéos]]''' sans programmation ([[Windows]]) | * [https://www.outwit.com/products/hub/ outwit.com] '''OutWit Hub''' : moissonne les '''[[sites]]''' et en récupère '''données, images, [[audio]], [[vidéos]]''' sans programmation ([[Windows]]) | ||
* [http://www.octoparse.com octoparse.com] '''Octoparse''' : en '''[[version]] [[gratuite]]''' limitée à '''10''' tâches et nombre de pages '''[[web]]''' illimité ([[Windows]]) | * [http://www.octoparse.com octoparse.com] '''Octoparse''' : en '''[[version]] [[gratuite]]''' limitée à '''10''' tâches et nombre de pages '''[[web]]''' illimité ([[Windows]]) | ||
| + | |||
| + | == [[Facebook]] == | ||
| + | * [https://github.com/strohne/Facepager github.com] '''Facepager''' ([[Windows]])([[OS X]]) | ||
| + | * [https://github.com/minimaxir/facebook-page-post-scraper github.com] '''[[Facebook]] Data Scraper''' ([[Python]]) | ||
= Articles externes = | = Articles externes = | ||
* [https://techcrunch.com/2016/08/15/linkedin-sues-scrapers/ TechCrunch - 15/08/16] '''LinkedIn''' sues anonymous '''data scrapers''' | * [https://techcrunch.com/2016/08/15/linkedin-sues-scrapers/ TechCrunch - 15/08/16] '''LinkedIn''' sues anonymous '''data scrapers''' | ||
Version du 17 août 2016 à 23:37
Sommaire
Vidéos
| Texte | Extract Facebook Data and save as CSV |
|---|---|
Sites utiles
- import.io Import.io : en version gratuite limitée à 10.000 requêtes par mois
- scraping.pro Xpath expliqué
- iwebscraping.com iWeb Scraping Services : web scraping à façon (payant)
Programmes utiles
Généralistes
- scraping.pro Handy Web Extractor : un freeware utilisant les expressions Xpath ou les regex pour extraire les données (Windows)
- outwit.com OutWit Hub : moissonne les sites et en récupère données, images, audio, vidéos sans programmation (Windows)
- octoparse.com Octoparse : en version gratuite limitée à 10 tâches et nombre de pages web illimité (Windows)
- github.com Facepager (Windows)(OS X)
- github.com Facebook Data Scraper (Python)
Articles externes
- TechCrunch - 15/08/16 LinkedIn sues anonymous data scrapers
