Buenas a todos, hoy os presento un pequeño bot que he hecho para poder scrapear los resultados de búsqueda de Google. Ahora que estoy en Team Platino, veo que se usa mucho Scrapebox, para entre otras muchas cosas scrapear los resultados de búsqueda de las SERP de determinadas querys.
El objetivo de este post es dar una alternativa a aquellos que no tienen Scrapebox, o no tienen proxys privados para poder usar en condiciones Scrapebox.
Tabla de Contenidos
Scrapear las SERP
El funcionamiento de este post es muy sencillo: tienes que responder a algunas preguntas para configurar el bot y despues el programa buscará tu keyword o footprint en Google y empezará a ir de una página a la siguiente hasta el límite que tu quieras.
Una vez que llegue al final, exportará los datos a un fichero csv y a un fichero txt. En el fichero csv, podrás ver información sobre el meta titulo, meta descripción y el enlace del resultado. En el txt por su parte, tendrás solo las url.
Configuración Inicial
Es muy simple no te preocupes.
Ejecuta el fichero .exe y se abrirá una ventana de comandos, que te hará unas preguntas:
Directorio para los Resultados
[1] Introduce la carpeta para guardar el resultado. Introduce un punto (.) para la carpeta actual:Tienes que especificar donde quieres que se guarden los resultados del scraping. Lo más fácil es introducir un solo punto (.) y que te guarde el resultado en la misma carpeta donde tienes el .exe. Sino pon una dirección específica, como podría ser D:\Projects\Spain\Madrid\output\
¿Captcha Si o No?
[2] Captcha si o no (Introduce Y o N):
Después te preguntará si quieres introducir el captcha o no. Si alguna vez has cambiado la configuración de Google Chrome para que muestre 100 resultados en cada búsqueda, sabrás que al aplicar la configuración, sale un captcha que lo tienes que resolver. Esto no lo puede hacer el bot, y se tiene que hacer a mano.
Por ello, hay dos opciones:
- Introducir el captcha a mano y obtener 100 resultados por cada búsqueda. El proceso será más rápido. Solo tendrás que introducir el captcha al iniciar el bot, una única vez, luego el bot funcionará solo.
- No introducir ningún captcha, y obtener 30 resultados por cada búsqueda. El funcionamiento es el mismo, pero tardará más.
Máximo de Páginas a Scrapear
[3] Máximo de paginas de resultados de Google a analizar: Después tendrás que establecer cuantas páginas quieres scrapear como máximo. Algunas keyword con muchas búsquedas tienen millones de resultados, y tardarían muchísimo en acabar. Imagínate scrapear los resultados de la keyword «amazon», el bot podría estar ejecutándose 50 años seguidos.
Introducir la Keyword o Footprint a Buscar
[4] Introduce tu keyword o footprint para buscar:Por último, introduce tu keyword o footprint, pulsa enter y el bot empezará a trabajar.
Resultado del Scraping
Cuando el script finaliza el proceso, creará dos ficheros: el csv y el txt. En este caso, he hecho un scraping para la palabra clave «team platino».
Si abris el fichero csv en Excel, al estar en UTF-8, Excel no lo lee como es debido. En el vídeo explico como abrir el fichero en Excel para leerlo en el formato correcto. Si lo abres con algun otro editor o con Google Sheets no tendrás problema seguramente.
Fichero CSV
El csv te dará información sobre el título, el link y la meta descripción del resultado:
Fichero de Texto
En el fichero txt por su parte, tendrás el listado de urls sacadas del resultado de búsqueda. En este caso han sido 300 resultados:
Vídeo Explicativo
El programa es sencillo de usar, pero como sé que siempre se entiende mejor el funcionamiento viendolo que leyéndolo, he hecho un pequeño vídeo explicando como usar el bot.
Enlaces de Descarga
Cualquier otra duda, sugerencia, propuesta de mejora o idea me lo podéis escribir por el formulario de contacto o escribiéndome un correo a admin@juaristech.com
Juaris una pregunta como podemos introducir varias kws para que scrape varios resultados, sin tener que escribir una a una. Muchas gracias
Buenas Jason!! Por ahora solo se puede scrapear las keyword de una en una.