Gscraper
Iniciado por misko · 23 sept 2014 · 23 respuestas · 19.819 visitas
misko Como estuvimos hablando en la KDD, unos cuantos (2) recomendabamos Gscrape en vez de Scrapebox.
Acabo de ponerlo a funcionar la version crackeada, con 383 proxys publicos, esta es la imagen:
La versión Crackeada tiene varios fallos, entre ellos, que te coge también las paginas en cache como podeis ver en la imagen.
Por lo que del total de URLs obtenidas, podriamos dividirlas entre 2.
Aún haciendo este calculo, podemos observar que, en 4 minutos y 38 segundos, ha sacado 145558 urls ( 291117 entre 2 ) y que va por el 0,32%
Eso significa que me sacará ( si se mantiene tal cual ) unos 45.486.875 resultados en 24 horas.
Yo lo pararé mucho antes xD
El programa en si vale 68$ y yo no he probado la version de pago, solo la crackeada, por lo que será mucho mejor.
Además, como comentabamos en la KDD, la version de pago viene con 7 días de proxys ilimitados, por lo que en esos 7 días podriais llegar a scrapear una locura de urls...
Aun así, yo los proxys que uso, son los que me ha sacado el GSA de sus listas...
De todas formas, las URLs que saque luego hay que pasarselas al GSA y que las identifique para ver si las reconoce, pero podeis aseguraros este paso usando las footprints que tenga GSA para buscar en internet ;)
No llevo mucho tiempo usandolo, pero si teneis alguna duda, preguntarla por aqui a ver si la podemos resolver :DSidonie Buen aporte @misko, yo iba a probar el Gscrape pero me he enterado que en unos días sale el Scrapebox 2.0. Se comenta que va a ser una aunténtica bestia escrapeando y que va a ser mucho más rápido que Gscrape. La actualización será gratuita para los usuarios con licencia.original de Scrapebox. Os dejo un vídeo de Loopline trasteando con el nuevo Scrapebox:
https://www.youtube.com/watch?v=-0sggET1vWomisko Pues probaremos el nuevo Scrapebox, ya que yo tb tengo la licencia original, pero de momento ( igual es mi configuración de scrapebox ) deja mucho que desear en funcion de la velocidad.
Esperemos que la nueva version sea mas competitivo con gscraper.
Voy a ver el video que comentas =)Sauron @"misko" esos números de scrapeo están genial!! Luego para quitarte esos webcache eliminar dominios duplicados y te limpias todas esas URLs jejeje
Tengo ganas de probar la nuevo versión de Scrapebox :)misko Gscraper tienes las opciones que dices.
Primero, tiene una opción para quitar todas las URLs que contengan el texto que le digas ( webcontent para quitar las de cache :D )
Segundo, tiene una opción para quitar todas las urls repetidas.
Más o menos, de un RAW de 500mil, te quedan unas 125mil urls distintas, ya limpitas para pasarselas a GSA :DPeisithanatos Ponle los proxies que venden y verás una velocidad cercana a los 120k/urls por minuto con buenas footprints.misko Peisithanatos escribió:Ponle los proxies que venden y verás una velocidad cercana a los 120k/urls por minuto con buenas footprints.
Pfff, si no tengo comprado ni el programa, como para acceder a los proxys ;)
Pero tengo intencion de comprarlo, por que me gusta bastante el Gscraper, sencillo y muy utilmisko Buenas!
Ya lo tengo comprado y funcionando, y ahora mismo está con estas estadísticas:
Ya iré comentando que tal evoluciona :DSauron @misko eso tiene una pinta estupenda. 30k URLs al minuto, con eso como te descuides te faltan URLs en internet xDDD. Por cierto eso son con filtros para webs en español no? o es en general?misko Pues ahí está buscando footprints y cada footprint con tus keywords ( que si está en español, saldrán sitios en español ).
Ademas, el Gscraper tiene una opcion para seleccionar el idioma de google y lo tengo puesto en Español, y viendo las URLs, todas parecen paginas en español al verdad :)harmonica A mí sólo me queda tener paciencia para comprar el GS y proxies, es tedioso estar creando maquinas virtuales e instalando programas crackeados llenos de virus :-/REEND misko escribió:recomendabamos Gscrape en vez de Scrapebox.
La versión Crackeada tiene varios fallos, entre ellos, que te coge también las paginas en cache
Creo que el problema de GScrape con los resultados de la cache de gooogle no se deben a un fallo en el crack ya que yo hace un tiempo probe la versión de prueba, la 1.2 y me seguía escrapeando resultados cacheados.
Si bien es cierto que GScraper es bastante más rápido que ScrapeBox, este último tiene montones de plugins, yo utilizo los dos de vez en cuando, crackeados claro, uno para unas cosas y tro para otras! :)KEPA27 donde puedo encontrar proxys gratuitos para gscraper?dislikeit KEPA27 escribió:donde puedo encontrar proxys gratuitos para gscraper?
Un único pago de 25$ y ólvidate de tener que pasar por caja todos los meses y soltar más de 60$!
Aquí te explico cómo hacerlo: http://quieroserelprimero.es/como-saltarse-la-dependencia-de-los-proxies-de-gscraper/Peisithanatos dislikeit escribió:
KEPA27 escribió:donde puedo encontrar proxys gratuitos para gscraper?
Un único pago de 25$ y ólvidate de tener que pasar por caja todos los meses y soltar más de 60$!
Aquí te explico cómo hacerlo: /como-saltarse-la-dependencia-de-los-proxies-de-gscraper/
Es una buena idea, aunque por desgracia los proxies de GScraper funcionan mejor. De todos modos, con el GSA o con el GSA SEO Indexer puede hacerse lo mismo.dislikeit Peisithanatos escribió:
dislikeit escribió:
KEPA27 escribió:donde puedo encontrar proxys gratuitos para gscraper?
Un único pago de 25$ y ólvidate de tener que pasar por caja todos los meses y soltar más de 60$!
Aquí te explico cómo hacerlo: /como-saltarse-la-dependencia-de-los-proxies-de-gscraper/
Es una buena idea, aunque por desgracia los proxies de GScraper funcionan mejor. De todos modos, con el GSA o con el GSA SEO Indexer puede hacerse lo mismo.
Claro que funcionan mejor :p pero es una cuestión de economía: Un único pago de 25$ comparado con un pago recurrente de más de 60$ al mes! Y es que las soluciones con pago recurrente tienen ese gran handicap :(
GSA es una solución más cara, y comprar SEO Indexer sólo para scrapear proxies se me hace un poco "raro", pero ¿por qué no? Al final todos los caminos llevan a Roma. La gracia está en escoger el camino adecuado... ;)Peisithanatos dislikeit escribió:
Peisithanatos escribió:
dislikeit escribió:
KEPA27 escribió:donde puedo encontrar proxys gratuitos para gscraper?
Un único pago de 25$ y ólvidate de tener que pasar por caja todos los meses y soltar más de 60$!
Aquí te explico cómo hacerlo: /como-saltarse-la-dependencia-de-los-proxies-de-gscraper/
Es una buena idea, aunque por desgracia los proxies de GScraper funcionan mejor. De todos modos, con el GSA o con el GSA SEO Indexer puede hacerse lo mismo.
Claro que funcionan mejor :p pero es una cuestión de economía: Un único pago de 25$ comparado con un pago recurrente de más de 60$ al mes! Y es que las soluciones con pago recurrente tienen ese gran handicap :(
GSA es una solución más cara, y comprar SEO Indexer sólo para scrapear proxies se me hace un poco "raro", pero ¿por qué no? Al final todos los caminos llevan a Roma. La gracia está en escoger el camino adecuado... ;)
Cierto, sí. Lo ideal sería ponerse a scannear puertos por toda la red en busca de proxies públicos no listados, que duran mucho más naturalmente, y entiendo es lo que hacen realmente desde GScraper.dislikeit Peisithanatos escribió:
dislikeit escribió:
Peisithanatos escribió:
dislikeit escribió:
KEPA27 escribió:donde puedo encontrar proxys gratuitos para gscraper?
Un único pago de 25$ y ólvidate de tener que pasar por caja todos los meses y soltar más de 60$!
Aquí te explico cómo hacerlo: /como-saltarse-la-dependencia-de-los-proxies-de-gscraper/
Es una buena idea, aunque por desgracia los proxies de GScraper funcionan mejor. De todos modos, con el GSA o con el GSA SEO Indexer puede hacerse lo mismo.
Claro que funcionan mejor :p pero es una cuestión de economía: Un único pago de 25$ comparado con un pago recurrente de más de 60$ al mes! Y es que las soluciones con pago recurrente tienen ese gran handicap :(
GSA es una solución más cara, y comprar SEO Indexer sólo para scrapear proxies se me hace un poco "raro", pero ¿por qué no? Al final todos los caminos llevan a Roma. La gracia está en escoger el camino adecuado... ;)
Cierto, sí. Lo ideal sería ponerse a scannear puertos por toda la red en busca de proxies públicos no listados, que duran mucho más naturalmente, y entiendo es lo que hacen realmente desde GScraper.
GScraper se lo ha montado muy bien: http://quieroserelprimero.es/gscraper-o-la-computacion-distribuida/
Por eso es dificil superar la velocidad que consigues con "sus proxies", a menos que puedas alimentarle con una cantidad igual o superior a la que él consigue.
Por ello, en el enlace que he puesto antes, explico como alcanzar una solución intermedia, y que si bien se puede conseguir con GSA SER o GSA SEO Indexer, en estos momentos no encuentro la opción de exportar de manera continua los proxies que scrapean, y por ello te obligan a parar GScraper para volver a "alimentarlo" de proxies. Cosa que con la técnica que explico, no es necesaria... :)Peisithanatos dislikeit escribió:
Peisithanatos escribió:
dislikeit escribió:
Peisithanatos escribió:
dislikeit escribió:Un único pago de 25$ y ólvidate de tener que pasar por caja todos los meses y soltar más de 60$!
Aquí te explico cómo hacerlo: /como-saltarse-la-dependencia-de-los-proxies-de-gscraper/
Es una buena idea, aunque por desgracia los proxies de GScraper funcionan mejor. De todos modos, con el GSA o con el GSA SEO Indexer puede hacerse lo mismo.
Claro que funcionan mejor :p pero es una cuestión de economía: Un único pago de 25$ comparado con un pago recurrente de más de 60$ al mes! Y es que las soluciones con pago recurrente tienen ese gran handicap :(
GSA es una solución más cara, y comprar SEO Indexer sólo para scrapear proxies se me hace un poco "raro", pero ¿por qué no? Al final todos los caminos llevan a Roma. La gracia está en escoger el camino adecuado... ;)
Cierto, sí. Lo ideal sería ponerse a scannear puertos por toda la red en busca de proxies públicos no listados, que duran mucho más naturalmente, y entiendo es lo que hacen realmente desde GScraper.
GScraper se lo ha montado muy bien: /gscraper-o-la-computacion-distribuida/
Por eso es dificil superar la velocidad que consigues con "sus proxies", a menos que puedas alimentarle con una cantidad igual o superior a la que él consigue.
Por ello, en el enlace que he puesto antes, explico como alcanzar una solución intermedia, y que si bien se puede conseguir con GSA SER o GSA SEO Indexer, en estos momentos no encuentro la opción de exportar de manera continua los proxies que scrapean, y por ello te obligan a parar GScraper para volver a "alimentarlo" de proxies. Cosa que con la técnica que explico, no es necesaria... :)
Sí, ya había leído ese artículo, aunque realmente no me convence la hipótesis de que usen las IPs de los usuarios en activo ya que he probado a usarlo en local y no ha habido baneos por parte de Google.
No recuerdo ahora en qué lugar estaba la opción de guardar en un fichero al vuelo pero sé que se podía hacer con ambos programas, o incluso con cualquier otro scrapper de proxies públicos listados como el que comentas.
Por cierto, deberías echarle un ojo a Scraper Bandit si no lo conoces, el primer scraper en la nube.dislikeit Sí, ya había leído ese artículo, aunque realmente no me convence la hipótesis de que usen las IPs de los usuarios en activo ya que he probado a usarlo en local y no ha habido baneos por parte de Google.
No recuerdo ahora en qué lugar estaba la opción de guardar en un fichero al vuelo pero sé que se podía hacer con ambos programas, o incluso con cualquier otro scrapper de proxies públicos listados como el que comentas.
Por cierto, deberías echarle un ojo a Scraper Bandit si no lo conoces, el primer scraper en la nube.
Suena muy "descarado" es cierto, pero no sería la primera vez que lo hacen, como por ejemplo el JingLing.
Echa cálculos @"Peisithanatos" : 100k URLs por minuto por cliente. Partimos de la base de que es cierto lo que nos dicen y que solo usan un proxy por consulta. Eso requiere 100k Proxies únicos por cliente por minuto!
Puede que le metan algo extra para evitar que G banee las IPs, puede que hagan las consultas enviando cabeceras distintas cada vez... ¡Quién sabe!
En cuanto a guardar los proxies cada x tiempo en los GSAs, yo nunca he visto esa opción, pero eso no significa que no esté escondida en un lugar recóndito! Vamos que creo que le voy a mandar un MP a Sven en el foro de GSA para que lo implemente, si al final no está, o si lo quitó en alguna actualización (qué también puede pasar), jajajaja :p
Si usas scrapeadores de proxies públicos, yo los que he probado te permiten guardar al vuelo los resultados en su versión de pago, pero seguro que hay alguno que lo hace en su versión gratuita. También es importante trabajar con uno que no sólo te encuentre proxies públicos, sino también semi-privados.
En cuanto al Scraper Bandit suena bien el concepto, habrá que probarlo a ver qué tal se porta bajo presión, si ya tienes datos/estadísticas concretos se agradece si los puedes compartir :)
Edito: He dado con el escóndite de la opción que dices en GSA :p
No lo he probado antes, así que no sé que tal irá.
Pero vamos, dentro de proxies->options y al fondo a la derecha :D
Peisithanatos dislikeit escribió:
Sí, ya había leído ese artículo, aunque realmente no me convence la hipótesis de que usen las IPs de los usuarios en activo ya que he probado a usarlo en local y no ha habido baneos por parte de Google.
No recuerdo ahora en qué lugar estaba la opción de guardar en un fichero al vuelo pero sé que se podía hacer con ambos programas, o incluso con cualquier otro scrapper de proxies públicos listados como el que comentas.
Por cierto, deberías echarle un ojo a Scraper Bandit si no lo conoces, el primer scraper en la nube.
Suena muy "descarado" es cierto, pero no sería la primera vez que lo hacen, como por ejemplo el JingLing.
Echa cálculos @"Peisithanatos" : 100k URLs por minuto por cliente. Partimos de la base de que es cierto lo que nos dicen y que solo usan un proxy por consulta. Eso requiere 100k Proxies únicos por cliente por minuto!
Puede que le metan algo extra para evitar que G banee las IPs, puede que hagan las consultas enviando cabeceras distintas cada vez... ¡Quién sabe!
En cuanto a guardar los proxies cada x tiempo en los GSAs, yo nunca he visto esa opción, pero eso no significa que no esté escondida en un lugar recóndito! Vamos que creo que le voy a mandar un MP a Sven en el foro de GSA para que lo implemente, si al final no está, o si lo quitó en alguna actualización (qué también puede pasar), jajajaja :p
Si usas scrapeadores de proxies públicos, yo los que he probado te permiten guardar al vuelo los resultados en su versión de pago, pero seguro que hay alguno que lo hace en su versión gratuita. También es importante trabajar con uno que no sólo te encuentre proxies públicos, sino también semi-privados.
En cuanto al Scraper Bandit suena bien el concepto, habrá que probarlo a ver qué tal se porta bajo presión, si ya tienes datos/estadísticas concretos se agradece si los puedes compartir :)
Yo en realidad pienso que mienten en lo que es la fuente de los proxies y en realidad no se trata de servers scrapeadores de proxies abiertos sino backconnect proxies, un poco al estilo de Microleaves o Proxy Bandit, ya que los chinos son la élite en temas de hacking.
En cuanto al Scraper Bandit, no tengo ahora los datos, pero es más rápido que GScraper, y más cómodo de usar claro está. Lo único que todavía no tiene tantas opciones como los scrappers de escritorio en lo referente a geolocalización, uso de footprints avanzadas y demás. Pero promete.chicoperro Lo que buscáis está aquí:
Proxy list - options- automatically export working proxies to file
:)dislikeit Peisithanatos escribió:
dislikeit escribió:
Sí, ya había leído ese artículo, aunque realmente no me convence la hipótesis de que usen las IPs de los usuarios en activo ya que he probado a usarlo en local y no ha habido baneos por parte de Google.
No recuerdo ahora en qué lugar estaba la opción de guardar en un fichero al vuelo pero sé que se podía hacer con ambos programas, o incluso con cualquier otro scrapper de proxies públicos listados como el que comentas.
Por cierto, deberías echarle un ojo a Scraper Bandit si no lo conoces, el primer scraper en la nube.
Suena muy "descarado" es cierto, pero no sería la primera vez que lo hacen, como por ejemplo el JingLing.
Echa cálculos @"Peisithanatos" : 100k URLs por minuto por cliente. Partimos de la base de que es cierto lo que nos dicen y que solo usan un proxy por consulta. Eso requiere 100k Proxies únicos por cliente por minuto!
Puede que le metan algo extra para evitar que G banee las IPs, puede que hagan las consultas enviando cabeceras distintas cada vez... ¡Quién sabe!
En cuanto a guardar los proxies cada x tiempo en los GSAs, yo nunca he visto esa opción, pero eso no significa que no esté escondida en un lugar recóndito! Vamos que creo que le voy a mandar un MP a Sven en el foro de GSA para que lo implemente, si al final no está, o si lo quitó en alguna actualización (qué también puede pasar), jajajaja :p
Si usas scrapeadores de proxies públicos, yo los que he probado te permiten guardar al vuelo los resultados en su versión de pago, pero seguro que hay alguno que lo hace en su versión gratuita. También es importante trabajar con uno que no sólo te encuentre proxies públicos, sino también semi-privados.
En cuanto al Scraper Bandit suena bien el concepto, habrá que probarlo a ver qué tal se porta bajo presión, si ya tienes datos/estadísticas concretos se agradece si los puedes compartir :)
Yo en realidad pienso que mienten en lo que es la fuente de los proxies y en realidad no se trata de servers scrapeadores de proxies abiertos sino backconnect proxies, un poco al estilo de Microleaves o Proxy Bandit, ya que los chinos son la élite en temas de hacking.
En cuanto al Scraper Bandit, no tengo ahora los datos, pero es más rápido que GScraper, y más cómodo de usar claro está. Lo único que todavía no tiene tantas opciones como los scrappers de escritorio en lo referente a geolocalización, uso de footprints avanzadas y demás. Pero promete.
He actualizado mi respuesta anterior con captura de dónde encontrar exportar proxies en GSA ;)
Pero aunque usen backconnect proxies, ¿crees que pueden satisfacer la demanda que GScraper requiere?
Oye lo de Scraper Bandit lo voy a mirar ahora mismo que pinta muy bien, aunque por lo que dices parece que le falta madurez todavía, no?
Salu2 y buen finde :)Peisithanatos dislikeit escribió:
Peisithanatos escribió:
dislikeit escribió:
Sí, ya había leído ese artículo, aunque realmente no me convence la hipótesis de que usen las IPs de los usuarios en activo ya que he probado a usarlo en local y no ha habido baneos por parte de Google.
No recuerdo ahora en qué lugar estaba la opción de guardar en un fichero al vuelo pero sé que se podía hacer con ambos programas, o incluso con cualquier otro scrapper de proxies públicos listados como el que comentas.
Por cierto, deberías echarle un ojo a Scraper Bandit si no lo conoces, el primer scraper en la nube.
Suena muy "descarado" es cierto, pero no sería la primera vez que lo hacen, como por ejemplo el JingLing.
Echa cálculos @"Peisithanatos" : 100k URLs por minuto por cliente. Partimos de la base de que es cierto lo que nos dicen y que solo usan un proxy por consulta. Eso requiere 100k Proxies únicos por cliente por minuto!
Puede que le metan algo extra para evitar que G banee las IPs, puede que hagan las consultas enviando cabeceras distintas cada vez... ¡Quién sabe!
En cuanto a guardar los proxies cada x tiempo en los GSAs, yo nunca he visto esa opción, pero eso no significa que no esté escondida en un lugar recóndito! Vamos que creo que le voy a mandar un MP a Sven en el foro de GSA para que lo implemente, si al final no está, o si lo quitó en alguna actualización (qué también puede pasar), jajajaja :p
Si usas scrapeadores de proxies públicos, yo los que he probado te permiten guardar al vuelo los resultados en su versión de pago, pero seguro que hay alguno que lo hace en su versión gratuita. También es importante trabajar con uno que no sólo te encuentre proxies públicos, sino también semi-privados.
En cuanto al Scraper Bandit suena bien el concepto, habrá que probarlo a ver qué tal se porta bajo presión, si ya tienes datos/estadísticas concretos se agradece si los puedes compartir :)
Yo en realidad pienso que mienten en lo que es la fuente de los proxies y en realidad no se trata de servers scrapeadores de proxies abiertos sino backconnect proxies, un poco al estilo de Microleaves o Proxy Bandit, ya que los chinos son la élite en temas de hacking.
En cuanto al Scraper Bandit, no tengo ahora los datos, pero es más rápido que GScraper, y más cómodo de usar claro está. Lo único que todavía no tiene tantas opciones como los scrappers de escritorio en lo referente a geolocalización, uso de footprints avanzadas y demás. Pero promete.
He actualizado mi respuesta anterior con captura de dónde encontrar exportar proxies en GSA ;)
Pero aunque usen backconnect proxies, ¿crees que pueden satisfacer la demanda que GScraper requiere?
Oye lo de Scraper Bandit lo voy a mirar ahora mismo que pinta muy bien, aunque por lo que dices parece que le falta madurez todavía, no?
Salu2 y buen finde :)
No, pero creo que no es cierto que todos los proxies sean Google passed cuando llegan al cliente y por tanto mienten en los números.
Sí, está muy bien, aunque efectivamente está un pelín verde, pero es una buena idea (y no solo porque era un proyecto que yo también quería montar :P)
Este hilo pertenece al archivo del foro y ya no admite respuestas.
Otros hilos de esta sección
- Consigue seguidores con Addmefast bot gratis (ACTUALIZADO evita los baneos)Sauron · 31 dic 201342 respuestas · 50.011 visitasÚltimo mensaje: 25 jul 2014
- Lanzamiento mejor plugin Black Hast SEO WordpressMantis · 27 ago 201830 respuestas · 47.956 visitasÚltimo mensaje: 7 mar 2021
- Script para hacer tus propios Backlinksgdm81 · 26 jun 201460 respuestas · 46.919 visitasÚltimo mensaje: 3 sept 2017
- Software para generar visitas de forma automaticaShinyo · 17 sept 201441 respuestas · 44.980 visitasÚltimo mensaje: 5 nov 2016
- ¿Alguna herramienta para visitas en YouTube?SoyEle · 24 sept 201624 respuestas · 43.433 visitasÚltimo mensaje: 25 dic 2025
- IViews - Youtube Views BotSauron · 21 mar 201436 respuestas · 38.956 visitasÚltimo mensaje: 24 jun 2015
- INFLOU | Hazte Influencer: Aumenta tus seguidores en Instagram [Prueba Gratis]nandertal · 20 sept 201816 respuestas · 30.546 visitasÚltimo mensaje: 22 ago 2019
- Herramienta para medir la dificultad de posicionar una keyword gratisSauron · 29 dic 201337 respuestas · 29.865 visitasÚltimo mensaje: 30 nov 2014