自学爬虫——老马惹不起,简书谢谢你(爬虫怎么自学)

这个爬虫是个通用爬虫,去用心的了解scrapy框架,你就能轻松驾驭

https://github.com/a371057600/python-paChong-

这里是我的不专业的github,不逼逼直接搬来用吧,不推荐重复造轮子,对着代码多读几次就好,除非练手,不然不推荐重新敲,当然,能优化,改到你想要的功能是最好的.

把轮子用到了爬头条上面

我觉得,在头条上面教大家爬头条好像不是太好(虽然,头条也是爬别人的新闻)

头条的反爬方法基本跟微博也是一样,但是不推荐爬微博,因为微博大量的账号和原创内容,估计不登录也不能爬,登陆了就会废号.

本来,计划是爬淘宝的,但是无论怎么爬都会重定向到登录页面,用selemui也没用(实际有用,你只要在爬取的时候登录成为操作就好,但是这就类麻烦了.毕竟淘宝账号很重要的…)所以,最后折中爬了简书,谢谢简书爸爸的教导.

图片描述(最多50字)

from scrapy import signals

from selenium import webdriver

import time

from scrapy.http.response.html import HtmlResponse

class SeleniumDownloadMiddleware(object):

def init(self):

self.driver = webdriver.Chrome(executable_path=r\”C:Workpythonchromedriver.exe\”)

def process_request(self,request,spider):

self.driver.get(request.url)

time.sleep(1)

try:

while True:

showMore = self.driver.find_element_by_class_name(\’show-more\’)

showMore.click()

time.sleep(0.3)

if not showMore:

break

except:

pass

source = self.driver.page_source

response = HtmlResponse(url=self.driver.current_url,body=source,request=request,encoding=\’utf-8\’)

return responsege

大的门户网站你可以爬,爬了之后记得告诉我

获取ajax数据的方式:

直接分析ajax调用的接口。然后通过代码请求这个接口。

使用Selenium chromedriver模拟浏览器行为获取数据。

方式优点缺点分析接口直接可以请求到数据。不需要做一些解析工作。代码量少,性能高。分析接口比较复杂,特别是一些通过js混淆的接口,要有一定的js功底。容易被发现是爬虫。

图片描述(最多50字)

selenium直接模拟浏览器的行为。浏览器能请求到的,使用selenium也能请求到。爬虫更稳定。代码量多。性能低。

PS:本人全部自学,发送到头条也只是作为学习经历,顺便分享经验,没有炫耀和装大佬的意向,反而有互相学习寻求帮助的想法.

医生对病人说,你们有选择不痛苦的权利.但是,各位自学的哥们,我们没有选择的权利,学习的过程必然是艰辛痛苦的,程序猿996不是为了谁,真的是因为喜欢,真的是想要进步所以才会996.死在自己喜欢的工作上何尝不是钟享受呢.

不求认同,但是不希望喷子进来,这只是个笔记.

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2024年7月6日 上午9:00
下一篇 2024年7月6日 上午9:11

相关推荐

  • 科研项目参与人分工怎么写

    科研项目参与人分工怎么写 在科研项目中,分工是非常重要的一项工作。分工明确有助于项目成员更好地协作,提高项目进展和成果的质量。本文将介绍如何制定科研项目参与人分工计划。 在制定分工…

    科研百科 2024年11月10日
    20
  • 「项目管理」揭开项目管理5个阶段的神秘面纱(项目管理的五个阶段)

    任何成功项目的根本在于项目经理(PM)的价值。虽然有些人认为项目经理的唯一工作就是提醒每个人关于截止日期和召开状态会议,但事实并非如此。 他们所做的是一门科学——他们对项目管理的五…

    科研百科 2024年6月11日
    75
  • 泸州项目绩效管理系统

    泸州项目绩效管理系统 泸州项目绩效管理系统是一套针对大型复杂项目的绩效管理系统,能够帮助项目经理和项目团队有效地管理项目进度、成本和质量,提高项目的成功率和绩效。 该系统包括以下几…

    科研百科 2024年12月20日
    0
  • 云智慧打造ITSM中国样本:世间皆称工具人,岂知卿为管理身

    在SaaS模式如日中天的大洋彼岸,烈火烹油的IT运维赛道孕育出“绝代双骄”:市值超过1350亿美元的Servicenow和十年间营收上涨逾千倍的Datadog。 Serviceno…

    科研百科 2024年5月13日
    154
  • 贵州民政项目管理系统

    贵州民政项目管理系统 贵州民政项目管理系统是为了满足贵州民政行业的发展需求而开发的,它为贵州民政行业的项目管理提供了更加高效、准确、安全的服务。该系统的主要功能包括项目计划管理、进…

    科研百科 2024年12月18日
    0
  • 施工进度计划软件哪个好

    施工进度计划软件哪个好? 随着建筑行业的发展,施工进度计划软件已经成为了一个非常流行的东西。这些软件可以帮助建筑工人们更好地管理他们的时间和任务,确保工程能够按时完成。那么,哪个施…

    科研百科 2024年5月24日
    44
  • 字体管理

    字体管理:如何确保计算机和移动设备上字体的一致性 字体管理是计算机和移动设备上字体管理的重要方面。字体管理可以帮助用户在不同的设备上保持一致的字体设置,从而提高用户的使用体验。本文…

    科研百科 2024年10月31日
    1
  • 浙江机关事业单出差住宿报销标准

    浙江机关事业单出差住宿报销标准 随着时代的变迁,机关事业单出差住宿报销标准也在不断变化。然而,无论岁月如何变迁,报销标准却始终保持着一定的规律。今天,我们将为您介绍浙江机关事业单出…

    科研百科 2024年11月14日
    25
  • 什么是商品房预售资金监管账户?如何识别?(什么是商品房预售资金监管账户-如何识别)

    在近两年,烂尾楼的纠纷越来越多,而造成烂尾楼最直接的原因是开发商转移商品房预售资金,比如在收款的时候,并没有将房款打入商品房预售资金监管账户。 很多网友询问说什么是预售资金监管账户…

    科研百科 2022年12月2日
    191
  • 听书平台排名

    听书平台排名: 最受欢迎的五个听书平台 近年来,随着在线阅读的兴起,听书平台也逐渐成为了新的阅读选择。在听书平台上,人们可以随时随地听书,享受阅读的乐趣。以下是五个最受欢迎的听书平…

    科研百科 2024年11月12日
    7