Scrapy框架入门：安装、结构与组件详解

框架概述在你深入去学习这个框架之前, 你必须要具备一定的基础能力, 特别是有关于面向对象编程的那部分内容。此外, 你还必须懂得如何在数据库里进行读取和写入的操作, 比如像MySQL这样的数据库。同时, 掌握HTML解析技术也是必不可少的条件之一, 例如XPath的使用技巧, 这些内容都是你需要提前了解和掌握的。这是一个基于的开源异步爬虫框架, 目的是为了抓取网站并且从页面里面提取出结构化的数据。它的官网描述是: 快速、强大、简单并且容易扩展。提供了许多功能, 从而让编写爬虫这件事变得更方便和高效。比如, 它支持使用CSS选择器和XPath表达式来从Html里面提取和解析数据, 同时还可以借助正则表达式来完成数据提取的任务。另外呢, 还提供了一个可以让大家进行交互操作的那个叫做shell控制台的东西, 这个在设计的时候主要是为了方便程序员他们在调试代码的这个过程中的时候使用。它还能支持把一些数据从一种格式转换成另一种格式, 然后存到那个地方去, 比如那种JSON这种的, 还有CSV这种的, 再或者是XML这种的也好, 同时也能把它们存放到一个各种各样类型的存储介质的里面去。它另外还拥有一套非常有力的编码支持体系以及自动检测技术, 这套技术能够应对那些来自外部的、不符合常规标准的、甚至是存在错误的编码声明。在这一点上它的表现是充分的。另外它还提供非常充裕的扩展支持功能。这种支持让大家可以使用包括信号操作、API接口应用、中间件部署、扩展插件添加以及管道机制设置在内的多种手段。利用这些手段可以进行个性化的开发工作以满足不同需求。02安装与配置在安装的过程中, 需要确认版本是3.6加以上, 并且平台不受到任何限制。与此同时, 还需要去安装一些其他的依赖库, 比如lxml三點四加、w3lib以及14.0加等东西。在安装操作全部完成之后,你接下来就可以开始去探索那个产品的强大功能了。安装的过程可以说是极为的简便, 你只需要利用pip这一个工具去完成安装的步骤即可。pip大家得记着, 官方那边是建议大家在虚拟环境里头进行安装的, 为啥子这么搞, 就是想保证咱们的环境能够隔离开来, 并且保持稳定状态, 要是想知道更多具体的事儿, 还有详细的操作步骤, 那就请去翻一下官方的文档。架构与组件在这个架构里面, 有几样核心组件很值得我们去深入地了解清楚, 这些组件合力一起形成了这个系统的运行机制。开头先看一点, 有一个部件被当成是整个框架的大脑, 也被当成是总的指挥员, 它承担了处理各个组件之间传递数据的任务。接下来再看另外一个部分, 也就是那个调度器, 它的作用有点像是一个队列, 专门用来存放从引擎那里发过来的请求内容。再往后说, 那就是下载器了, 它的主要工作是负责把从引擎那边发出的东西进行下载操作, 并且把获取到的结果返回给引擎那边去。另外, 爬虫在处理引擎传过来的那些关键角色的时候, 它会去进一步处理数据, 还会把URL给提取出来, 然后再把最终的结果交给引擎。并且, Item 管道也在处理着引擎传来的数据, 这些数据既可以被写到本地文件里去, 也可以被存入数据库等等。还有呢, 下载中间件和蜘蛛中间件是存在着的, 它们提供了去自定义下载扩展以及请求处理、过滤的功能。等我们把架构给弄清楚了之后呢, 接下来就要去把它的目录结构给研究一下。只有知道了它的目录是怎么回事, 我们才有可能把这个系统的运行架构还有工作流程给整明白。