首页
Win7下python Scrapy一站式搭建全攻略(内附相关下载链接)
  • 2017/01/12 15:38
  • 编辑:程序员
  • 浏览:670

 

写在前面:

      好久没有登录博客了,意外看到之前的几篇文章都有不错的阅读量,开心极了,不过没有什么点赞和评论,大概是没有给大家带来什么切实的帮助吧。o(*////▽////*)q。

      最近在NTU负责一个国家研究基金委支持的智能城市交通的项目,第一步就是获取道路交通各种信息,收集分析数据。因为各种原因这次选择了Scrapy这个框架,也是我自己第一次接触python爬虫,圆满完成需求数据爬取之后,我在四台电脑上搭建了Scrapy环境,遇到了各种各样的问题,借此写一篇总结,也希望能够给大家提供一丝丝的帮助,更希望能帮助大家,流畅的搭建完成。

 

———————————————————————————————————————————————————————————

 

一、安装python

根据自己的需求,到官网下载适合自己电脑的版本,https://www.python.org/downloads/,这里我选择的是较为稳定的2.7版本

链接:http://pan.baidu.com/s/1i5hZPS5%20 密码: e6qi

安装过程十分简单,除了选择路径,一路next到底即可。完成之后,别忘将python添加到环境变量里。

 

点击“我的电脑”右键“属性”,进入到如下界面,左上角选择“高级系统设置”:

弹出一个对话框,在对话框里找到并选择“环境变量”选项,进入之后,下方找到“path”,之后编辑,用 ; 隔开,插入安装python的文件路径,这里为了之后安装方便,也将python下的script路径给添加进来。

 

 

添加到环境变量之后,打开命令行,输入,python,如果出现如下界面则安装成功,如果显示不是内部外部命令,回去检查环境变量设置环节。很大可能是误输入中文输入法之下的;检查一遍,修改之后,重启命令行再输入一遍。

 

 

二、安装pywin32

在Windows下,必须安装pywin32,下载地址:https://sourceforge.net/projects/pywin32/,链接:http://pan.baidu.com/s/1hsmL92W 密码: 3qnf

安装过程也很简单,一路next到底,安装完毕之后在命令行先输入python,之后输入import win32com验证:   

如图所示,如果没有提示错误,则证明安装成功,如果错误就再来一遍,这个步骤一般不会出现问题。

 

三、安装pip

pip是一个安装和管理python包的工具,可以替代easy_install。下载地址:https://bootstrap.pypa.io/get-pip.py 或http://pan.baidu.com/s/1dFKbFP3%20 密码:m3ar

打开命令行进入到保存get-pip的路径进行操作,可以用cd的命令,也可以shift+右键选择用命令行打开。然后键入:

python get-pip.py 

即可

安装完成后在命令行输入

pip --version 

显示

 

四、安装pyOPENSSL

在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。

安装地址:https://launchpad.net/pyopenssl 或http://pan.baidu.com/s/1hrXS4Fa 密码:25pd

下载后,双击,一路next就可以。

 

五、安装 lxml

lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML

直接执行如下命令

pip install lxml

 然后,我们迎来了一个大坑,这里可能会报各种错,比较常见的:

1.报错说电脑没有匹配的 Microsoft Visual C++库,点击官网下载安装,点击网盘下载安装,密码:37h2。安装完成后重启命令行再次执行上述命令

2.报其他乱七八糟的错,或者上述库安装完成以后依旧不成功。这个时候可以尝试

easy_install lxml

 或者,下载集成的安装包,直接双击一路next安装。如果还是不行,一个屡试不爽的方法,下载lxml.wheel文件。然后在wheel目录下键入

pip install lxml-3.6.4-cp27-cp27m-win_amd64.whl

 

六、安装Scrapy框架

在命令行下

pip install Scrapy

 

安装完毕后,在命令行输入Scrapy,如果显示如下图所示,则安装成功:

 

七、编译程序的时候发现,经常报告缺失lib2,所以这里附上安装httplib2的方法

下载,然后解压,在httolib2目录下,pip install httplib2 即可。

 

————————————————————————————————————————————————————————————

 

如果还有其他问题,欢迎留言讨论交流。

程序员
987文章总数
67687总阅读量
读者
热门评论

推荐文章



收藏 待读 分享