博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Window环境下安装基于Python的Scrapy网络爬虫框架
阅读量:4080 次
发布时间:2019-05-25

本文共 824 字,大约阅读时间需要 2 分钟。

摘要

Window环境下安装Scrapy框架的过程及一些错误的解决。

具体环境:Windows 8.1 +Python 2.7

我是用Python自带的pip安装的,没有分散下载Scrapy需要的库。

  1. 确保自己安装了好了pip。这个一般在安装了Python 2.6以上的版本就会内置了。
  2. 直接执行
pip install Scrapy

遇到了缺少Microsoft Visual C++ Compiler for Python 2.7的问题。去

下载安装就好了。
3. 再次执行

pip install Scrapy

竟然出了一个UnicodeDecodeErro错误!我再之前的一片上也遇到这个问题。当时一脸懵逼。认真看了下报错信息,发现是传入的参数有中文,而具体执行的Python文件中是没有支持中文编码的。于是,照着前一次的经验,我按照报错信息找到了Python下的具体文件–Python27\Lib\site-packages\setuptools\msvc.py,在文件开始的地方加入默认编码设置代码。

if sys.getdefaultencoding()!='gbk':    reload(sys)    sys.setdefaultencoding('gbk')    default_encoding=sys.getdefaultencoding()

同一种错误,但是出处不同。这样解决Python错误解码的一个技能Get!

4 但是安装之后还是报错。

主要是缺少了libxml2这个库
主要是缺少了libxml2这个库!其实这个在前面的报错信息就有写,之前没有注意到。
Error:‘xslt-config’不是内部或外部命令,也不是可运行的程序
其实是这个错误Error:‘xslt-config’不是内部或外部命令,也不是可运行的程序。随后去下载才解决。

5 解决

这里写图片描述


自己花了一个上午才搞定,其中过程中最烦人的是libxml2的安装。国外的镜像特别慢,让人十分心烦。

刚开始写博客,作为自己简单的学习笔记。可能写的不好,但希望能帮到你。

你可能感兴趣的文章
nodejs内存控制
查看>>
MongoDB 数据文件备份与恢复
查看>>
MongoDB数据库插入、更新和删除操作详解
查看>>
MongoDB文档(Document)全局唯一ID的设计思路
查看>>
mongoDB简介
查看>>
Redis持久化存储(AOF与RDB两种模式)
查看>>
memcached工作原理与优化建议
查看>>
Redis与Memcached的区别
查看>>
程序员最核心的竞争力是什么?
查看>>
linux CPU个数查看
查看>>
消息队列设计精要
查看>>
分布式存储系统设计(1)—— 系统架构
查看>>
MySQL数据库的高可用方案总结
查看>>
SSH原理与运用
查看>>
SIGN UP BEC2
查看>>
出现( linker command failed with exit code 1)错误总结
查看>>
iOS开发中一些常见的并行处理
查看>>
iOS 开发百问
查看>>
Mac环境下svn的使用
查看>>
github简单使用教程
查看>>