小程序制作软件scr 第1篇
run —>Edit Configuration
script里面写的绝对路径，python interpreter里面选择你想用的解释器的版本。
如果你的scrapy可以在终端运行的话，你可以用 which scrapy查找一下scrapy的位置，然后选择路径相近的python版本。或者用which python找一下正在工作的python的绝对路径，选择该版本的解释器。
成功执行的输出结果：
最前面几行是这个样子，相当于扒下了网站的源码。其实用浏览器查一下网站的源码，显示的是相同的结果。
小程序制作软件scr 第2篇
出现这个问题最可能的原因是python是32bit，而电脑属于64bit。
如何检查python版本呢和电脑的操作系统位数呢？
uname -a
可以获取电脑操作系统的信息
import platform
可以知道当前python的版本情况，示例如下：
在这里推荐一篇博客《OSX 上安装 Scrapy 的那些坑》()
小程序制作软件scr 第3篇
Scrapy是用于Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
有爬虫爱好者认为scrapy的优点是自定义程度高，适合学习研究爬虫技术，要学习的相关知识也较多，故而完成一个爬虫的时间较长。也有人表示，scrapy在python3上面无法运行，适用度没有想象的那么广阔。
网络爬虫通俗来说，就是一个在网上到处或定向抓取数据的程序，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作。
小程序制作软件scr 第4篇
当很多科普性的网站提起scrapy的时候，会介绍说scrapy是一个爬虫框架。框架的作用就是将重复性的工作做了封装。
举个例子，如果用linux系统处理一组数据需要四步，每一步都需要重新写命令行并且将会产生新的目录，中间还会需要等待的时间，这样的话处理这组数据耗时较长，并且你也可能忘记目录内对应存储的文件，最不便的是，当组里其他人需要相同处理其他数据的时候，又得重复你的工作，这样一来就产生了很多不必要的时间浪费。
然后，就有人想到把命令写在sh文件里直接执行，这样就省去了四步之间等待的时间，程序运行的时间没有变，但是把分散的过程变成了整体的过程，这样既提高了效率也避免了人长时间驻守在电脑前不断地输命令。
再然后，又有人在前人的sh文件基础上想到，能不能写一个框架，把数据来源，路径等不同用户存在差异的输入空出来，这样这个框架就可以供所有想要以同样方式处理类似数据的人使用了，也避免了大量重复写sh文件的时间。
基于这些想法，慢慢地就产生了框架。
小程序制作软件scr 第5篇
在Item存储了抓取的数据后，如果想把它列成excel表格打印出的话，需要在中进行设置，加入以下两行：
FEED_FORMAT ：指示输出格式，csv/xml/json/
FEED_URI : 指示输出位置，可以是本地，也可以是FTP服务器
例如：
FEED_URI = u'file:///G:'
FEED_FORMAT = ‘CSV'
这样的话，输出的文件存在G盘，名字叫，是一个csv文件。
小程序制作软件scr 第6篇
其实写到这里，一个完整的小程序就已经成型了，输出的结果应该是：
但是很可能第一遍程序无法得出这样的结果，而出现了各种各样的错误，然而在debug的时候却可以看到一些有助于帮助理解scrapy结构的东西：
2017-07-20 xx:50:53 [] INFO: Enabled extensions:
2017-07-20 20:50:53 [] INFO: Enabled downloader middlewares
2017-07-20 20:50:53 [] INFO: Enabled spider middlewares:
2017-07-20 20:50:53 [] INFO: Enabled item pipelines:
2017-07-20 20:50:53 [] INFO: Spider opened
2017-07-20 20:50:54 [] INFO: Spider closed (finished)
小程序制作软件scr 第7篇
输入命令：
scrapy startproject myproject
ls myproject
: 项目配置文件
/: 项目python模块, 之后您将在此加入代码
myproject/: 项目items文件
myproject/: 项目管道文件
myproject/: 项目配置文件
myproject/spiders: 放置spider的目录