注册
登录
python
>>
danxiacrawler
>>
返回
项目作者:
Alex-Linrk
项目描述 :
丹厦房产爬虫,爬取丹厦上指定条件的房产信息,并在使用web.py配合高德地图显示在地图上,点击显示详情
高级语言:
Python
项目主页:
项目地址:
git://github.com/Alex-Linrk/danxiacrawler.git
创建时间:
2018-04-24T13:27:02Z
项目社区:
https://github.com/Alex-Linrk/danxiacrawler
开源协议:
下载
丹厦房产爬虫
爬取丹厦上指定条件的房产信息,并在使用web.py配合高德地图显示在地图上,点击显示详情
主要类:
danxiacrawler.py 爬虫工具类,负责爬取给定的入口URL下的所有网页上的房产基本信息,通过高德地图API以房产地址名称转换为经纬度,并进入二级界面爬取更多信息。
housedetail.py 房产信息类,抽象出的房产信息包括了(发布时间,房产编号,房产地址,小区名称,区域,总价(万),首付,楼层,详情链接,首付,建成时间,房产类型,维度,经度)等信息
insertdetails.py 房屋信息操作类,插入及搜索房屋信息类,使用sqlite数据库进管理,插入爬取到的数据,为了防止重复插入,以房产编号为主键
server_web.py 网页服务器,使用web.py搭建,通过读取爬取到的数据库,返回所有房屋信息
index.html 显示房屋信息主页默认127.0.0.1:8080访问
map.js 地图脚本,高德地图API相关信息,及在地图上添加坐标点功能
myrequest.js 请求房屋数据功能,对房屋数据根据经纬度进行合并,将同意经纬度下 的房屋信息合并到同一个Array下,点击时显示