项目作者: Alex-Linrk

项目描述 :
丹厦房产爬虫,爬取丹厦上指定条件的房产信息,并在使用web.py配合高德地图显示在地图上,点击显示详情
高级语言: Python
项目地址: git://github.com/Alex-Linrk/danxiacrawler.git
创建时间: 2018-04-24T13:27:02Z
项目社区:https://github.com/Alex-Linrk/danxiacrawler

开源协议:

下载


丹厦房产爬虫

爬取丹厦上指定条件的房产信息,并在使用web.py配合高德地图显示在地图上,点击显示详情

主要类:

  • danxiacrawler.py 爬虫工具类,负责爬取给定的入口URL下的所有网页上的房产基本信息,通过高德地图API以房产地址名称转换为经纬度,并进入二级界面爬取更多信息。
  • housedetail.py 房产信息类,抽象出的房产信息包括了(发布时间,房产编号,房产地址,小区名称,区域,总价(万),首付,楼层,详情链接,首付,建成时间,房产类型,维度,经度)等信息
  • insertdetails.py 房屋信息操作类,插入及搜索房屋信息类,使用sqlite数据库进管理,插入爬取到的数据,为了防止重复插入,以房产编号为主键
  • server_web.py 网页服务器,使用web.py搭建,通过读取爬取到的数据库,返回所有房屋信息
  • index.html 显示房屋信息主页默认127.0.0.1:8080访问
  • map.js 地图脚本,高德地图API相关信息,及在地图上添加坐标点功能
  • myrequest.js 请求房屋数据功能,对房屋数据根据经纬度进行合并,将同意经纬度下 的房屋信息合并到同一个Array下,点击时显示