dee1024 / housedb翻译 / 编辑

最近提交:1月前
创建时间:2018.02.23

语言构成

Java89.3%
PLpgSQL10.7%

README

Housedb 1.2

房产信息网站大数据爬虫。部分数据来源于链家网站(http://www.lianjia.com ),请勿用于商业用途,仅供交流和个人娱乐。

特性

  • 定期更新房源数据 
  • 提供房源价格变动通知服务

数据预览

数据统计

  • 各个区域的房源数量情况
  • 各个区域的均价情况
  • 不同楼龄的房源数量情况
  • 关注数最高的房源情况

房源价格变更

安装说明

运行环境:JDK1.7+、Mysql、Elastic Stack(用于出报表,可选)

编译环境:JDK1.7+、Maven3

  • 步骤一:新建库命名为housedb并导入基础表结构和数据,执行 db/housedb.sql文件即可

  • 步骤二:配置 application.properties 文件

    1.Mysql数据源配置,redis配置请忽略

    2.设置每天定时任务执行的小时区间

    3.设置SMTP账号和接收通知的邮箱地址

    4.dev如果设置为true,则为"开发者模式",忽略定制任务执行小时区间的限制

    5.如果没有代理服务器,则把 needproxy 设置为 false

  • 步骤三:启动服务

java -jar housedb-20180410003739.jar
  • 步骤四:定时任务启动爬虫

    默认启动服务后,5分钟爬虫启动。爬虫会先生成当天的执行任务,记录在process 表中,然后逐一执行抓取房源索引,并记录在houseindex表,接着抓取房源明细,记录在house表。 爬虫初次抓,数据量大约为1w ~ 2w之前,这些都是目前在线房源数,初次不会做邮件通知。通知会在第二天爬虫做房源信息检查的时候,发现有新房源或者是房源价格调整,则会发起通知。

讨论区

说说你的看法