首次购买高性能云服务器,享低至2折优惠

搜搜吧

查看: 8|回复: 0

[资讯] Python爬取房产数据,在地图上展现![含3P]

[复制链接]
  • TA的每日心情
    奋斗
    昨天 16:50
  • 签到天数: 474 天

    [LV.9]以坛为家II

    硕士生

    8802

    主题

    9295

    帖子

    3万

    积分

    Rank: 8Rank: 8

    UID
    15343
    威望
    -490
    贡献
    5910
    在线时间
    182 小时
    注册时间
    2015-10-12
    发表于 2019-1-11 15:17:59 | 显示全部楼层 |阅读模式
    推广者专属福利,新客户无门槛领取总价值高达2775元代金券,每种代金券限量500张,先到先得。

    8105df65f2d58875cf3fd04f8240becd.jpg-wh_651x-s_669209033.jpg

    小伙伴,我又来了,这次我们写的是用python爬虫爬取乌鲁木齐的房产数据并展示在地图上,地图工具我用的是 BDP个人版-免费在线数据分析软件,数据可视化软件 ,这个可以导入csv或者excel数据。

    • 首先还是分析思路,爬取网站数据,获取小区名称,地址,价格,经纬度,保存在excel里。再把excel数据上传到BDP网站,生成地图报表

    本次我使用的是scrapy框架,可能有点大材小用了,主要是刚学完用这个练练手,再写代码前我还是建议大家先分析网站,分析好数据,再去动手写代码,因为好的分析可以事半功倍,乌鲁木齐楼盘,2017乌鲁木齐新楼盘,乌鲁木齐楼盘信息 - 乌鲁木齐吉屋网 这个网站的数据比较全,每一页获取房产的LIST信息,并且翻页,点进去是详情页,获取房产的详细信息(包含名称,地址,房价,经纬度),再用pipelines保存item到excel里,最后在bdp生成地图报表,废话不多说上代码:

    JiwuspiderSpider.py

    • # -*- coding: utf-8 -*-
    • from scrapy import Spider,Request
    • import re
    • from jiwu.items import JiwuItem
    • class JiwuspiderSpider(Spider):
    •     name = "jiwuspider"
    •     allowed_domains = ["wlmq.jiwu.com"]
    •     start_urls = ['http://wlmq.jiwu.com/loupan']
    •     def parse(self, response):
    •         """
    •         解析每一页房屋的list
    •         :param response:  
    •         :return:  
    •         """
    •         for url in response.xpath('//a[@class="index_scale"]/@href').extract():
    •             yield Request(url,self.parse_html)  # 取list集合中的url  调用详情解析方法
    •         # 如果下一页属性还存在,则把下一页的url获取出来
    •         nextpage = response.xpath('//a[@class="tg-rownum-next index-icon"]/@href').extract_first()
    •         #判断是否为空
    •         if nextpage:
    •             yield Request(nextpage,self.parse)  #回调自己继续解析
    •     def parse_html(self,response):
    •         """
    •         解析每一个房产信息的详情页面,生成item
    •         :param response:  
    •         :return:  
    •         """
    •         pattern = re.compile('<script type="text/javascript">.*?lng = \'(.*?)\';.*?lat = \'(.*?)\';.*?bname = \'(.*?)\';.*?'
    •                              'address = \'(.*?)\';.*?price = \'(.*?)\';',re.S)
    •         item = JiwuItem()
    •         results = re.findall(pattern,response.text)
    •         for result in results:
    •             item['name'] = result[2]
    •             item['address'] = result[3]
    •             # 对价格判断只取数字,如果为空就设置为0
    •             pricestr =result[4]
    •             pattern2 = re.compile('(\d+)')
    •             s = re.findall(pattern2,pricestr)
    •             if len(s) == 0:
    •                 item['price'] = 0
    •             else:item['price'] = s[0]
    •             item['lng'] = result[0]
    •             item['lat'] = result[1]
    •         yield item

    item.py

    • # -*- coding: utf-8 -*-
    • # Define here the models for your scraped items
    • #
    • # See documentation in:
    • # http://doc.scrapy.org/en/latest/topics/items.html
    • import scrapy
    • class JiwuItem(scrapy.Item):
    •     # define the fields for your item here like:
    •     name = scrapy.Field()
    •     price =scrapy.Field()
    •     address =scrapy.Field()
    •     lng = scrapy.Field()
    •     lat = scrapy.Field()
    •     pass

    pipelines.py 注意此处是吧mongodb的保存方法注释了,可以自选选择保存方式

    • # -*- coding: utf-8 -*-
    • # Define your item pipelines here
    • #
    • # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    • # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
    • import pymongo
    • from scrapy.conf import settings
    • from openpyxl import workbook
    • class JiwuPipeline(object):
    •     wb = workbook.Workbook()
    •     ws = wb.active
    •     ws.append(['小区名称', '地址', '价格', '经度', '纬度'])
    •     def __init__(self):
    •         # 获取数据库连接信息
    •         host = settings['MONGODB_URL']
    •         port = settings['MONGODB_PORT']
    •         dbname = settings['MONGODB_DBNAME']
    •         client = pymongo.MongoClient(host=host, port=port)
    •         # 定义数据库
    •         db = client[dbname]
    •         self.table = db[settings['MONGODB_TABLE']]
    •     def process_item(self, item, spider):
    •         jiwu = dict(item)
    •         #self.table.insert(jiwu)
    •         line = [item['name'], item['address'], str(item['price']), item['lng'], item['lat']]
    •         self.ws.append(line)
    •         self.wb.save('jiwu.xlsx')
    •         return item

    最后报表的数据

    f2bd2ec57e0db948631d79add43668e6.jpg

    mongodb数据库

    f3feaf38ebda775941f594a4e7228177.jpg

    地图报表效果图:https://me.bdp.cn/share/index.html?shareId=sdo_b697418ff7dc4f928bb25e3ac1d52348


    楼主热帖排行榜
    搜搜吧社区温馨提示:
    搜搜吧(www.sosoba.org)十分重视网络版权及其他知识产权的保护,针对网络侵权采取如下版权政策:
    1、本站有理由相信网友侵犯任何人的版权或作品,(图文,文字,下载,视频,非法传播),本站有权不事先通知即删除涉嫌侵权的作品和内容!
    2、本站将采取必要的网络技术手段,确认为侵权作品或内容的用户有权进行警告、屏蔽、删除的行为,尽可能的防止侵权行为的发生!
    3、如若您的作品或内容在搜搜吧被侵权,请及时联系我们并提供能证明版权所有的物品,我们将及时进行处理,给您造成不便,敬请谅解!
    4、搜搜吧删帖,投诉,举报,侵权,账号解封唯一指定快速受理频道,请直接发送邮件到 kefu-sosoba@qq.com 一个工作日内核实并邮件通知立即删除
    soso搜搜吧社区是聚合百度搜索,搜狗搜索,360搜索,新闻,教育,站长,广告,娱乐,影视,微信,网盘,营销,手机,汽车,游戏,论坛综合为一体的大型门户社区www.sosoba.org
    Powered by www.sosoba.org X3.4© 2013-2019 搜搜吧社区 小黑屋|手机版|地图|关于我们|新闻资讯|soso吧社区
    搜搜吧社区官网创建于2013年07月23日,本站内容均为会员发表,并不代搜搜吧社区立场,请遵守当地相关法律,客服邮箱: kefu-sosoba@qq.com
    本站所有的内容均来自互联网以及第三方作者自由发布、本站soso搜搜吧不承担任何的法律责任、若有侵权请来信告知,我们在收到举报后的一个工作日内立即删除
    推荐使用:chrmoe谷歌浏览器,搜狗浏览器,QQ浏览器,360极速浏览器,360安全浏览器,猎豹浏览器,火狐浏览器,世界之窗,百度浏览器,Safari浏览器,ios,Android

    GMT+8, 2019-1-19 03:46 , Processed in 1.187500 second(s), 30 queries , Gzip On.

    快速回复 返回顶部 返回列表