闲鱼APP数据爬虫全面解析：从环境搭建到数据采集实战
【免费下载链接】xianyu_spider 闲鱼APP数据爬虫 项目地址: https://gitcode.***/gh_mirrors/xia/xianyu_spider
闲鱼APP数据爬虫是一款基于Python和uiautomator2的移动端数据采集工具，支持通过USB连接安卓设备实现闲鱼平台商品信息的自动化抓取，包括标题、价格、图片等关键数据，并支持导出Excel格式结果。本指南将帮助你快速掌握项目使用方法，实现高效、合规的数据采集。
一、项目概览
核心功能
- 关键词定向采集：支持自定义搜索关键词，精准获取目标商品数据
- 自动化滑动加载：模拟人工滑动行为，实现多页数据连续抓取
- 数据可视化输出：自动将采集结果导出为Excel文件，包含商品图片
- 智能反爬策略：内置随机延迟机制，降低被检测风险
技术架构
技术架构示意图
项目采用Python3.6+作为开发语言，核心依赖uiautomator2实现安卓设备控制，通过ADB工具建立电脑与手机的通信桥梁，结合Excel操作库实现数据持久化存储。整体架构轻量化设计，无需复杂配置即可快速上手。
二、核心组件详解
1. 主程序模块（xianyu.py）
作为项目唯一的核心脚本，集成了以下关键功能：
- 设备连接管理：通过u2.connect()建立与安卓设备的通信
- UI元素交互：基于resourceId定位闲鱼APP界面元素，实现搜索、点击等操作
- 数据解析引擎：从界面元素中提取商品标题、价格等结构化信息
- 图片处理机制：自动截取商品图片并保存到本地images目录
关键代码示例：
# 设备连接
d = u2.connect("设备ID")
# 关键词搜索
d(resourceId="***.taobao.idlefish:id/title").click()
d.send_keys(keyword, clear=True)
# 滑动加载
swipe_up() # 模拟向上滑动动作
2. 辅助工具模块
- 时间工具类（TimeUtil）：提供随机延迟、日期格式化等功能，支持反爬策略实施
- Excel处理模块：实现数据写入与图片嵌入，生成可视化报表
- 设备控制函数：封装滑动、点击、截图等基础操作，简化UI交互逻辑
3. 资源文件说明
- requirements.txt：项目依赖清单，包含uiautomator2、openpyxl等关键库
- example目录：存放项目截图和示例图片，包含运行效果演示
- images目录（自动生成）：临时存储采集过程中的商品截图
三、快速上手指南
1. 环境准备
硬件要求
- 安卓手机（Android 7.0+）：开启USB调试模式
- 电脑：Windows/macOS/Linux系统，安装Python3.6+环境
安装步骤
# 1. 克隆项目代码
git clone https://gitcode.***/gh_mirrors/xia/xianyu_spider
# 2. 进入项目目录
cd xianyu_spider
# 3. 创建虚拟环境
python -m venv venv
source venv/bin/activate # Linux/macOS
venv\Scripts\activate # Windows
# 4. 安装依赖包
pip install -r requirements.txt
设备连接
- 手机开启"开发者选项"和"USB调试"
- 通过USB数据线连接电脑
- 验证设备连接状态：
adb devices
# 正常输出示例：
# List of devices attached
# SNU0220A15007866 device
2. 运行流程
配置修改
- 打开xianyu.py文件，修改设备ID：
# 将"设备ID"替换为实际设备编号
d = u2.connect("SNU0220A15007866")
- 设置采集参数（文件末尾）：
keyword = '餐饮券' # 搜索关键词
max_page = 5 # 滑动加载次数（每页约20条数据）
启动采集
python xianyu.py
# 首次运行会在手机上安装辅助应用（相关应用）
查看结果
程序运行完成后，在项目根目录生成命名格式为"YYYY-MM-dd结果.xlsx"的Excel文件，包含以下信息：
- 商品标题
- 价格信息
- 商品图片
运行截图： 爬虫运行界面 Excel结果示例
四、高级配置技巧
1. 采集参数优化
- 调整滑动次数：修改max_page参数控制采集数量，建议单次不超过20次
- 修改搜索关键词：在main函数中设置keyword变量，支持中文、英文等任意字符
- 自定义延迟策略：修改TimeUtil.random_sleep()参数调整操作间隔，数值范围(2,5)表示2-5秒随机延迟
2. 反爬策略增强
- 随机用户行为模拟：在xianyu.py中扩展swipe_up()函数，增加滑动距离随机性
- 设备信息伪装：通过d.set_fastinput_ime()切换输入法，模拟真实用户操作
- 异常处理优化：添加try-except块捕获UI元素定位失败异常，提高程序稳定性
3. 调试工具使用
项目集成weditor辅助定位UI元素，方便自定义采集字段：
# 安装weditor
pip install weditor
# 启动调试工具
weditor
weditor调试界面
五、常见问题解决
设备连接问题
错误提示：device显示unauthorized 解决步骤：
- 手机端撤销USB调试授权
- 电脑端重启ADB服务：
adb kill-server
adb start-server
- 重新连接设备并在手机上确认授权
应用启动失败
错误提示：atxagent 下次必须通过adb启动 解决步骤：
adb shell
chmod 775 /data/local/tmp/atx-agent
/data/local/tmp/atx-agent server -d
数据采集不全
可能原因：
- 滑动次数不足：增加max_page参数值
- 元素定位失效：闲鱼APP更新导致UI变化，需使用weditor重新获取resourceId
- 网络延迟：在open_page_by_keyword()函数中增加TimeUtil.sleep(5)延长等待时间
六、免责声明
本项目仅用于学习研究目的，严禁用于任何商业用途或非法数据采集。使用本工具即表示您同意：
- 遵守相关法律法规及平台用户协议
- 控制采集频率，避免对目标服务器造成负担
- 自行承担因使用本工具产生的法律风险
建议在使用前先通过闲鱼平台（https://www.goofish.***/）查看并遵守平台规则，合理合法地使用数据采集技术。
通过本指南的学习，您已掌握闲鱼APP数据爬虫的核心使用方法。如需扩展功能，可基于xianyu.py进一步开发，例如添加多关键词轮询、定时采集任务或数据库存储功能。如有问题，欢迎查阅项目源码注释或提交issue反馈。
【免费下载链接】xianyu_spider 闲鱼APP数据爬虫 项目地址: https://gitcode.***/gh_mirrors/xia/xianyu_spider
