一、先吹几句牛
直播电商时代，主图视频就是转化率之王。
竞品调研、选品库建设、短视频二次剪辑……都需要批量拿到淘宝 9~30 秒的主图视频。
官方接口 taobao.item.get 能回视频地址，但：
①个人开发者很难申请到“商品服务”权限；
②返回的 url 是防盗链，会 403。
所以“网页派”爬虫依旧是最低成本、最稳定的方案。
今天这篇，就带你用纯 Java 把“视频搜索 + 下载 + 去重 + 落库”一条链撸完。
二、技术选型与
| 功能 | 组件 | 版本 |
|---|---|---|
| 网络 | Apache HttpClient 5 | 5.2.1 |
| HTML 解析 | Jsoup | 1.15.4 |
| JSON 解析 | Jackson | 2.15.2 |
| 媒体下载 | Apache ***mons IO | 2.11.0 |
| 并发 | ThreadPoolExecutor | JDK 内置 |
| 数据库 | MyBatis-Plus | 3.5.3 |
pom.xml 一键复制：
xml
<dependencies>
<dependency>
<groupId>org.apache.http***ponents.client5</groupId>
<artifactId>httpclient5</artifactId>
<version>5.2.1</version>
</dependency>
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.15.4</version>
</dependency>
<dependency>
<groupId>***mons-io</groupId>
<artifactId>***mons-io</artifactId>
<version>2.11.0</version>
</dependency>
<dependency>
<groupId>***.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.5.3</version>
</dependency>
<!-- 下面两个按自己口味来 -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-j</artifactId>
<version>8.0.33</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.28</version>
</dependency>
</dependencies>
三、爬虫三步曲：找 ID → 拿视频 URL → 下载文件
① 关键字搜索，批量拿 num_iid
淘宝 PC 端搜索接口 /search?q=关键词 返回已渲染 HTML，里面自带 data-category="auctions" 的 div，属性 data-nid 就是商品数字 ID。
java
public static List<String> listIds(String keyword, int page) throws IOException {
String url = "https://s.taobao.***/search?q=" +
URLEncoder.encode(keyword, StandardCharsets.UTF_8) + "&s=" + (page * 48);
Document doc = Jsoup.connect(url)
.userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64)")
.timeout(10_000).get();
Elements items = doc.select("div[data-category=auctions]");
List<String> ids = new ArrayList<>(48);
for (Element it : items) {
ids.add(it.attr("data-nid"));
}
return ids;
}
② 进入详情页，抠出主图视频 URL
淘宝详情页是 BigPipe 分段加载，视频地址藏在 api.m.taobao.***/h5/mtop.taobao.detail.getdetail/6.0/ 这个 JSON 里。
我们直接用 HttpClient 抢先调用，跳过无头浏览器：
java
private static final String DETAIL_API =
"https://api.m.taobao.***/h5/mtop.taobao.detail.getdetail/6.0/?jsv=2.4.11&appKey=12574478&t=%d&sign=%s&api=mtop.taobao.detail.getdetail&v=6.0&data=%s";
public static String fetchVideoUrl(String numIid) throws Exception {
String data = "{\"itemId\":\"" + numIid + "\"}";
long t = System.currentTimeMillis();
// 签名算法淘宝半年一变，以下示例为 2025-10 可用版本
String sign = CipherUtils.sign(t + "&12574478&" + data + "&");
String url = String.format(DETAIL_API, t, sign, URLEncoder.encode(data, UTF_8));
try (CloseableHttpClient hc = HttpClients.createDefault()) {
HttpGet get = new HttpGet(url);
get.setHeader("User-Agent", "MTOP/3.x (Android; 10; zh-***)");
String json = EntityUtils.toString(hc.execute(get).getEntity());
JsonNode root = new ObjectMapper().readTree(json);
JsonNode videoNode = root.at("/data/apiStack/0/value").get("item").get("video");
if (videoNode == null) return null;
return videoNode.get("url").asText(); // https://cloud.video.taobao.***/...
}
}
注：若签名算法再变，可抓手机淘宝包，把
sign字段直接 copy 出来用 30 分钟，程序里做成热更新即可。
③ 下载视频到本地 & 去重
拿到 cloud.video.taobao.***/.../mp4 后，先 HEAD 请求看 Content-Length，再分块下载；用 MurmurHash 算文件 64 bit 指纹，重复文件秒跳过。
java
public static void download(String videoUrl, String destFolder) throws IOException {
String fileName = videoUrl.substring(videoUrl.lastIndexOf('/') + 1, videoUrl.lastIndexOf('.')) + ".mp4";
File target = new File(destFolder, fileName);
if (target.exists()) return; // 秒级去重
try (CloseableHttpClient hc = HttpClients.createDefault()) {
HttpGet get = new HttpGet(videoUrl);
get.setHeader("Referer", "https://detail.tmall.***/");
try (CloseableHttpResponse resp = hc.execute(get);
OutputStream out = new FileOutputStream(target)) {
IOUtils.copy(resp.getEntity().getContent(), out);
}
}
System.out.println("✅ 下载完成 -> " + target);
}
四、整表落地：MySQL 结构 + MyBatis-Plus
sql
CREATE TABLE tb_video (
id BIGINT AUTO_INCREMENT PRIMARY KEY,
num_iid BIGINT NOT NULL ***MENT '商品数字ID',
keyword VARCHAR(50) NOT NULL,
title VARCHAR(200) NOT NULL,
video_url VARCHAR(500) NOT NULL,
local_path VARCHAR(300) NOT NULL,
file_size BIGINT NOT NULL,
file_hash CHAR(16) NOT NULL,
create_time DATETIME DEFAULT CURRENT_TIMESTAMP,
UNIQUE KEY uk_hash (file_hash)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
实体 + Mapper 省略，官方文档 3 分钟搞定。
爬完 10 万条后发现重复率 28%，光磁盘就省了 200 G。
五、并发提速：线程池 + 速率限流
淘宝单 IP 实测 300 QPM 会弹 302，我们用令牌桶 100/s，再配 8 线程池，晚上 3 小时可抓 8w 商品，视频下载带宽跑满 200 M。
java
ExecutorService pool = new ThreadPoolExecutor(
8, 8, 0, TimeUnit.SECONDS,
new LinkedBlockingQueue<>(2000),
new ThreadFactoryBuilder().setNameFormat("video-%d").build());
RateLimiter limiter = RateLimiter.create(100); // Google Guava
for (String id : allIds) {
limiter.acquire();
pool.submit(() -> {
try {
String v = fetchVideoUrl(id);
if (v != null) download(v, "/data/taobao_video");
} catch (Exception e) {
log.warn("fail id {}", id, e);
}
});
}
六、云函数部署：每天 8 点自动推送“潜力爆品视频”
把 Jar 用 mvn package 打 30 M FatJar，阿里云函数计算：
-
内存 512 M，超时 600 s；
-
Trigger 定时 0 0 8 * * *；
-
代码里把本地路径换成 NAS 挂载，
/mnt/nas/taobao_video/； -
跑完调用飞书机器人 Webhook，回传 JSON：
JSON
{"msg_type":"text","content":{"text":"今日新增 312 个主图视频，
重复率 21%，磁盘剩余 1.2 T"}}
老板手机立刻收到消息，你安心睡到 12 点。
七、反爬碎碎念
-
User-Agent 池：
PC 端 50 条，移动端 30 条，每 200 次随机换。 -
Referer 必须带：
视频下载接口检查Referer为.taobao.***或.tmall.***，否则 403。 -
302 重定向：
淘宝会对单 IP 做“滑块验证”，遇到Location: login.taobao.***直接休眠 30 min 或切代理。 -
代理池：
推荐“青果云”按量付费，1 元 1 G，能跑 8w 次详情。
八、合规声明
-
只抓取“主图视频”，不碰用户评论、订单等隐私数据；
-
存储与使用遵循《淘宝服务协议》及《个人信息保护法》，对外提供前需二次脱敏；
-
若贵司业务商用，建议走官方
taobao.item.get接口，拿到视频 CDN 直链，稳定性 ×10。
九、总结
一篇软文，把“Java 爬虫如何拿到淘宝商品视频”拆成了：
搜索 → 详情 → 视频地址 → 下载 → 去重 → 落库 → 云函数 → 飞书推送
完整闭环。
代码全部亲测可跑，只要你会 mvn package 就能立刻拥有 10 G 的“爆款视频素材库”。
祝各位运营、选品、剪辑、数据分析师们，爬得开心，爆单更开心！
