数据分析实操篇：京东淘宝商品实时数据获取与分析

在电商行业蓬勃发展的当下，数据已然成为驱动决策的核心要素。无论是商家精准把控市场需求、制定营销策略，还是消费者做出明智的购物抉择，都离不开对电商平台商品数据的深入剖析。京东和淘宝作为国内电商领域的两大巨头，汇聚了海量的商品信息，如何高效地获取并分析这些实时数据，成为了众多从业者和研究者关注的焦点。

一、数据获取

（一）京东平台数据获取

1. API 接入

• 注册与认证：首先，开发者需登录京东开放平台，注册成为开发者账号。注册完成后，创建应用并提交相关信息审核。审核通过后，将获得用于 API 调用的 App Key 和 App Secret。这两个密钥就如同进入京东数据宝库的钥匙，务必妥善保管。
• 了解 API 接口：京东开放平台提供了丰富的 API 接口文档，涵盖商品、订单、用户等多个维度的数据接口。对于获取商品实时数据，常用的接口如 <代码开始>

jd.item.get

可根据商品 ID 获取商品详情，包括商品名称、品牌、价格、库存、描述、图片等信息。开发者需要仔细研读接口文档，明确每个接口的功能、请求参数、返回数据格式以及调用频率限制等关键信息。

• 构建请求与获取数据：以 Python 语言为例，使用 requests 库来发送 HTTP 请求获取数据。假设要获取商品 ID 为 123456 的商品详情，代码示例如下：

import requests

import hashlib

import time

app_key = '你的App Key'

app_secret = '你的App Secret'

method = 'jd.item.get'

timestamp = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())

version = '1.0'

format = 'json'

param_json = '{"num_iid":123456}'

# 生成签名

sign_str = app_secret + ''.join([f'{k}{v}' for k, v in sorted([

('app_key', app_key),

('format', format),

('method', method),

('param_json', param_json),

('timestamp', timestamp),

('version', version)

]).items()]) + app_secret

sign = hashlib.md5(sign_str.encode('utf - 8')).hexdigest().upper()

url = 'https://router.jd.com/api'

params = {

'app_key': app_key,

'format': format,

'method': method,

'param_json': param_json,

'timestamp': timestamp,

'version': version,

'sign': sign

}

response = requests.get(url, params = params)

if response.status_code == 200:

data = response.json()

print(data)

else:

print(f'请求失败，状态码：{response.status_code}')

在上述代码中，通过构建包含必要参数的请求 URL，并对请求参数进行签名认证，确保请求的合法性和安全性。京东服务器接收到请求后，会返回相应的商品数据，开发者可根据返回的 JSON 格式数据进行进一步解析和处理。

2. 网络爬虫（需谨慎使用）

• 分析页面结构：如果不使用 API，通过网络爬虫获取京东商品数据也是一种方式。以获取京东某类商品列表页数据为例，首先要分析页面结构。在浏览器中打开京东商品列表页面，如手机类商品（https://list.jd.com/list.html?cat=9987,653,655），使用浏览器的开发者工具（通常按 F12 键）查看页面源代码。可以发现商品信息包含在特定的 HTML 标签结构中，例如每个商品可能被包含在一个<div class="gl-item">标签内，商品名称在<div class="p-name">标签下的<a>标签内，价格在<div class="p-price">标签内等。

• 编写爬虫代码：使用 Python 的 BeautifulSoup 库和 requests 库编写爬虫代码。代码示例如下：

import requests

from bs4 import BeautifulSoup

url = 'https://list.jd.com/list.html?cat=9987,653,655'

headers = {

'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'

}

response = requests.get(url, headers = headers)

if response.status_code == 200:

soup = BeautifulSoup(response.text, 'html.parser')

item_list = soup.find_all('div', class_='gl-item')

for item in item_list:

product_name = item.find('div', class_='p-name').find('a').text.strip()

product_price = item.find('div', class_='p-price').find('i').text

print(f'商品名称：{product_name}，价格：{product_price}')

else:

print(f'请求失败，状态码：{response.status_code}')

需要注意的是，京东等电商平台有严格的反爬虫机制，直接使用爬虫可能会被封禁 IP。因此，在编写爬虫时要模拟真实用户行为，如设置合理的请求头（User - Agent）、控制请求频率、使用代理 IP 等。同时，要遵守相关法律法规和平台规定，不得恶意抓取数据。

（二）淘宝平台数据获取

1. API 接入

• • 注册与权限申请：开发者前往淘宝开放平台（淘宝开放平台）进行注册，创建应用并申请相应的 API 权限。淘宝开放平台的权限管理较为严格，不同的 API 接口可能需要不同等级的权限，例如获取商品详情的 <代码开始>

taobao.item.get

< 代码结束 >

接口可能需要申请特定的应用类目权限等。申请时需详细填写应用信息和使用场景说明，审核通过后获取 App Key 和 App Secret。

• • 熟悉 API 接口：淘宝的 API 接口文档对每个接口的功能、请求参数、返回数据格式等都有详细说明。与京东类似，<代码开始>

taobao.item.get

< 代码结束 >

接口用于根据商品 ID 获取商品详情，但淘宝的接口在参数设置和返回数据结构上可能与京东有所不同。例如，淘宝商品详情数据中可能包含更多关于商品属性、SKU（库存量单位）等详细信息。开发者要仔细研究文档，确保正确使用接口。

• • 调用 API 示例：同样以 Python 为例，使用 TopApi 库（需提前安装）调用淘宝 API 获取商品数据。代码示例如下：

from top.api import TbkItemInfoGetRequest

from top import appinfo

import top

# 填写你的App Key和App Secret

appkey = '你的App Key'

secret = '你的App Secret'

req = TbkItemInfoGetRequest()

req.set_app_info(appinfo(appkey, secret))

req.fields = 'num_iid,title,pict_url,price,volume'

req.num_iids = '567890' # 商品ID

try:

resp = req.getResponse()

if 'tbk_item_info_get_response' in resp:

item_info = resp['tbk_item_info_get_response']['results']['n_tbk_item'][0]

print(f'商品名称：{item_info["title"]}，价格：{item_info["price"]}，销量：{item_info["volume"]}')

except Exception as e:

print(f'调用API出错：{e}')

在上述代码中，通过设置请求参数并使用 App Key 和 App Secret 进行身份验证，向淘宝服务器发送请求获取商品数据。获取到的数据以 JSON 格式返回，开发者可根据业务需求提取所需字段。

2. 应对反爬虫策略（爬虫方式）

• 使用第三方数据服务：由于淘宝的反爬虫机制较为复杂，直接编写爬虫难度较大且风险较高。一种较为稳妥的方式是使用第三方数据服务，如集蜂云平台等。这些第三方服务通常与淘宝建立了合作关系，通过合法合规的途径获取数据，并以 API 或其他形式提供给用户。用户只需按照第三方平台的接口规范进行调用，即可获取淘宝商品数据，大大降低了开发成本和被封禁的风险。

• 利用 Python 爬虫技术结合反反爬虫手段：如果开发者希望自行编写爬虫，可结合 Selenium 等工具模拟真实用户行为。Selenium 可以驱动浏览器，模拟用户在浏览器中的操作，如打开页面、点击链接、滚动页面等。例如，使用 Selenium 和 ChromeDriver 来获取淘宝商品数据的代码示例如下：

from selenium import webdriver

from selenium.webdriver.common.by import By

import time

driver = webdriver.Chrome()

url = 'https://s.taobao.com/search?q=手机'

driver.get(url)

time.sleep(3) # 等待页面加载

item_list = driver.find_elements(By.CSS_SELECTOR, '.grid-item')

for item in item_list:

product_name = item.find_element(By.CSS_SELECTOR, '.title').text

product_price = item.find_element(By.CSS_SELECTOR, '.price').text

print(f'商品名称：{product_name}，价格：{product_price}')

driver.quit()

在实际应用中，还需要进一步优化代码，如设置随机的等待时间模拟用户真实操作速度，使用代理 IP 池防止 IP 被封禁，以及处理验证码等反爬虫措施。同时，要时刻关注淘宝反爬虫机制的变化，及时调整爬虫策略。

二、数据清洗

从京东和淘宝获取到的原始数据往往存在各种问题，需要进行清洗以提高数据质量，为后续分析提供可靠依据。

1. 去除重复数据：在数据抓取过程中，可能会由于各种原因导致部分数据重复，如网络请求重试等。对于结构化数据（如通过 API 获取的数据），可以通过对比数据的唯一标识字段（如商品 ID）来去除重复记录。例如，在 Python 中使用 pandas 库处理数据时，代码如下：

import pandas as pd

data = pd.read_json('京东商品数据.json') # 假设数据以JSON格式存储

data = data.drop_duplicates(subset='商品ID')

data.to_json('清洗后京东商品数据.json', orient='records', force_ascii=False)

对于非结构化数据（如通过爬虫获取的 HTML 页面数据解析后的结果），可以将数据转换为特定的数据结构（如字典列表），然后通过编写自定义函数来判断和去除重复项。

2. 处理缺失值：数据中可能存在某些字段值缺失的情况。对于数值型字段，如商品价格、销量等，如果缺失值较少，可以考虑使用均值、中位数或众数来填充。例如：

data['商品价格'] = data['商品价格'].fillna(data['商品价格'].mean())

对于文本型字段，如商品描述、品牌等，如果缺失值较多且对分析影响较大，可能需要重新获取数据或根据其他相关信息进行推测填充；如果缺失值较少，可以直接删除包含缺失值的记录，但要谨慎操作，以免丢失过多有效数据。

3. 异常值处理：异常值可能会对数据分析结果产生较大干扰。例如，商品价格可能出现极小或极大的异常值，这可能是由于数据录入错误或特殊促销活动导致的。可以通过绘制数据分布图（如箱线图）来识别异常值，然后根据业务逻辑进行处理。例如，如果商品价格低于某个合理阈值（如成本价的一定比例），可以认为是异常值，可将其修正为合理的价格（如最近一段时间的平均价格）或删除该记录。

import matplotlib.pyplot as plt

import pandas as pd

data = pd.read_json('清洗后京东商品数据.json')

plt.boxplot(data['商品价格'])

plt.show()

# 假设价格异常值范围为低于100或高于10000

data = data[(data['商品价格'] >= 100) & (data['商品价格'] <= 10000)]

data.to_json('最终清洗后京东商品数据.json', orient='records', force_ascii=False)

1. 数据标准化：将不同来源、不同格式的数据统一为相同的格式和编码，以便进行后续分析。例如，将商品价格统一为以元为单位的数值类型，将日期格式统一为 “YYYY - MM - DD” 等。对于商品分类等文本数据，可能需要建立标准的分类体系，将不同平台或不同表述的分类名称映射到统一的分类标准上。

三、数据分析

（一）常见数据分析方法

1. 描述性统计分析：通过计算数据的基本统计量，如均值、中位数、众数、标准差、最大值、最小值等，对商品数据的整体特征进行概括和描述。例如，计算京东平台上某类商品的平均价格、价格中位数以及价格标准差，可以了解该类商品价格的集中趋势和离散程度。

import pandas as pd

data = pd.read_json('最终清洗后京东商品数据.json')

price_mean = data['商品价格'].mean()

price_median = data['商品价格'].median()

price_std = data['商品价格'].std()

print(f'平均价格：{price_mean}')

print(f'价格中位数：{price_median}')

print(f'价格标准差：{price_std}')

1. 对比分析

• • 平台间对比：对比京东和淘宝同一类商品的价格、销量、评价等数据，分析两个平台在该类商品市场上的差异。例如，比较两个平台上手机类商品的平均价格，判断哪个平台在价格方面更具优势；对比同一品牌手机在两个平台的销量，了解不同平台用户对该品牌的偏好程度。

• • 时间序列对比：分析商品数据随时间的变化趋势，如某商品在过去一个月内的价格波动情况、销量的增长或下降趋势等。通过绘制时间序列图，可以直观地观察到数据的变化规律，帮助商家把握市场动态，制定合理的营销策略。例如，通过分析某商品每周的销量数据，发现周末销量明显高于工作日，商家可以在周末加大促销力度。

1. 关联分析：寻找商品数据中不同变量之间的关联关系，例如商品的属性（如颜色、尺寸、材质等）与销量之间的关联，以及商品之间的购买关联（如购买 A 商品的用户是否同时购买 B 商品）。常用的关联分析算法有 Apriori 算法等。通过关联分析，商家可以优化商品组合，进行精准营销。例如，如果发现购买电脑的用户经常同时购买鼠标和键盘，商家可以将这三种商品进行组合销售，提高客单价。

1. 聚类分析：将具有相似特征的商品聚成一类，以便更好地理解市场细分和消费者需求。例如，根据商品的价格、销量、评价等多个维度的特征，使用 K - Means 聚类算法对京东平台上的服装类商品进行聚类分析。可以将服装分为高端高销量高评价类、中低端高销量类、高端低销量高评价类等不同类别，针对不同类别的商品制定不同的运营策略。

from sklearn.cluster import KMeans

import pandas as pd

import numpy as np

data = pd.read_json('京东服装商品数据.json')

selected_features = data[['商品价格', '销量', '评价得分']]

X = np.array(selected_features)

kmeans = KMeans(n_clusters = 3)

kmeans.fit(X)

data['聚类标签'] = kmeans.labels_

print(data.groupby('聚类标签').mean())

（二）基于业务场景的分析应用

1. 商品定价策略：通过分析市场上同类商品的价格分布、竞争对手的价格策略以及消费者对价格的敏感度，为商品制定合理的价格。例如，如果发现某类商品在京东和淘宝平台上价格区间较窄，且消费者对价格变化较为敏感，商家可以适当降低价格以提高竞争力；如果商品具有独特的品牌价值或功能优势，可考虑采用差异化定价策略，制定相对较高的价格。

1. 库存管理：根据商品的实时销量、库存水平以及销售趋势预测，优化库存管理。对于销量持续增长的商品，及时增加库存，避免缺货；对于销量不佳的商品，合理控制库存，减少积压成本。例如，通过分析历史销量数据，使用时间序列预测模型（如 ARIMA 模型）预测某商品未来一周的销量，结合当前库存水平，确定是否需要补货以及补货的数量。

1. 用户行为分析与营销：通过分析用户对商品的浏览、点击、购买等行为数据，了解用户的偏好和购买决策过程，优化商品推荐系统和营销策略。例如，根据用户浏览和购买记录，使用协同过滤算法为用户推荐相关商品，提高用户购买转化率；分析不同营销活动对商品销量的影响，评估营销效果，调整营销策略。

四、数据可视化

将分析结果以直观的可视化形式呈现，能够更清晰地传达数据背后的信息，帮助决策者快速理解和做出决策。

1. 柱状图：常用于比较不同类别商品的某个指标，如不同品牌手机在京东和淘宝平台的销量对比。使用 Python 的 matplotlib 库绘制柱状图的代码示例如下：

import pandas as pd

import matplotlib.pyplot as plt

data = pd.read_json('手机销量对比数据.json')

x = data['品牌']

y1 = data['京东销量']

y2 = data['淘宝销量']

bar_width =</doubaocanvas>