随着大数据时代的到来，数据量不断增大，如何高效地处理和展示数据成为了一个重要的问题。Hadoop作为一种分布式存储和处理大数据的技术，具有较高的可扩展性和容错性，广泛应用于各个领域。而Echarts是一个基于JavaScript的数据可视化库，能够帮助开发者更方便地实现数据可视化效果。因此，基于Hadoop+Echarts的数据可视化平台的设计与实现能够帮助用户更好地理解和利用海量的商品信息数据。
关键词：数据可视化平台；Hadoop；Echarts；大数据
With the advent of the big data era, the amount of data is constantly increasing, and how to efficiently process and display data has be***e an important issue. Hadoop, as a distributed storage and processing technology for big data, has high scalability and fault tolerance, and is widely used in various fields. Echarts is a JavaScript based data visualization library that can help developers more easily achieve data visualization effects. Therefore, a data visualization platform based on Hadoop+Echarts can help users better understand and utilize the massive amount of product information data.
Key words: Data visualization platform; Hadoop; Echarts; Big data
1 绪论
1.1 研究背景
当前，大数据分析和数据可视化已成为各行各业的关键技术之一。随着互联网的普及和物联网设备的快速发展，数据量不断增加，其中包含了各种有价值的信息。因此，如何高效地处理、分析和展示这些海量数据成为了一个重要的挑战和机遇。本文将研究如何基于Hadoop+Echarts技术设计与开发一个数据可视化平台，利用该平台实现对商品信息进行数据分析和生成可视化，方便用户能够直观的以图表来理解数据分析结果。
Hadoop作为一种开源的分布式存储和计算框架，可以有效地处理大规模数据，并实现数据的高可靠性和高可用性。大数据处理技术已经在搜索引擎、社交网络、电子商务等领域得到了广泛应用，为各类企业和组织带来了巨大的商业价值。
而Echarts是一个基于JavaScript的数据可视化库，通过数据可视化技术则是将处理好的数据以直观的图表、图形等形式呈现出来，帮助人们更好地理解数据、发现规律和趋势，从而支持决策制定和问题解决。通过数据可视化，用户可以更快速地获取信息、做出分析与预测，并及时调整策略以适应市场变化。
1.2 研究意义
将Hadoop的分布式计算能力与Echarts的数据可视化能力结合起来，设计并实现一个高效、灵活、易用的数据可视化平台，能够为用户提供更全面、直观、智能的数据处理和分析服务，具有重要的理论和实践意义。首先，开发该平台，能够实现数据可视化，通过Echarts提供的各种可视化图表，将商品信息数据以直观、易懂的方式呈现给用户，帮助用户更深入地了解商品信息。完成数据处理与分析，利用Hadoop的分布式计算能力，对大量的商品信息数据进行高效的处理和分析，为用户提供更有价值的洞察和决策支持。对商品信息进行实时监控，通过数据可视化平台，实现对商品信息的实时监控，及时发现异常和变化，并进行相应的处理和调整。此外，平台提供个性化数据看板功能进行实现个性化的数据展示和分析工具，用户可以根据自身需求查看。
综上所述，基于Hadoop+Echarts的数据可视化平台设计与实现，能够提供高效、直观、安全的商品信息可视化服务，为用户提供决策和分析的数据支持。
1.3 国内外研究现状
国内外对于将Hadoop与数据可视化结合的研究已经有了一定的进展。以下是一些国内外研究的现状：
国内研究：近年来，国内的研究者们对于大数据分析和可视化的研究取得了一定的成果。他们主要关注于如何利用Hadoop分布式计算框架来实现大规模数据的处理和分析；同时，也在研究如何在数据可视化方面利用各种技术手段和工具来展示数据，提供更直观、有效的数据分析结果。
国外研究：在国外，学术界和工业界也对于将Hadoop与数据可视化结合的研究进行了广泛探索。许多研究者提出了各种不同的方法和技术，包括使用Hadoop进行数据预处理、多层次的数据聚合、数据分析和可视化的并行计算等。同时，也有很多开源工具和平台可以用于大数据处理和可视化，如Tableau、D3.js等。
总体而言，无论是国内还是国外，研究者们正在探索如何将Hadoop与数据可视化技术相结合，以提供更强大、高效和灵活的数据处理和分析服务。虽然已经取得了一些进展，但仍然存在一些挑战和问题需要进一步研究和解决。例如，在大数据处理过程中如何提高计算效率和数据可视化的实时性，如何有效地处理和展示多种类型、多源的数据等。
1.4 研究内容
本设计的目的在于使用户便捷高效比采集到需要的数据，并将数据清洗之后进行分析和可视化呈现。因比，本文将系统的功能需求分为数据采集部分、数据存储部分、数据分析部分、数据可视化交互部分，以下每个功能模块的需求分析。
- 数据采集部分
数据采集是在服务器端上进行操作的。启动后，系统会生成相应的任务采集数据表，然后启动引擎开始导入商品信息数据并存储到对应的MySQL数据库表中。
- 数据存储部分
数据存储部分主要是用MySQL数据库来存储导入的商品信息文本数据，包括店铺地址、商品价格、发布地址、店铺星级、商品评价、物流履约、售后服务、商品品牌、商品评论、好评数量、晒图数量、晒评单数、追评数量、中评数量、差评数量等数据信息等。
- 数据分析部分
对采集并储存好的数据进行数据分析。例如，分析其商品品牌、店铺信息、店铺名称、店铺好评、商品晒图、中差追评等数据的情况。
- 数据可视化交互部分
数据可视化交互部分将分析结果以可视化图表的形式展示出来，用户可以自由选择想要查询的图表信息。且用户可以下载所呈现的图表信息并保存到本地，方便随时查阅。
1.4 Hadoop框架
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming a***ess）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
1.5 Echarts数据可视化图表库
ECharts是一款基于JavaScript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。ECharts最初由百度团队开源，并于2018年初捐赠给Apache基金会，成为ASF孵化级项目。
2021年1月26日晚，Apache基金会官方宣布ECharts项目正式毕业。1月28日，ECharts 5线上发布会举行。ECharts，一个使用 JavaScript 实现的开源可视化库，可以流畅的运行在 PC 和移动设备上，兼容当前绝大部分浏览器（IE8/9/10/11，Chrome，Firefox，Safari等），底层依赖矢量图形库 ZRender，提供直观，交互丰富，可高度个性化定制的数据可视化图表。
1.6 MySQL数据库
MySQL是一个开源的关系型数据库管理系统（RDBMS），它是目前世界上最流行的数据库之一。MySQL由瑞典公司MySQL AB开发，并于2000年正式发布。它被广泛应用于各种规模的应用程序，从小型个人项目到大型企业级应用程序。由于MySQL具有灵活性、可靠性和性能优势，它在各种场景下都得到广泛应用，包括网站、企业级应用程序、移动应用程序、数据分析和物联网等。MySQL可以使用关系模型来组织数据，并使用结构化查询语言（SQL）进行数据库管理和数据操作；运行在多个操作系统上，包括Windows、Linux、MacOS等；支持横向和纵向扩展，可以通过添加更多的服务器节点或增加硬件资源来处理更大规模的数据和负载。
2 基于Hadoop+Echarts的数据可视化平台系统分析
系统需求分析是系统开发的一个关键环节，它在系统的设计和实现上起到了一个承上启下的位置。系统需求分析是对所需要做的系统进行一个需求的挖掘，如果分析的准确可以精准的解决现实中碰到的问题。如果分析不到位会影响后期系统的实现。一个系统的优秀程度需求分析也是占据了非常大的比例，如果需求分析不到位，后面的系统设计要实现就是一个偏离导航的设计。
2.1 可行性分析
2.1.1 技术可行性分析
基于Hadoop+Echarts的数据可视化平台的设计与实现是一个商品信息数据可视化，Hadoop作为一种分布式存储和处理大数据的技术，具有较高的可扩展性和容错性，广泛应用于各个领域。所以使用Hadoop技术框架能够对大量数据进行分布式处理，并对添加和导入到数据库的数据进行实时处理，同时，利用Echarts数据可视化图表库帮助快速实现数据可视化效果，并采用MySQL数据库进行数据的储存和管理，而在大学的学习中对于这些技术都已经学过，所以可以实现自己的自主开发。因此，该研究具有技术可行性。
2.1.2 经济可行性分析
在开发基于Hadoop+Echarts的数据可视化平台并不需要投入太多，开发工具、服务器、数据库等，都可以通过网络搜索、下载、安装，只需要一台普通的计算机就可以由自己独立完成操作，而且在系统功能规划上通过走访调查目前用户对基于Hadoop+Echarts的数据可视化平台的需求，了解它们对系统具体实现的功能需求，然后进行设计开发，不存在任何开销，因此，该研究具有经济可行性。
2.1.3 操作可行性分析
当下网络新时代，计算机已经得到了普及，多数人对计算机都比较的熟悉，知道如何使用它，当然也存在对计算机比较陌生的这一群体，也需要对其进行考虑。在进行基于Hadoop+Echarts的数据可视化平台页面的设计的时候，考虑到使用人群，可能也存在对计算机比较陌生的人，所以，在页面的设计方面，设计的很是简单、简洁，布局明了，色调明朗，让无论是对计算机陌生还是对计算机熟悉的使用者，都可以使用自如。因此，该研究具有操作可行性。
2.2 系统功能分析
2.2.1 功能性分析
按照基于Hadoop+Echarts的数据可视化平台的需求分析，主要为管理员模块，具体分析如下：
- 登录注册：管理员账号密码由系统生成，可使用账号密码可进行登录，使用系统功能，并对个人信息和密码进行管理。
- 系统用户：管理员可对管理员进行管控，包括进行增删改查操作，支持昵称搜索，可点击详情进行查看（邮箱用户名、昵称、密码、邮箱、状态）。
- 商品信息管理：管理员可查看大数据模块下所有的商品信息，可进行添加、删除操作，并可点击下载导入文档，下载数据表格另存为后再根据提示填写正确的数据类型信息，填写完毕后保存，再进行导入系统，即可显示可视化数据图表，可点击商品信息添加，添加填写并提交商品信息（店铺地址、商品价格、发布地址、店铺星级、商品评价、物流履约、售后服务、商品品牌、商品评论、好评数量、晒图数量、晒评单数、追评数量、中评数量、差评数量），可点击详情进行查看。
- 数据看板：可查看商品信息的数据分析和可视化信息，包括商品品牌、店铺信息、店铺名称、店铺好评、商品晒图、中差追评等信息数据分析和可视化图表，其中店铺信息数据图是根据数据表格信息生成的轮播数据图表，后台添加的所有数据都能够在这里展示，并可保存为图片，方便随时查阅。
2.2.2 非功能性分析
基于Hadoop+Echarts的数据可视化平台的非功能性需求比如平台的安全性怎么样，可靠性怎么样，性能怎么样，可拓展性怎么样等。具体可以表示在如下2-1表格中：
表2-1基于Hadoop+Echarts的数据可视化平台非功能需求表
| 安全性 |
主要指基于Hadoop+Echarts的数据可视化平台数据库的安装，数据库的使用和密码的设定必须合乎规范。 |
| 可靠性 |
可靠性是指基于Hadoop+Echarts的数据可视化平台能够安装用户的指示进行操作，经过测试，可靠性90%以上。 |
| 性能 |
性能是影响基于Hadoop+Echarts的数据可视化平台占据市场的必要条件，所以性能最好要佳才好。 |
| 可扩展性 |
比如数据库预留多个属性，比如接口的使用等确保了系统的非功能性需求。 |
| 易用性 |
用户只要跟着基于Hadoop+Echarts的数据可视化平台的页面展示内容进行操作，就可以了。 |
| 可维护性 |
基于Hadoop+Echarts的数据可视化平台开发的可维护性是非常重要的，经过测试，可维护性没有问题 |
2.3 系统用例分析
通过2.2的功能分析，得出了系统的用例图：
管理员是维护整个基于Hadoop+Echarts的数据可视化平台中所有数据信息的。可以进行登录，对系统用户、商品信息、数据看板等信息进行管理，对管理员角色用例如图2-1所示。
2.4 系统流程分析
2.4.1 登录流程分析
要使用系统的各项功能，就必须登录进入系统，系统登录流程如下图所示：
图2-2登录流程图
2.4.2 添加数据流程分析
系统中可以实现添加数据功能，添加数据时的流程如下图所示。
图2-3添加数据表据流程图
2.4.3 删除数据流程分析
在系统中经常会出现一些过期的数据，比如用户注销等，那就可以直接删除这些数据。删除数据流程如下图所示。
图2-4删除数据流程图
3 基于Hadoop+Echarts的数据可视化平台总体设计
本章主要讨论的内容包括基于Hadoop+Echarts的数据可视化平台的功能模块设计、数据库系统设计。
3.1 系统功能结构设计
系统在结构上的设计至关重要，要考虑周全，设计全面，一个完善的结构体系，能够满足用户在使用时的各种需求，这样会让提高程序的使用率，保证程序被长久的利用。在设计基于Hadoop+Echarts的数据可视化平台的结构时，也列入重点，采用模块化的方法来进行设计，即首先将大模块确定下来，再慢慢的将大模块进行补充完善，向下分支出小模块，一起共同组成的系统的结构体系，下图是该基于Hadoop+Echarts的数据可视化平台的结构设计图，直观明了的可以看出本项目程序的功能。
基于Hadoop+Echarts的数据可视化平台模块图如图3-1所示。
图3-1 基于Hadoop+Echarts的数据可视化平台功能模块图
3.2 数据库设计
数据库设计一般包括需求分析、概念模型设计、数据库表建立三大过程，其中需求分析前面章节已经阐述，概念模型设计有概念模型和逻辑结构设计两部分。
3.2.1 数据库概念结构设计
下面是整个基于Hadoop+Echarts的数据可视化平台中主要的数据库表总E-R实体关系图。
图3-2 基于Hadoop+Echarts的数据可视化平台总E-R关系图
3.2.2 数据库逻辑结构设计
在数据库表中我们会看到系统的表名、主键、外键等信息，我们通过数据库表的主键、外键把每个表关联起来，然后在界面中展示。本基于Hadoop+Echarts的数据可视化平台的主要的数据库表如下：
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
token_id |
int |
10 |
0 |
N |
Y |
临时访问牌ID |
|
| 2 |
token |
varchar |
64 |
0 |
Y |
N |
临时访问牌 |
|
| 3 |
info |
text |
65535 |
0 |
Y |
N |
||
| 4 |
maxage |
int |
10 |
0 |
N |
N |
2 |
最大寿命：默认2小时 |
| 5 |
create_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间： |
| 6 |
update_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
更新时间： |
| 7 |
user_id |
int |
10 |
0 |
N |
N |
0 |
用户编号: |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
auth_id |
int |
10 |
0 |
N |
Y |
授权ID： |
|
| 2 |
user_group |
varchar |
64 |
0 |
Y |
N |
用户组： |
|
| 3 |
mod_name |
varchar |
64 |
0 |
Y |
N |
模块名： |
|
| 4 |
table_name |
varchar |
64 |
0 |
Y |
N |
表名： |
|
| 5 |
page_title |
varchar |
255 |
0 |
Y |
N |
页面标题： |
|
| 6 |
path |
varchar |
255 |
0 |
Y |
N |
路由路径： |
|
| 7 |
position |
varchar |
32 |
0 |
Y |
N |
位置： |
|
| 8 |
mode |
varchar |
32 |
0 |
N |
N |
_blank |
跳转方式： |
| 9 |
add |
tinyint |
3 |
0 |
N |
N |
1 |
是否可增加： |
| 10 |
del |
tinyint |
3 |
0 |
N |
N |
1 |
是否可删除： |
| 11 |
set |
tinyint |
3 |
0 |
N |
N |
1 |
是否可修改： |
| 12 |
get |
tinyint |
3 |
0 |
N |
N |
1 |
是否可查看： |
| 13 |
field_add |
text |
65535 |
0 |
Y |
N |
添加字段： |
|
| 14 |
field_set |
text |
65535 |
0 |
Y |
N |
修改字段： |
|
| 15 |
field_get |
text |
65535 |
0 |
Y |
N |
查询字段： |
|
| 16 |
table_nav_name |
varchar |
500 |
0 |
Y |
N |
跨表导航名称： |
|
| 17 |
table_nav |
varchar |
500 |
0 |
Y |
N |
跨表导航： |
|
| 18 |
option |
text |
65535 |
0 |
Y |
N |
配置： |
|
| 19 |
create_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间： |
| 20 |
update_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
更新时间： |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
hits_id |
int |
10 |
0 |
N |
Y |
点赞ID： |
|
| 2 |
user_id |
int |
10 |
0 |
N |
N |
0 |
点赞人： |
| 3 |
create_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间： |
| 4 |
update_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
更新时间： |
| 5 |
source_table |
varchar |
255 |
0 |
Y |
N |
来源表： |
|
| 6 |
source_field |
varchar |
255 |
0 |
Y |
N |
来源字段： |
|
| 7 |
source_id |
int |
10 |
0 |
N |
N |
0 |
来源ID： |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
product_information_id |
int |
10 |
0 |
N |
Y |
商品信息ID |
|
| 2 |
store_name |
varchar |
64 |
0 |
Y |
N |
店铺名称 |
|
| 3 |
***modity_price |
int |
10 |
0 |
Y |
N |
0 |
商品价格 |
| 4 |
publishing_address |
varchar |
64 |
0 |
Y |
N |
发布地址 |
|
| 5 |
store_star_rating |
int |
10 |
0 |
Y |
N |
0 |
店铺星级 |
| 6 |
product_evaluation |
int |
10 |
0 |
Y |
N |
0 |
商品评价 |
| 7 |
logistics_performance |
int |
10 |
0 |
Y |
N |
0 |
物流履约 |
| 8 |
after_sale_service |
int |
10 |
0 |
Y |
N |
0 |
售后服务 |
| 9 |
product_brand |
varchar |
64 |
0 |
Y |
N |
商品品牌 |
|
| 10 |
product_reviews |
int |
10 |
0 |
Y |
N |
0 |
商品评论 |
| 11 |
number_of_positive_reviews |
int |
10 |
0 |
Y |
N |
0 |
好评数量 |
| 12 |
number_of_prints |
int |
10 |
0 |
Y |
N |
0 |
晒图数量 |
| 13 |
number_of_exposure_frequency_orders |
int |
10 |
0 |
Y |
N |
0 |
晒频单数 |
| 14 |
number_of_follow_up_reviews |
int |
10 |
0 |
Y |
N |
0 |
追评数量 |
| 15 |
number_of_mid_term_evaluations |
int |
10 |
0 |
Y |
N |
0 |
中评数量 |
| 16 |
number_of_negative_reviews |
int |
10 |
0 |
Y |
N |
0 |
差评数量 |
| 17 |
create_time |
datetime |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间 |
| 18 |
update_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
更新时间 |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
upload_id |
int |
10 |
0 |
N |
Y |
上传ID |
|
| 2 |
name |
varchar |
64 |
0 |
Y |
N |
文件名 |
|
| 3 |
path |
varchar |
255 |
0 |
Y |
N |
访问路径 |
|
| 4 |
file |
varchar |
255 |
0 |
Y |
N |
文件路径 |
|
| 5 |
display |
varchar |
255 |
0 |
Y |
N |
显示顺序 |
|
| 6 |
father_id |
int |
10 |
0 |
Y |
N |
0 |
父级ID |
| 7 |
dir |
varchar |
255 |
0 |
Y |
N |
文件夹 |
|
| 8 |
type |
varchar |
32 |
0 |
Y |
N |
文件类型 |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
user_id |
mediumint |
8 |
0 |
N |
Y |
用户ID：[0,8388607]用户获取其他与用户相关的数据 |
|
| 2 |
state |
smallint |
5 |
0 |
N |
N |
1 |
账户状态：[0,10](1可用|2异常|3已冻结|4已注销) |
| 3 |
user_group |
varchar |
32 |
0 |
Y |
N |
所在用户组：[0,32767]决定用户身份和权限 |
|
| 4 |
login_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
上次登录时间： |
| 5 |
phone |
varchar |
11 |
0 |
Y |
N |
手机号码：[0,11]用户的手机号码，用于找回密码时或登录时 |
|
| 6 |
phone_state |
smallint |
5 |
0 |
N |
N |
0 |
手机认证：[0,1](0未认证|1审核中|2已认证) |
| 7 |
username |
varchar |
16 |
0 |
N |
N |
用户名：[0,16]用户登录时所用的账户名称 |
|
| 8 |
nickname |
varchar |
16 |
0 |
Y |
N |
昵称：[0,16] |
|
| 9 |
password |
varchar |
64 |
0 |
N |
N |
密码：[0,32]用户登录所需的密码，由6-16位数字或英文组成 |
|
| 10 |
|
varchar |
64 |
0 |
Y |
N |
邮箱：[0,64]用户的邮箱，用于找回密码时或登录时 |
|
| 11 |
email_state |
smallint |
5 |
0 |
N |
N |
0 |
邮箱认证：[0,1](0未认证|1审核中|2已认证) |
| 12 |
avatar |
varchar |
255 |
0 |
Y |
N |
头像地址：[0,255] |
|
| 13 |
open_id |
varchar |
255 |
0 |
Y |
N |
针对获取用户信息字段 |
|
| 14 |
create_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间： |
| 15 |
vip_level |
varchar |
255 |
0 |
Y |
N |
会员等级 |
|
| 16 |
vip_discount |
double |
11 |
2 |
Y |
N |
0.00 |
会员折扣 |
| 编号 |
名称 |
数据类型 |
长度 |
小数位 |
允许空值 |
主键 |
默认值 |
说明 |
| 1 |
group_id |
mediumint |
8 |
0 |
N |
Y |
用户组ID：[0,8388607] |
|
| 2 |
display |
smallint |
5 |
0 |
N |
N |
100 |
显示顺序：[0,1000] |
| 3 |
name |
varchar |
16 |
0 |
N |
N |
名称：[0,16] |
|
| 4 |
description |
varchar |
255 |
0 |
Y |
N |
描述：[0,255]描述该用户组的特点或权限范围 |
|
| 5 |
source_table |
varchar |
255 |
0 |
Y |
N |
来源表： |
|
| 6 |
source_field |
varchar |
255 |
0 |
Y |
N |
来源字段： |
|
| 7 |
source_id |
int |
10 |
0 |
N |
N |
0 |
来源ID： |
| 8 |
register |
smallint |
5 |
0 |
Y |
N |
0 |
注册位置: |
| 9 |
create_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
创建时间： |
| 10 |
update_time |
timestamp |
19 |
0 |
N |
N |
CURRENT_TIMESTAMP |
更新时间： |
4 基于Hadoop+Echarts的数据可视化平台详细设计与实现
4.1管理员功能模块
4.1.1 登录模块的实现
管理员账号密码由系统生成，可使用账号密码可进行登录，使用系统功能，并对个人信息和密码进行管理，登录界面如下图所示。
4.1.2 系统用户模块的实现
可对普通用户和管理员进行管控，包括进行增删改查操作，点击可查看详情，界面如下图所示。
图4-2系统用户界面图
4.1.3 商品信息管理模块的实现
可查看所有商品信息数据信息，进行增改删查操作，并可进行点击下载导入文档，和点击导入操作，支持商品信息类型、商品信息名称搜索，可点击查看详情（商品信息类型、商品信息链接、商品信息名称、最新章节、商品信息作者、更新最新、商品信息简介）。界面如下图所示。
图4-3商品信息管理界面图
4.1.4 数据看板模块的实现
可查看商品信息的数据分析和可视化信息，包括商品品牌、店铺信息、店铺名称、店铺好评、商品晒图、中差追评等信息数据分析和可视化图表，其中店铺信息数据图是根据数据表格信息生成的轮播数据图表，后台添加的所有数据都能够在这里展示，并可保存为图片，方便随时查阅，界面如下图所示。
图4-4数据看板界面图
5系统测试
5.1测试目的
该系统能够完成商品信息选购，商品信息管理，商品信息评价管理，订单管理，用户管理等功能，做到所开发的系统操作简单，符合系统开放性要求，该系统能够在开放的硬件体系结构中运行，并且能与其他系统顺利连接。
5.2测试概述
根据系统测试目的并结合面向对象的测试方法，给出如下系统测试方案：
1、尽可能早的、并且不断地进行系统测试。因为错误发现的越早，修正它所付出的代价以及费用就会越小。
2、设计本测试用例时，应该给出测试的预期结果。一个合理的测试用例由两部分组成：主要有测试用的输入数据和该输入数据所期望的系统运行结果。
3、在设计本测试用例时，不仅需要有合法的输入测试用例，还应该要有非法的输入测试用例。因为，因为在系统的实际使用过程中，通常由于各种原因，用户往往会使用一些非法的输入测试用例来进行测试。测试用例为了测试系统的正确性和完整性，本节将对系统中重点模块的测试进行介绍。
5.3功能测试
（1）登录测试
登录测试用例如下表所示。
表6-1 登录测试用例
| 测试用例编号 |
YL_01 |
|
| 测试用例名称 |
系统使用者登录 |
|
| 测试用例描述 |
登录者输入用户名、密码和验证码 |
|
| 系统入口 |
浏览器 |
|
| 步骤 |
预期结果 |
实际结果 |
| 输入正确的用户名、密码和验证码 |
提示“登录成功”，并进入系统 |
预期结果 |
| 输入错误的用户名、密码和验证码 |
提示“登录失败”，并返回登录界面 |
预期结果 |
| 不输入用户名、密码和验证码 |
提示“请输入完整” |
预期结果 |
（2）添加商品信息测试
添加商品信息测试用例如下表所示。
表6-2 添加商品信息测试用例
| 测试用例编号 |
YL_02 |
|
| 测试用例名称 |
系统使用者进行添加商品信息 |
|
| 测试用例描述 |
使用者输入商品信息等信息 |
|
| 系统入口 |
浏览器 |
|
| 步骤 |
预期结果 |
实际结果 |
| 输入完整的商品信息 |
提示“添加成功”，并进入系统 |
预期结果 |
| 不输入的个别内容 |
提示“请输入完整” |
预期结果 |
（3）导入商品信息测试
导入商品信息测试用例如下表所示。
表6-3 导入商品信息测试用例
| 测试用例编号 |
YL_03 |
|
| 测试用例名称 |
系统使用者进行导入商品信息数据表格 |
|
| 测试用例描述 |
使用者下载导入文档，在文档中填写并保存商品信息，然后回到在系统界面进行导入 |
|
| 系统入口 |
浏览器 |
|
| 步骤 |
预期结果 |
实际结果 |
| 在下载的导入文档中正确输入商品信息，保存后再导入 |
提示“操作成功”，并进入系统 |
预期结果 |
| 没有另存为，填写信息 |
导入失败 |
预期结果 |
5.4集成测试
集成测试的方案主要如下所述：
1.将系统移植到另一台计算机上，运行出错。修改配置信息后运行成功。
2.用户信息管理模块综合测试，添加新用户roess，为其分配一般管理员角色，查看一般管理员角色权限，保存设置，以roess身份登录，查看所拥有权限。
3.最后按照 农产品销售管理系统的设计与实现，以不同角色的身份进入系统，对系统各模块功能进行测试，测试模块间逻辑功是否有误。
经过测试，发现此开发系统可以满足农产品销售管理系统流程的基本工作流程和基本要求。
结论
该数据可视化平台使用的开发环境是功能强大的，通过使用Hadoop技术框架对大量数据进行分布式处理，对于导入到的数据进行实时处理，利用Echarts数据可视化图表库实现可视化效果图表，并采用MySQL数据库进行数据的储存和处理，这些技术在大学的学科中都有重点学习过，在对这些技术学习、熟悉之后，结合对系统进行的需求分析顺利的完成了本次项目的设计。在最初接到任务书的那一刻，比较迷茫，没有任何的思路，在经过了老师的指导以后，调查了一些数据分析可视化系统相关的资料后，慢慢的有了头绪，开始入手开题，明确了系统的内容，对系统进行可行性的分析，确定系统可行以及功能内容以后，就按照开题初步设计的内容进行完善，慢慢补充、学习，最终结束了程序的开发，也完成了论文的写作。这一过程，虽然艰辛，但也学习到了很多，对项目开发流程也有了一个新的认识，动手能力也得到了提高，这正是书本上所学习不到的。
经过开发本项目，让我非常有成就高，与此同时我对程序的开发更加感兴趣了，信息技术真的很强大，也很深奥，在以后工作中，我将会寻找与其相关工作，继续深入学习，开发出更优秀的项目。
参考文献
[1]周玮.基于网络爬虫技术的财务大数据采集系统设计[J].中国新技术新产品,2024,(03):37-40.DOI:10.13612/j.***ki.***tp.2024.03.023.
[2]黎心怡,夏梓彤,庄嘉濠等.基于大数据技术的实时轨道交通分析预测可视化系统的设计与实现[J].电脑知识与技术,2023,19(29):71-74.DOI:10.14004/j.***ki.ckt.2023.1531.
[3]李威,邱永峰.基于Hadoop的电商大数据可视化设计与实现[J].现代信息科技,2023,7(17):46-49.DOI:10.19850/j.***ki.2096-4706.2023.17.009.
[4]杨政安.基于大数据技术的沉浸式虚拟现实可视化展示系统研究[J].信息系统工程,2023,(08):12-15.
[5]晋梓尧.新世纪中国科幻商品信息研究的知识图谱——基于***KI数据库的CiteSpace可视化分析[J].今古文创,2023,(17):130-133.DOI:10.20024/j.***ki.***42-1911/I.2023.17.041.
[6]朱毓.基于Hadoop与Spark的大数据处理平台的构建研[J].互联网周刊,2023,(07):87-89.
[7]农佳明.基于Hadoop的电商数据分析系统设计与实现[J].电子技术,2023,52(03):67-69.
[8]梁肇敏,梁婷婷.基于大数据技术的电商用户画像可视化系统设计与实现[J].智能计算机与应用,2023,13(03):242-245+249.
[9]陈丹,周启刚,艾军勇等.新工科背景下数据科学与大数据技术专业课程群模块化教学模式改革——以大数据集群与可视化课程群为例[J].西部素质教育,2023,9(01):138-141.DOI:10.16681/j.***ki.wcqe.202301035.
[10]元伟靖,陈复兴,戴左琴.基于Hadoop平台下医保智能分析系统的研究[J].中国当代医药,2022,29(36):145-147.
[11]燕翔,周瑾,赵海军.基于Hadoop的铁路货运大数据平台设计与应用[J].铁道运输与经济,2022,44(S1):170-175+182.DOI:10.16668/j.***ki.issn.1003-1421.2022.13.28.
[12]李颍春,姜丹.基于大数据技术的航天数据可视化系统设计[J].科技创新与应用,2022,12(32):6-10.DOI:10.19981/j.***23-1581/G3.2022.32.002.
[13]杨孟姣,杜棋东.基于Python爬虫网站数据分析系统设计与实现[J].计算机时代,2022,(11):81-83+88.DOI:10.16644/j.***ki.***33-1094/tp.2022.11.019.
[14]邱凯.基于Hadoop平台的大数据可视化分析实现与应用[J].电子技术与软件工程,2022,(19):184-187.
[15]林在宁,杨文杰,陈修洁.基于Hadoop的网站大数据分析系统设计[J].北京印刷学院学报,2022,30(09):61-64.DOI:10.19461/j.***ki.1004-8626.2022.09.010.
[16]卞咸杰.大数据时代智慧档案信息服务平台智能分析系统设计与实现[J].档案管理,2022,(05):40-43.DOI:10.15950/j.***ki.1005-9458.2022.05.031.
[17]李林国,查君琪,赵超等.基于Hadoop平台的大数据可视化分析实现与应用[J].西安文理学院学报(自然科学版),2022,25(03):53-58.
[18]杨立业.基于COG、Hadoop和 Spark的海量影像快速可视化共享方法[J].河北省科学院学报,2022,39(03):25-31.DOI:10.16191/j.***ki.hbkx.2022.03.013.
[19]刘丽.基于Hadoop高校大数据平台建设方案的研究[J].信息与电脑(理论版),2021,33(17):133-135.
[20]闫鹏,张林.基于Hadoop平台的交通大数据智能特征分析研究[J].华北理工大学学报(自然科学版),2020,42(03):80-88.
致 谢
通过这样设计与开发这样一个系统，首先向我们老师、同学和朋友表达真诚的感谢。没有指导老师的指导和平日子的教导，我也不能够学到如此多的专业知识。另外，也佩服老师兢兢业业的工作态度，给我们做好了表率。系统开发技术要学习的东西很多，前台框架、后台框架、业务流程、数据结构、操作系统等各种知识非常的丰富，都需要慢慢的专研。在这里，首先感谢老师细心的教导，我只想说一句：“老师，谢谢您，您辛苦了！有您在，大学生活才更加的充实。另外，我要感谢我的室友，由于知识掌握得不够产生各种问题，正因为有了你们的帮忙，给我提出很多很好的建议，才能更好的解决系统开发问题。同时，我也应该感谢那些计算机专业的先哲们，正是由于有这么一群人，才能把这样的专业研究得如此透彻，才能助力新世界的诞生。你们的理论，是我们一生学习的内容，你们的成就，是我们一生追求的目标。
最后，也希望自己在未来的道路上能够走得更远，不辜负在大学的学习，以及老师们的细致的教导。
免费领取项目源码，请关注❥点赞收藏并私信博主！
