广东开放大学大数据概论（专）期末考试试卷与参考答案

大数据概论（专）期末复习学习笔记

一、课程概述与考试重点

1.1 课程核心内容

广东开放大学《大数据概论》课程主要围绕以下内容展开：

- 大数据基础：定义、特征（4V模型）、发展历程

- 技术架构：Hadoop、Spark、NoSQL数据库、数据仓库与数据湖

- 处理流程：数据采集、清洗、存储、分析、可视化

- 工具与平台：MapReduce、HDFS、Hive、Pig、Flume、Kafka

- 应用领域：商业智能、医疗健康、智慧城市、金融风控

- 挑战与伦理：数据安全、隐私保护、法律法规（如GDPR、《个人信息保护法》）

1.2 考试形式与题型

- 题型分布：选择题（30%）、填空题（20%）、简答题（30%）、论述题（20%）

- 重点章节：第2章（技术架构）、第3章（处理流程）、第5章（应用与挑战）

- 高频考点：Hadoop与Spark的对比、数据清洗步骤、数据湖与数据仓库的区别

二、章节重点难点解析

2.1 大数据基础

重点概念：

- 4V特征：Volume（数据量大）、Velocity（处理速度快）、Variety（数据类型多样）、Value（价值密度低）

- 5V扩展：Veracity（数据真实性）、Variability（数据变化性）

- 大数据与传统数据区别：传统数据以结构化为主，大数据包含非结构化数据（如文本、图像、视频）

典型例题：

选择题：以下哪项不属于大数据的4V特征？

A. Volume

B. Velocity

C. Veracity

D. Variety

答案：C（Veracity是5V中的扩展特征）

2.2 技术架构

核心知识点：

- Hadoop生态系统：

- HDFS：分布式文件系统，解决海量数据存储问题

- MapReduce：分布式计算框架，处理批处理任务

- YARN：资源调度管理器

- HBase：分布式NoSQL数据库，支持随机读写

- Hive：基于Hadoop的数据仓库工具

- Spark与Hadoop对比：

| 对比项 | Hadoop | Spark |

||--|-|

| 计算模式 | 批处理为主 | 支持批处理、流处理、交互式查询 |

| 内存使用 | 磁盘IO优化 | 基于内存计算，速度更快 |

| 适用场景 | 大规模离线分析 | 实时分析、机器学习 |

典型例题：

简答题：简述Hadoop的三大核心组件及其功能。

参考答案：

1. HDFS（Hadoop Distributed File System）：分布式存储系统，提供高容错性、大容量数据存储。

2. MapReduce：分布式计算框架，负责数据并行处理。

3. YARN（Yet Another Resource Negotiator）：资源管理器，协调集群资源分配。

2.3 数据处理流程

重点步骤：

1. 数据采集：日志收集（Flume）、实时数据流（Kafka）、API接口（如Twitter API）

2. 数据清洗：去重、缺失值处理、异常值检测、格式标准化

3. 数据存储：HDFS、HBase、数据湖（如AWS S3）、数据仓库（如Hive）

4. 数据分析：HiveQL查询、Spark MLlib机器学习、Python/Pandas数据处理

5. 数据可视化：Tableau、Power BI、Matplotlib

典型例题：

填空题：在数据清洗过程中，常用的缺失值处理方法包括______、______和______。

答案：删除法、插值法、模型预测法

2.4 应用与挑战

应用场景：

- 商业智能：用户行为分析、精准营销（如电商平台推荐系统）

- 医疗健康：疾病预测、基因数据分析（如IBM Watson医疗应用）

- 智慧城市：交通流量监控、环境监测（如智能路灯系统）

- 金融风控：欺诈检测、信用评分（如支付宝风控模型）

挑战与伦理：

- 数据安全：加密技术、访问控制（如Kerberos认证）

- 隐私保护：匿名化、差分隐私（如欧盟GDPR要求）

- 技术挑战：数据一致性、计算资源优化、实时性要求

典型例题：

论述题：结合实例，分析大数据在医疗健康领域的应用及其面临的挑战。

参考答案：

- 应用实例：通过分析患者的电子健康记录（EHR）和基因数据，预测疾病风险（如癌症早期筛查）。

- 挑战：

1. 隐私问题：患者数据需严格匿名化处理，符合HIPAA等法规。

2. 数据质量：医疗数据可能包含不完整或错误信息，需加强清洗。

3. 伦理争议：基因数据的滥用可能导致遗传歧视。

三、期末考试模拟试卷与参考答案

3.1 选择题（每题2分，共15题）

1. 以下不属于大数据存储技术的是：

A. HDFS

B. MySQL

C. HBase

D. Cassandra

答案：B（MySQL是传统关系型数据库）

3.2 填空题（每空2分，共10空）

1. 大数据的4V特征包括Volume、Velocity、______和______。

答案：Variety、Value

3.3 简答题（每题8分，共3题）

1. 简述数据湖与数据仓库的区别：

答案：

- 数据湖：存储原始数据（结构化、半结构化、非结构化），无需预处理；

- 数据仓库：存储经过清洗和结构化的数据，面向特定分析需求。

3.4 论述题（每题20分，共1题）

题目：论述大数据在金融行业中的典型应用场景，并说明其技术实现路径。

参考答案：

1. 应用场景：

- 欺诈检测：实时分析交易数据，识别异常行为模式。

- 信用评分：整合用户社交、消费等多维度数据，构建评分模型。

- 高频交易：利用流数据处理技术（如Spark Streaming）快速决策。

2. 技术实现：

- 数据采集：通过API或日志系统实时获取交易数据。

- 数据存储：使用HDFS或NoSQL数据库（如MongoDB）存储原始数据。

- 数据处理：

- 批处理：Hive进行离线分析。

- 流处理：Flink或Spark Streaming进行实时计算。

- 分析建模：Spark MLlib训练分类模型（如随机森林）。

- 可视化：通过Tableau展示风险评分结果。

四、复习建议

4.1 复习策略

1. 重点章节强化：

- 第2章技术架构：理解Hadoop、Spark、NoSQL的优缺点及适用场景。

- 第3章处理流程：掌握数据清洗、存储、分析的具体步骤和工具。

2. 题型针对性训练：

- 选择题：整理术语表（如4V、5V、技术对比）。

- 简答题：用思维导图梳理流程图（如数据处理的5个步骤）。

- 论述题：结合案例，总结应用模式和技术栈。

3. 工具与平台：

- 掌握Hadoop生态工具（HDFS、MapReduce、Hive）的命令行操作和应用场景。

- 熟悉Python中Pandas、NumPy、Matplotlib的基础用法。

4.2 易错点总结

- 数据湖与数据仓库混淆：需强调存储形式和使用目的的差异。

- MapReduce与Spark的计算模式：注意批处理与内存计算的区别。

- 数据清洗步骤遗漏：容易忽略数据标准化和格式统一。

五、参考答案与解析

5.1 选择题解析

- 第1题：MySQL属于传统数据库，不支持海量非结构化数据存储，而其他选项均为大数据存储技术。

5.2 简答题解析

- 第3