vlambda博客
学习文章列表

RAPIDS 是一套开源软件库和 API，可完全在 GPU 上执行端到端数据科学和分析流程，能够实现大幅的速度提升，在大型数据集上尤是如此。用于 Apache Spark 的 RAPIDS 加速器基于 NVIDIA CUDA 和 UCX 构建，支持 GPU 加速的 SQL/DataFrame 操作和 Spark shuffle，且无需更改代码。

Spark 3.0 支持 SQL 优化器插件，使用列式批量（而非行式）处理数据。列式数据非常适合 GPU，并且 RAPIDS 加速器可插入此功能以加速 SQL 和 DataFrame 运算符。针对 RAPIDS 加速器，Catalyst 查询优化器进行了修改，可识别通过 RAPIDS API 加速的查询方案（主要是一对一映射）中的运算符，并可在执行查询方案时在 Spark 集群中的 GPU 上调度这些运算符。

在阶段之间从现有 DataFrame 创建新 DataFrame 时，按值对数据进行排序、分组或合并的 Spark 操作必须移动分区之间的数据，此过程称为 shuffle，其中涉及磁盘 I/O、数据序列化和网络 I/O。新的 RAPIDS 加速器 shuffle 实施利用 UCX 优化 GPU 数据传输，尽可能在 GPU 上保留更多的数据，通过使用优质的可用硬件资源，找到在节点间移动数据的快速路径（包括绕过 CPU 执行 GPU 到 GPU 显存的节点内和节点间传输）。

为推动旨在更好地统一深度学习和数据处理的重要 Spark 计划，GPU 在 Apache Spark 3.0 中现已成为可调度资源。这使得 Spark 能够使用特定数量的 GPU 来调度执行程序，并且用户可以指定每个任务所需的 GPU 数量。Spark 将这些资源请求传送至底层集群管理器、Kubernetes、YARN 或 Standalone。用户还可以配置发现脚本，检测集群管理器分配的 GPU。这大大简化了需要 GPU 的 ML 应用程序的运行，因为之前用户需要处理 Spark 应用程序中缺少 GPU 调度的问题。

XGBoost 是一种可扩展的分布式梯度提升决策树 (GBDT) ML 库。

XGBoost 提供并行树提升功能，是应用于回归、分类和排序问题的出色 ML 库。RAPIDS 团队与 Distributed Machine Learning Common (DMLC) XGBoost 组织密切合作，而且 XGBoost 现已包含无缝嵌入式 GPU 加速。另外，Spark 3.0 XGBoost 现已与 Rapids 加速器集成，借助 Spark SQL/DataFrame 操作的 GPU 加速、XGBoost 训练时间的 GPU 加速，以及内存优化存储功能的高效 GPU 显存利用率，可改善性能、准确性和成本。

在 Spark 3.0 中，您现在可以有单个流程，从数据提取到数据准备，再到在 GPU 驱动的集群上训练模型，皆包含在内

欺诈检测

对于需要快速决策并涉及多个数据源的情况而言，运行快速的 Spark 是不二之选。例如，金融机构检测信用卡欺诈的方法之一是，分析单一帐户上的交易量和交易地点。如果交易次数超出个人能力范围，或者多个交易发生在不同地点，而交易地点相距不合情理，则表明一个帐户已被泄露。

银行可以使用 Apache Spark 来根据使用模式创建帐户持有者的统一视图。机器学习可用于根据先前观察到的模式，检测超出规范的模式。这还可以使机构更好地根据客户个人需求来定制优惠。

医疗健康

在美国，药物的不良相互作用是第四大致死原因，排在肺癌、糖尿病和肺炎之前。确定多种药物如何相互作用以对患者造成不良后果，这一问题的复杂程度呈指数级增加，随着新药不断推出，这一问题在每一年都更加复杂。

借助 Spark，数据科学家可以创建算法，扫描数百万份病例记录并查找提及的药物类型。某些药物的组合可以与治疗结果相关联，并按原先存在的状况和病史等因素加权。然后可以将结果应用于个别患者的健康记录，在开具处方或填写处方之前提醒医生和药师注意出现不良反应的可能性。

Spark 3.0 是数据科学家和数据工程师在分析和 AI 领域协作的一个重要里程碑，其使 ETL 操作得到加速，同时 ML 和 DL 应用程序也能够利用相同的 GPU 基础设施。

数据科学团队

将数据转化为可用形式需要完成众多普通任务，数据科学的“魔力”对此也无计可施。该过程涉及对数百万或数十亿条记录中的非结构化数据（例如邮政编码、日期和 SKU 编号）进行分类和排序。数据集越大，处理时间越长。据估计，数据准备会占用数据科学家 80% 的时间。

Hadoop 是一项大规模执行数据分析的突破性技术，使数据科学家能够针对超大型数据存储执行查询。但是，处理时间通常很长，尤其是在需要对现有数据集执行重复扫描时，这在进行分类和数据发现时经常发生。

Spark 专为跨大型数据集的迭代查询而构建。与 Hadoop/MapReduce 相比，其速度快达 100 倍，迅速获得了数据科学家的青睐。Spark 还可轻松适应 Python、R 和 Scala 等面向数据科学的开发语言。由于大多数数据科学家都习惯于使用单个编程工具，因此 Spark 能够轻松适应个人需求。

Spark SQL 还引入了名为 DataFrame 的数据抽象概念，该概念支持结构化和半结构化数据，并且支持多语言操作。通过这种概念，熟悉的 SQL 语言能够以新方式应用于非结构化数据。Spark ML 提供了一套统一的高级别 API，这些 API 基于 DataFrame 构建，用于搭建 ML 流程或 ML 工作流程。基于 DataFrame 构建 ML 流程可实现分区数据处理的可扩展性，且便于通过 SQL 进行数据操作。

数据工程团队

数据工程师弥补了数据科学家与开发者之间的差距。数据科学家选择合适的数据类型和算法来解决问题，而数据工程师则与数据科学家和开发者开展合作，处理与数据流程创建相关的所有工作，用于数据提取转换、存储和分析，以构建大数据分析应用程序。

Spark 将复杂性从存储方程中抽象出来。该框架可以处理几乎任何底层存储（包括 Hadoop 分布式文件系统），因此比 Hadoop 更灵活，更适用于云和本地基础设施的组合。Spark 还可以轻松整合流数据源，使其成为适用于新一代物联网应用程序的引擎。