Spark技术茶话会 解密Spark性能优化之道 深度剖析实战案例 打造高性能Spark数据处理平台

Spark技术茶话会 解密Spark性能优化之道 深度剖析实战案例 打造高性能Spark数据处理平台

课程介绍

课程通过实战案例解析和性能调优技巧的讲解，帮助学员提升大数据处理系统的性能和效率。课程内容涵盖了Spark性能调优的各个方面，包括内存管理、并行度设置、数据倾斜处理、Shuffle调优、资源配置等关键技术和策略。学员将通过实际案例的演示和分析，掌握解决Spark应用性能问题的方法和技巧，从而提升数据处理效率，优化应用性能。无论您是初学者还是有一定经验的大数据工程师，本课程都将为您提供宝贵的实战经验和实用技能，助您成为Spark性能调优的专家。

课程目录

(1)\01-课前必学 (3讲)；目录中文件数:6个
├─01丨性能调优的必要性：Spark本身就很快，为啥还需要我调优？.m4a
├─01丨性能调优的必要性：Spark本身就很快，为啥还需要我调优？.pdf
├─02丨性能调优的本质：调优的手段五花八门，该从哪里入手？.m4a
├─02丨性能调优的本质：调优的手段五花八门，该从哪里入手？.pdf
├─开篇词丨Spark性能调优，你该掌握这些“套路”.m4a
├─开篇词丨Spark性能调优，你该掌握这些“套路”.pdf
(2)\02-原理篇 (5讲)；目录中文件数:10个
├─03丨RDD：为什么你必须要理解弹性分布式数据集？.m4a
├─03丨RDD：为什么你必须要理解弹性分布式数据集？.pdf
├─04丨DAG与流水线：到底啥叫“内存计算”？.m4a
├─04丨DAG与流水线：到底啥叫“内存计算”？.pdf
├─05丨调度系统：“数据不动代码动”到底是什么意思？.m4a
├─05丨调度系统：“数据不动代码动”到底是什么意思？.pdf
├─06丨存储系统：空间换时间，还是时间换空间？.m4a
├─06丨存储系统：空间换时间，还是时间换空间？.pdf
├─07丨内存管理基础：Spark如何高效利用有限的内存空间？.m4a
├─07丨内存管理基础：Spark如何高效利用有限的内存空间？.pdf
(3)\03-通用性能调优篇 (12讲)；目录中文件数:24个
├─08丨应用开发三原则：如何拓展自己的开发边界？.m4a
├─08丨应用开发三原则：如何拓展自己的开发边界？.pdf
├─09丨调优一筹莫展，配置项速查手册让你事半功倍！（上）.m4a
├─09丨调优一筹莫展，配置项速查手册让你事半功倍！（上）.pdf
├─10丨调优一筹莫展，配置项速查手册让你事半功倍！（下）.m4a
├─10丨调优一筹莫展，配置项速查手册让你事半功倍！（下）.pdf
├─11丨Shuffle的工作原理：为什么说Shuffle是一时无两的性能杀手？.m4a
├─11丨Shuffle的工作原理：为什么说Shuffle是一时无两的性能杀手？.pdf
├─12丨广播变量（一）：克制Shuffle，如何一招制胜！.m4a
├─12丨广播变量（一）：克制Shuffle，如何一招制胜！.pdf
├─13丨广播变量（二）：有哪些途径让SparkSQL选择BroadcastJoins？.m4a
├─13丨广播变量（二）：有哪些途径让SparkSQL选择BroadcastJoins？.pdf
├─14丨CPU视角：如何高效地利用CPU？.m4a
├─14丨CPU视角：如何高效地利用CPU？.pdf
├─15丨内存视角（一）：如何最大化内存的使用效率？.m4a
├─15丨内存视角（一）：如何最大化内存的使用效率？.pdf
├─16丨内存视角（二）：如何有效避免Cache滥用？.m4a
├─16丨内存视角（二）：如何有效避免Cache滥用？.pdf
├─17丨内存视角（三）：OOM都是谁的锅？怎么破？.m4a
├─17丨内存视角（三）：OOM都是谁的锅？怎么破？.pdf
├─18丨磁盘视角：如果内存无限大，磁盘还有用武之地吗？.m4a
├─18丨磁盘视角：如果内存无限大，磁盘还有用武之地吗？.pdf
├─19丨网络视角：如何有效降低网络开销？.m4a
├─19丨网络视角：如何有效降低网络开销？.pdf
(4)\04-Spark SQL 性能调优篇 (4讲)；目录中文件数:24个
├─20丨RDD和DataFrame：既生瑜、何生亮.m4a
├─20丨RDD和DataFrame：既生瑜、何生亮.pdf
├─21丨Catalyst逻辑计划：你的SQL语句是怎么被优化的？（上）.m4a
├─21丨Catalyst逻辑计划：你的SQL语句是怎么被优化的？（上）.pdf
├─22丨Catalyst物理计划：你的SQL语句是怎么被优化的（下）？.m4a
├─22丨Catalyst物理计划：你的SQL语句是怎么被优化的（下）？.pdf
├─23丨钨丝计划：Tungsten给开发者带来了哪些福报？.m4a
├─23丨钨丝计划：Tungsten给开发者带来了哪些福报？.pdf
├─24丨Spark3.m4a
├─24丨Spark3.pdf
├─25丨Spark3.m4a
├─25丨Spark3.pdf
├─26丨JoinHints指南：不同场景下，如何选择Join策略？.m4a
├─26丨JoinHints指南：不同场景下，如何选择Join策略？.pdf
├─27丨大表Join小表：广播变量容不下小表怎么办？.m4a
├─27丨大表Join小表：广播变量容不下小表怎么办？.pdf
├─28丨大表Join大表（一）：什么是“分而治之”的调优思路？.m4a
├─28丨大表Join大表（一）：什么是“分而治之”的调优思路？.pdf
├─29丨大表Join大表（二）：什么是负隅顽抗的调优思路？.m4a
├─29丨大表Join大表（二）：什么是负隅顽抗的调优思路？.pdf
├─30丨应用开发：北京市小客车（汽油车）摇号趋势分析.m4a
├─30丨应用开发：北京市小客车（汽油车）摇号趋势分析.pdf
├─31丨性能调优：手把手带你提升应用的执行性能.m4a
├─31丨性能调优：手把手带你提升应用的执行性能.pdf
(5)\05-结束语(2讲)；目录中文件数:2个
├─结束语丨在时间面前，做一个笃定学习的人.m4a
├─结束语丨在时间面前，做一个笃定学习的人.pdf



下载地址：

游客，如果您要查看本帖隐藏内容请回复

版权声明

1. 本站出于学习和研究的目的提供平台共会员进行交流和讨论，网站资源由会员从网上收集整理所得，版权属于原作者。

2. 网站所有资源是进行学习和研究测试之用，不得以任何方式用于商业用途。请在下载后24小时删除。

3. 灵感中国非常重视知识产权,如有侵犯任何第三方权益，请发邮件(linggancg@foxmail.com)及时联系，邮件请附（专利证书、商标注册证、著作权证书，以及知识产权人授权投诉方进行投诉的证明文件等有效证明），我们将第一时间核实并删除侵权帖子(3个工作日内处理完并邮件答复)。

本文地址: https://lingganchina.com/thread-38029-1-1.html

回复看看下载地址

学习了，谢谢分享

楼主发贴辛苦了，谢谢楼主分享！

辛苦了，谢谢分享。

不错不错，楼主您辛苦了。