在这个数据驱动的时代，掌握大数据技术和高性能计算（HPC）已成为众多行业创新和发展的关键。本课程“大数据平台搭建与高性能计算实战”旨在为学员提供从理论到实践的全方位培训，帮助他们构建稳固的大数据技术基础，并探索高性能计算在实际应用中的无限可能。
本课程适合对大数据技术感兴趣的专业人士，包括但不限于IT专业人员、数据科学家、科研工作者以及任何希望深入了解大数据与高性能计算领域的个人。无论是想全面掌握大数据技术栈，还是专注于某一特定技术或应用场景，本课程都能为您提供宝贵的知识和实践经验。
课程特色
- 双轨融合：覆盖大数据与HPC交叉领域（如AI训练加速、实时流计算） ；
- 企业级实战：基于互联网企业真实案例设计实验场景；
- 云原生扩展：Kubernetes实现混合云资源弹性调度。
一、培训对象
IT专业人员：包括软件开发者、系统架构师和数据库管理员等，他们希望深入了解大数据技术栈，并能够构建和维护大数据解决方案。
数据科学家和分析师：那些需要处理大规模数据集的专业人士，他们希望通过学习如何利用大数据平台来提升数据分析的效率和准确性。
项目经理和技术领导者：负责领导技术团队完成大数据项目实施的人群，他们需要了解大数据平台的基本原理以及如何有效地管理相关项目。
科研工作者：在学术界或工业研究部门工作的个人，他们可能需要使用高性能计算资源来进行复杂的数据分析或模拟实验。
对大数据技术感兴趣的学习者：任何对大数据技术和应用感兴趣的个人，无论其背景是计算机科学、工程学还是其他领域，都可以从这类课程中受益。
企业中的决策制定者：为了更好地理解大数据技术能如何推动业务增长，一些非技术人员如企业的中高层管理者也可能参加此类培训，以获取关于大数据技术的基础知识及其潜在商业价值的理解。
培训内容
第1部分 大数据基础与生态体系
1. 大数据技术导论
- 大数据4V特征（体量、速度、多样性、价值）与行业趋势（电商、金融、智慧城市）
- 主流技术栈对比：Hadoop、Spark、Flink适用场景及选型策略
- 企业级大数据平台架构设计：分布式存储（HDFS）、资源调度（Yarn/Kubernetes）
2. Hadoop集群部署实战
- 环境准备：Linux系统配置、SSH免密登录、JDK安装
- 完全分布式集群搭建：HDFS高可用模式、Yarn资源管理配置
- 验证与测试：HDFS文件操作、MapReduce单词统计案例
第2部分 数据采集与分布式计算
1. 数据集成工具实践
- 离线数据迁移：Sqoop从MySQL导入HDFS/Hive
- 实时数据采集：Flume日志收集、Kafka消息队列搭建
2. 分布式计算框架开发
- MapReduce编程模型：WordCount代码解析与优化
- Spark核心原理：RDD操作与性能调优（内存管理、并行度设置）
- 实验：Spark SQL实现电商用户行为分析
第3部分 高性能计算基础与集群优化
1. HPC技术体系
- 并行计算模型：MPI任务分发、OpenMP多线程编程
- 硬件加速：GPU架构（CUDA编程）、InfiniBand网络优化
2. HPC集群部署与调优
- 资源调度工具：SLURM作业队列管理、负载均衡策略
- 性能优化案例：矩阵乘法并行化、基因测序数据加速处理
第4部分 大数据与HPC融合应用
1. AI训练加速
- 分布式深度学习：TensorFlow/PyTorch与Spark集成（参数服务器模式）
- GPU集群资源分配：Kubernetes调度GPU节点
2. 实时计算与HPC结合
- Flink流处理引擎：实时交通流量预测算法实现
- 混合架构案例：Flink+MPI实现气象模拟数据实时分析
汇款、微信转帐
汇款信息：
单位名称：北京市海淀区中科院计算所职业技能培训学校
开户行：工行海淀西区支行
账号：0200 0045 1920 0043 667
开户银行代码：1021 0000 0458
微信转账：
步骤一：打开微信，扫描二微码付款时，点击打开微信右下角里的“发现”，在列表界面有一个“扫一扫”选项，点击打开“扫一扫”（如下图）：
步骤二：点击打开“扫一扫”后，会出现一个扫描框，将中科院计算所培训中心二维码/条码放入框内，即可自动扫描，并显示支付信息，输入付款金额。
（中科院计算所培训中心二维码）
步骤三：点击 “添加付款备注”，填写付款人姓名和单位全称，所有信息核对无误后，点击“确认付款”，完成支付。
