spark标签_AI编程社区

spark

计算机毕业设计之基于深度学习的男士冬季外衣推荐系统的设计与实现

摘要：本文设计并实现了一个基于深度学习的京东男士冬季外衣推荐系统。系统采用Python+Django开发框架，通过爬虫技术采集京东平台的商品数据，利用Hadoop和Spark进行大数据存储与分析。系统功能包括用户管理、服装信息管理、价格预测、订单管理和可视化数据分析看板（集成店铺排名、价格趋势、评论统计等Echarts图表）。测试表明，该系统能有效解决信息过载问题，通过个性化推荐提升用户购物体验，

微信bishe18
2026-06-03 09:48:48

 90

 1

#spark #信息可视化 #大数据 +3
计算机毕业设计之基于Spark的初中生个性化学习推荐系统

随着信息技术的迅猛发展，教育领域正经历着前所未有的变革。个性化学习、智能推荐等概念逐渐成为教育创新的重要方向。在这种背景下，基于Spark的初中生个性化学习推荐系统应运而生。传统的课程选择方式往往依赖于学生的主观判断或用户的统一安排，缺乏针对性和个性化。本研究旨在构建一个基于Spark的初中生个性化学习推荐系统，通过分析学生的在线学习行为、课程选择历史、参与人数等数据，运用数据挖掘和机器学习技术

 微信bishe18
2026-06-02 14:55:58

 197

 5

#spark #学习 #大数据
Nvidia RTX Spark发布：Arm超级芯片杀入PC，120B大模型本地跑

Nvidia在Computex 2026发布革命性PC芯片RTX Spark，首次以完整SoC形态进军消费级处理器市场。这款Arm架构超级芯片整合Grace CPU与Blackwell GPU，采用统一内存设计（最高128GB），可本地运行1200亿参数大模型。联发科参与CPU设计，Adobe等软件厂商已深度优化，华硕等OEM厂商将推出搭载设备，预计2026年秋季上市。黄仁勋同时公布三代产品路线图

 qq_26155779
2026-06-02 17:35:48

 447

 7

#spark #arm开发 #大数据
计算机毕业设计之基于Spark的中外游客景点数据分析系统设计与实现

本文设计了一个基于Spark的中外游客景点数据分析系统，该系统采用模块化架构，包含数据采集、处理、分析和后台管理四大功能模块。通过Spark框架高效处理景点名称、城市、评论数等多元数据，并应用机器学习算法进行热度预测。系统运用Pandas进行数据清洗（包括缺失值处理、格式统一等），确保数据质量，最终实现旅游信息的自动化管理与智能分析，为游客提供个性化服务，为行业决策提供数据支持。未来将拓展实时处理

 bishe18是我的微
2026-06-03 11:13:37

 85

 1

#python #数据分析 #分布式 +2
计算机毕业设计之基于Python的交通运输统计数据分析系统的设计与实现

本研究设计了一个基于Python的交通运输统计数据分析系统，采用模块化架构实现数据采集、预处理、分析、可视化及报告生成功能。系统利用Python强大的数据处理能力和第三方库支持大规模交通数据分析，集成机器学习算法进行速度预测评估，为决策提供支持。实际应用表明系统性能稳定，操作界面友好，显著提升了交通数据处理效率和分析精度。未来可扩展实时大数据处理和深度学习功能，推动智慧交通发展。系统通过Pytho

微信是bishe234
2026-06-03 10:38:26

 23

#python #开发语言 #spark +2
计算机毕业设计之基于推荐的系统的新闻阅读平台的设计与实现

本研究设计了一个基于推荐系统的新闻阅读平台，整合爬虫、大数据和Spark技术实现新闻分类、个性化推荐及实时更新。平台包含首页导航、新闻资讯（网易/今日新闻）和个人中心等功能模块，通过数据可视化提升用户体验。系统采用API实时抓取数据，确保新闻时效性，并运用推荐算法优化内容匹配。未来计划引入多模态融合和跨语言推荐等新技术，持续完善平台功能。该研究为新闻传播创新提供了技术解决方案，具有良好应用前景。

bishe56可以加我
2026-06-03 13:38:43

 86

 1

#人工智能 #机器学习 #spark +1
计算机毕业设计之基于深度学习的血细胞智能检测与计数系统

通过这些功能模块的协同工作，系统实现了高效、准确的血细胞检测与计数，为医学实验室和临床应用提供了强有力的支持。此外，还引入了数据增强技术，如随机旋转、缩放和裁剪等，以增强模型的鲁棒性。基于深度学习的血细胞智能检测与计数系统，通过先进的图像识别和深度学习算法，实现了对血细胞图像的自动分析和计数。从图中可以看出，随着时间的推移，红细胞和白细胞的平均大小都保持相对稳定，没有出现明显的波动。这个模块通过一

 2501_92338149
2026-06-29 13:38:02

 173

 7

#深度学习 #人工智能 #算法 +4
机器学习工程师能力进阶指南：你的“段位”到哪一级了？

对于机器学习从业者而言，技能跃迁的本质，是用系统性学习倒逼自己补齐“数据仓库”与“算法工程”之间的断层——这正是自学者最易忽视的盲区。与其在碎片化的网课与调参练习中消耗时间，不如沿着结构化的进阶路径，将精力聚焦于分布式工程、深度学习建模与跨领域实战这三块真正的能力高地。你的“段位”目前到哪一级了？在分布式工程、算法落地、跨领域建模这三个维度中，你最想突破的是哪一个？欢迎在评论区聊聊你的经历和困惑。

AI职业加油站
2026-07-02 17:46:46

 259

 7

#机器学习 #人工智能 #pytorch +1
计算机毕业设计之宠物用品推荐系统

本文提出了一种基于Python和大数据的宠物用品推荐系统，旨在应对宠物经济快速发展带来的市场需求变化。系统整合了数据采集、存储、分析和可视化功能，运用机器学习算法预测付款人数，为营销和库存管理提供决策支持。系统包含三大核心模块：员工管理模块负责人员信息维护，宠物用品管理模块处理产品分类和促销活动，购买订单管理模块则专注于订单处理和支付流程。该解决方案通过智能化手段实现了销售全流程的数字化管理，有效

 2501_94810691
2026-07-03 10:40:40

 189

 7

#scrapy #汽车 #信息可视化 +1
大模型时代的“数据基座”：如何使用Spark+Hive构建亿级向量数据管道

本文探讨了如何利用大数据技术栈（Spark+Hive）构建大模型时代的高效向量数据管道。文章提出了一种从Hive数仓到向量数据库的完整技术路径，包括数据清洗、文本预处理和Embedding生成等关键环节。核心思路是将大数据工程师的ETL能力迁移到大模型知识库构建场景，重点解决了海量文本数据的高效向量化问题。文中提供了两种分布式生成Embedding的方案，并详细讲解了文本清洗策略和Spark优化配

 高晓收
2026-07-11 19:10:35

 246

 5

#spark #hive #大数据
数据团队减负60%的真相：智能问数成败，根本不在大模型

《智能问数落地指南：从技术路线到企业实践》摘要：智能问数技术虽发展六年，但实际落地效果两极分化。文章系统梳理四代技术演进（规则模板、深度学习NL2SQL、大模型+语义层、Agent化协同），指出当前主流方案是统一语义层+指标平台路线。企业落地需遵循"三步走"：需求诊断（聚焦高频场景）、POC验证（业务准确率≥85%）、规模化运营（持续迭代）。关键避坑建议包括：优先单场景做透、

涤生大数据
2026-07-12 08:57:31

 416

 4

#大数据 #spark #分布式
512GB 苹果Mac Studio能替代英伟达DGX Spark 吗？真正的差距不在内存大小

Mac Studio M3 Ultra明显占优。它拥有四倍内存容量和三倍理论内存带宽，特别适合单机加载超大模型、处理大型媒体工程和承担综合性专业工作。DGX Spark仍然有自己的护城河。CUDA、TensorRT-LLM、vLLM、NGC和NVIDIA服务器生态，使它更适合真正围绕NVIDIA平台进行模型开发、微调、验证和部署。Mac Studio是一座容量巨大、传送带很宽的全能仓库；DGX S

Saniffer
2026-07-21 10:55:44

 404

 5

#macos #spark #大数据 +4
基于SPARK的音乐流媒体平台歌曲推荐系统设计与实现-计算机毕设附源码 71199

注册用户功能模块：前台首页：注册用户注册登录系统后，可以在首页查看并使用轮播图、音乐资讯、音乐推荐快捷导航按钮。音乐资讯：用户能够通过搜索、筛选和排序的方式查找相关的音乐资讯，然后点击查看详情，并可进行点赞、收藏和评论。通知公告：用户可以查看管理员发布的所有公告通知，并可对其进行收藏和评论。音乐推荐：用户可以查看音乐推荐列表，用户可以通过搜索、筛选和排序功能查找感兴趣的推荐内容，点击查看详情，并进

 WeiXin_DZbishe
2026-07-26 11:30:00

 152

 7

#spark #vue.js #node.js +4
AI公司也开始用这种方式庆祝了

上周五深夜，北京著名的工体酒吧一条街上，一家名叫"迈阿密"的酒吧里，月之暗面的年轻人包下数十张卡座，大屏幕滚动着中英双语标语：“K3扩容升级，K4给我狠狠干到极致，冲上月球。会用AI的人与不会用AI的人，能拿到算力资源的公司与拿不到的公司，掌握数据的大平台与没有数据的普通人——差距不是在缩小，而是在以另一种方式拉大。既拓展了认知的边界，也在悄悄侵蚀独立思考的土壤。看到这条AI圈少见的“娱乐新闻”，

2601_96090672
2026-07-27 21:24:30

 216

 3

#时序数据库 #tdengine #postgresql +1
spark-配置yarn模式

解压的命令是：tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module。1.上传并解压spark-3.1.1-bin-hadoop3.2.tgz（/opt/software)解压之后的目录为spark-yarn（原为spark-3.1.1-bin-hadoop3.2.tgz）运行： ./start-all.sh 和 ./start-history-s

461K.
2025-05-18 17:16:40

 835

 5

#javascript #ajax #开发语言 +2
spark 3.3+ 之BloomFilter Runtime Filter

a left join b 时，a是小表，b是超大表。那么就先对a中的join条件构造bloomfilter，broadcast到各个executor上，把超大表中的数据先剔除掉，这样就不会shuffle大量数据了。│ Build Side (小的一边) ││ e.g. song_base_info 750万 ││ 1. 扫一遍, 把 join key 全部塞进 BF▼│ BloomFilter

淡定一生2333
2026-05-11 15:22:24

 223

#spark #大数据 #分布式
spark中将json数据转成dataset

在Apache Spark中，可以使用`SparkSession`的`read.json()`方法来读取JSON格式的数据并转换为DataFrame。如果需要将DataFrame转换为Dataset（带有强类型的集合），则需要定义一个与JSON结构相匹配的类，并使用`as[YourClass]`方法将DataFrame转换为Dataset。这个例子是在本地模式下运行的，如果你在集群上运行，可能需要

 Mercury_@22
2024-12-02 11:58:45

 802

 5

#spark #大数据
spark-本地模式的配置和简单使用

spark本地模式的搭建

 zyg-zk
2024-11-03 12:00:42

 867

 8

#spark #大数据 #python +1
如何搭建spark yarn 模式的集群

【代码】如何搭建spark yarn 模式的集群。

2301_82185678
2025-04-28 20:13:25

 1090

 24

#spark #eclipse #大数据
11.spark源码编译

构建环境：jdk 11scala 2.12maven 3.9spark 3.5。

枫桥听月
2025-05-29 15:32:34

 949

 27

#spark #大数据 #分布式
sparkSQL

encode(value: Column, charset: String)转码，charset支持 'US-ASCII'，'ISO-8859-1'，'UTF-8'，'UTF-16BE'，'UTF-16LE'，'UTF-16'例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "f

2301_77165933
2024-11-06 12:09:45

 1894

 42

#大数据 #spark
Spark SQL 的广播连接（Broadcast Join）是什么？在什么情况下使用？

Spark SQL 广播连接是一种高效优化技术，通过将小表数据广播到所有Executor节点，避免大数据量shuffle操作。其核心原理是Driver收集小表数据并广播，Executor本地执行Join。自动触发条件包括小表大小小于配置阈值（默认10MB），适用于维度表连接、配置表连接等场景。可通过SQL提示或编程方式强制广播，相比Shuffle Join能显著减少网络传输和磁盘I/O。但需注意避

 晚夜微雨问海棠呀
2025-09-28 08:34:47

 1128

 14

#spark #sql #ajax
Pyspark DataFrame中Column使用

pyspark 中dataframe column的基本使用方法，以及详细样例演示

 百流
2024-09-30 16:17:17

 1205

 11

#linux #python #spark +1
spark各个版本的特性差异

通过版本迭代，Spark 从以 RDD 为中心的计算引擎演变为以结构化 API 和自适应优化为核心的统一分析平台，同时深度集成云原生和 AI 生态。：初步支持 Spark SQL（前身为 Shark）、Spark Streaming（微批处理）和 MLlib。：优先使用 Structured Streaming（Spark 2.x+），避免旧版 DStream。API（类似 Pandas），支持优

 csdnexp
2026-01-04 22:30:14

 1078

 11

#spark #大数据 #分布式
如何在idea中写spark程序

生成好的JAR包就出现在了project目录中的out/artifacts文件夹中，直接ctrl+c拷贝出来，并使用ftp工具将数据文件kmeans_data.txt与JAR包传输到我们的集群主节点中，同时将 kmeans_data.txt存储到HDFS中，这样就可保证每个节点都有一份数据，不然需要使用parallelize进行分发，具体我们这里不详细描述，可以参考OREILLY图书《Learni

Qinyu_6
2025-04-28 19:58:31

 1135

 21

#intellij-idea #spark #java
毕业设计|基于python+spark城市交通道路预测数据分析系统

本文介绍了一个交通流量可视化系统的数据库设计与实现方案。系统采用前后端分离架构，前端负责数据可视化展示，后端包含用户管理、数据采集和权限控制等功能。数据库设计了流量信息、交通线路、站点信息、权限管理和用户信息等核心表单，并通过E-R图展示实体关系。系统采用Python爬虫从深圳政府开放平台获取交通数据，使用Spark进行大数据处理分析。实现功能包括实时动态分析、后台管理、交通数据可视化及权限设置等

 csdnFIRE
2025-11-07 08:30:00

 2048

 64

#python #spark #pycharm
spark执行流程中的cluster Manager的作用

在Apache Spark的执行流程中，

2301_80954266
2025-12-28 15:16:43

 218

 1

#spark #大数据 #分布式
（附源码）spark音乐推荐系统-计算机毕设 42921

普通用户功能分析登录注册：普通用户可以通过登录或注册账户来使用系统的各项服务。登录后的用户可以访问个性化的音乐推荐、参与论坛讨论、管理自己的账户等功能。系统可能采用用户邮箱或手机号作为注册的基础，确保用户的身份安全。首页展示：首页是用户进入系统后首先看到的界面，展示了系统轮播图、音乐资讯、热门歌曲推荐，基于歌曲的播放量、点赞数、分享量等数据来推荐当前最受欢迎的歌曲。音乐信息推荐，通过分析用户的历史

 VXbishe
2026-04-07 10:45:00

 4279

 18

#spark #node.js #php +4
hue可以插入数据到部署在docker上的cdh中的hive，但是datagrip连接的hive插入报错

1777 权限：所有用户均可读写，并启用粘滞位（sticky bit），防止其他用户删除非自身文件。首先，找到 Namenode 容器的名称或 ID，并进入容器。如果权限不足（如 drwx------），需要进行修改。如果 namenode 是你的容器名称，直接进入容器。确认容器名称（例如 namenode）或容器 ID。drwxrwxrwt：表示权限已修改为 1777。原来是tmp文件权限问

 不久之
2024-12-03 15:59:57

 1350

 8

#docker #hive #容器 +4
计算机毕业设计hadoop+spark知识图谱中药推荐系统中药数据分析可视化大屏中药爬虫机器学习中药预测系统中药情感分析大数据毕业设计

计算机毕业设计hadoop+spark知识图谱中药推荐系统中药数据分析可视化大屏中药爬虫机器学习中药预测系统中药情感分析大数据毕业设计

 haochengxu2022
2025-08-09 09:36:41

 735

 26

#大数据 #hadoop #python +3
CDH6.2安装spark集群基础环境

在yarn配置项中搜索“yarn.nodemanager.resource.memory-mb”，修改为服务器的一半（测试环境），生产环境例如128G 调整为100G左右。关闭检查HDFS权限的原因（详情参照https://blog.csdn.net/Yellow_python/article/details/125007739）原文链接：https://blog.csdn.net/qq_241

hxsln11
2024-07-31 17:36:10

 343

 1

#spark #大数据 #分布式
【Spark+Hive+hadoop】基于Spark+hadoop贴吧-微博热门交流平台数据分析舆情系统（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅

市场洞察：帮助企业了解消费者对其产品、品牌及竞争对手的看法和态度，及时掌握市场动态，为产品研发、市场营销和品牌建设提供决策依据。政策制定：了解公众对政策的反馈和需求，为政府制定更加科学、合理的政策提供参考，提高政策的针对性和有效性。内容管理：帮助平台更好地管理和规范用户生成的内容，打击不良信息和违规行为，营造健康、积极的网络环境。本项目旨在利用 Spark、Hive 和 Hadoop 等大数据技术

 ___Edward
2024-11-04 10:00:00

 2611

 36

#hadoop #分布式 #spark +3
大数据开发之Hive优化篇-Hive on spark

Hive on Spark将Hive查询引擎与Spark计算框架集成，显著提升查询性能。测试数据显示，相同查询任务从MapReduce的447秒缩短至Spark的71秒，性能提升6倍以上。该项目保留了Hive全部功能特性，同时利用Spark的内存计算优势，实现了对多阶段复杂查询的加速。作为Hive的第三个计算引擎选项，Spark与MapReduce、Tez并存，为用户提供更多选择。这种集成既扩展了

 xinghaoyan
2025-07-04 16:40:45

 674

 14

#大数据 #hive #spark
别被“结构化”骗了：聊聊 Spark Structured Streaming 的原理与那些年我踩过的坑

Spark Structured Streaming 看似简单的流处理框架，实则暗藏诸多陷阱。文章揭露了其"微批处理+状态管理+检查点"的核心原理，指出新手常犯的四大错误：未设置watermark导致状态膨胀、错误选择outputMode引发延迟、误解Kafka exactly-once保证、流式Join造成状态爆炸。作者强调该框架适合简单ETL和容忍延迟的场景，但不适用于超低

 Echo_Wish
2026-01-01 17:11:28

 1112

 27

#spark #linq #大数据
【Hadoop+Spark+python毕设】起点小说网数据可视化分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

【Hadoop+Spark+python毕设】起点小说网数据可视化分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

 计算机毕设-小月哥
2026-01-01 22:05:46

 753

 28

#hadoop #spark #python +3
【Hadoop+Spark+python毕设】旅游上榜景点及评论数据可视化分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

【Hadoop+Spark+python毕设】旅游上榜景点及评论数据可视化分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

 计算机毕设-小月哥
2026-01-04 15:05:58

 996

 15

#hadoop #spark #python +3
【Hadoop+Spark+python毕设】旅游景点推荐与商业价值分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

【Hadoop+Spark+python毕设】旅游景点推荐与商业价值分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

 计算机毕设-小月哥
2026-01-05 10:12:46

 1013

 25

#hadoop #spark #python +4
spark sql 窗口和补全有哪些功能

分区与排序OVER(PARTITION BY col1, col2-- 按列分组ORDER BY time_col DESC-- 组内排序[窗口框架]-- 定义行范围窗口框架（Frame）-- 行范围-- 值范围（需要ORDER BY）

csdnexp
2026-01-05 23:06:04

 713

 12

#spark #sql #java
Gemini永久会员 Python一个简单的 Apache Spark 演示示例，展示如何使用 Spark 进行数据处理和分析

对于集群部署，需要配置 `spark-defaults.conf` 或通过 `--master` 参数指定。- 在 spark-submit 中运行: `spark-submit your_script.py`- 例如: `spark-submit --master yarn your_script.py`- 增加 executor 内存: `--executor-memory 4G`- 增加 d

稚辉君.MCA.P9.JAVA
2026-01-06 07:43:30

 296

 3

#apache #spark #python +2
计算机毕业设计必看必学~19946基于spark超市销售数据分析的设计与实现88101，原创定制程序、单片机、java、PHP、Python、小程序、文案全套、毕设成品等！

摘要：本文研究了基于Spark和ECharts技术的超市销售数据分析系统，采用Python语言和MySQL数据库开发。系统包含数据处理、可视化展示和测试三大模块，实现了销售数据管理、商品分类管理及销售分析等功能。通过技术可行性、经济可行性等分析验证了系统价值，并详细设计了数据库结构和功能模块。测试结果表明系统运行稳定可靠，为超市销售决策提供了有效的数据支持。系统开发过程中运用了Spark框架的高效

 计算机毕设vx_BS30813
2026-01-06 10:00:00

 837

 8

#spark #数据分析 #mysql +1
【Hadoop+Spark+python毕设】零售时尚精品店销售数据分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

【Hadoop+Spark+python毕设】零售时尚精品店销售数据分析系统、计算机毕业设计、包括数据爬取、数据分析、数据可视化、实战教学

 计算机毕设-小月哥
2026-01-06 17:19:19

 691

 17

#hadoop #spark #python +3
AI大模型：Spark小说数据分析与推荐系统 Hadoop 机器学习爬虫协同过滤推荐算法 Hive 大数据毕业设计（源码+文档）

AI大模型：Spark小说数据分析与推荐系统 Hadoop 机器学习爬虫协同过滤推荐算法 Hive 大数据毕业设计（源码+文档）

vx_biyesheji0001
2026-01-07 19:30:00

 1177

 15

#人工智能 #hadoop #机器学习 +4
迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升

在迁移到 EMR Serverless Spark 之后，TCO 明显下降，平台按作业生命周期弹性拉起与回收，只为实际消耗付费；同时，托管化带来了稳定性与调度效率提升；更关键的是交付确定性提升，大作业整体可提速约 1 小时，报表链路从长尾波动变成更可控的出数节奏。

阿里云大数据AI技术
2026-01-07 15:39:55

 1136

 12

#阿里云 #serverless #spark