AI编程社区

AI编程社区

商务合作咨询人工智能入门机器学习入门深度学习入门机器学习基础知识

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

AI编程社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

hive

计算机毕业设计之衡水市空气质量数据分析及可视化

本文研究了衡水市空气质量的数据分析与可视化方法。通过采集PM2.5、PM10等关键指标数据，采用机器学习进行预测分析，并利用Python和Echarts实现可视化展示。研究构建了包含数据采集、预处理、分析、可视化和管理系统的完整框架，运用Spark、Pandas等技术进行数据处理，最终通过Vue.js和Django搭建的交互式平台展示分析结果。该系统实现了空气质量监测、预测及可视化功能，为改善城市

 微信bishe234
2026-06-08 10:13:58

 230

 5

#数据分析 #数据挖掘 #人工智能 +2
计算机毕业设计之基于深度学习的猫品种识别系统的设计与实现

本文介绍了一种基于YOLOv11深度学习算法的猫品种识别系统。该系统通过图像预处理、特征提取和模型识别等模块，实现快速准确的猫品种检测，识别准确率和响应速度表现优异。系统支持识别记录管理功能，并计划未来优化模型结构、拓展多平台支持和完善数据库建设。研究表明，该系统在宠物医疗、遗传研究等领域具有应用价值，未来将通过技术升级提升识别精度和用户体验，推动猫品种识别领域发展。

2601_96284649
2026-06-29 15:12:27

 159

 7

#深度学习 #人工智能 #高考 +3
计算机毕业设计之基于YOLOv11的仰卧起坐计数系统

本文介绍了一种基于YOLOv11的智能仰卧起坐计数系统。该系统通过深度学习技术实现动作自动识别与精准计数，采用YOLOv11模型结合多尺度特征融合等创新设计，显著提升检测性能。系统具备视频上传、实时检测、结果展示和记录管理等功能，支持参数调节和动作标准度可视化。经测试，系统在不同环境下表现稳定，准确率和召回率较高。未来将优化模型性能，增强用户体验，在智能健身领域具有广阔应用前景。

2601_96285174
2026-07-06 14:13:52

 161

 6

#大数据 #hive #hadoop +1
大模型时代的“数据基座”：如何使用Spark+Hive构建亿级向量数据管道

本文探讨了如何利用大数据技术栈（Spark+Hive）构建大模型时代的高效向量数据管道。文章提出了一种从Hive数仓到向量数据库的完整技术路径，包括数据清洗、文本预处理和Embedding生成等关键环节。核心思路是将大数据工程师的ETL能力迁移到大模型知识库构建场景，重点解决了海量文本数据的高效向量化问题。文中提供了两种分布式生成Embedding的方案，并详细讲解了文本清洗策略和Spark优化配

 高晓收
2026-07-11 19:10:35

 248

 5

#spark #hive #大数据
【新】5p243基于深度学习的家庭用电量预测模型研究-hive+flask3(设计源文件+万字报告+讲解)（支持资料、图片参考_相关定制）_文章底部可以扫码

功能模块涵盖个人中心、用户管理、家庭成员信息维护、多种用电类型分类、详细的用电记录查询、用电数据分析、个性化的用电建议以及核心的用电预测功能。通过深度学习算法对历史用电数据进行学习和建模，系统能够准确预测未来用电趋势，帮助用户优化用电行为，降低能源消耗。页面通常详细列出所有管理模块，包括个人中心、用户、家庭成员、用电类型、用电记录、用电数据、用电建议、用电预测、系统管理等。用户主页面提供个人中心、

2401_89886516
2026-07-24 17:19:41

 172

 6

#深度学习 #hive #人工智能
idea copilot 提问模式

回车后copilot自动给你出答复。你写qquestion。

健忘主义
2023-04-24 02:19:17

 852

#intellij-idea #copilot #hive
hive获取上月月份

给大家整理了一些有关【Hive】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/31545.htmlHive获取上月月份的完整流程当你在使用Apache Hive时，可能会遇到需要获取上个月月份的情况。在这篇文章中，我会带领你一步一步地实现这个目标。下面是实现这一目标的整体流程：...

破坏兽
2024-08-01 04:36:02

 833

#hive #hadoop #数据仓库 +1
dbeaver hive查询一直加载

给大家整理了一些有关【Hive】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/31545.html使用 DBeaver 连接 Hive 的完整指南在数据工程领域，Apache Hive 是一个广泛使用的数仓工具，而 DBeaver 是一款成熟的数据库管理工具。很多初学者在使用 ...

潮牌界的权志龙
2024-08-01 04:23:12

 436

#hive #hadoop #数据仓库 +1
mac 安装hive

在mac中安装hive

小朋友,你是否有很多问号?
2025-09-15 10:09:30

 501

 4

#macos #hadoop #hive
Java-servlet（七）详细讲解Servlet注解

在 Java Web 开发中，Servlet 是构建 Web 应用程序的基础组件。而注解作为 Java 语言的一项重要特性，在 Servlet 开发中也发挥着关键作用。通过注解，我们可以更加简洁、高效地配置和管理 Servlet 相关的代码。本文将深入探讨 Java Servlet 注解的相关知识。我的个人主页，欢迎来阅读我的其他文章我的Java-servlet文章专栏欢迎来阅读指出不足@Targ

珹洺
2025-03-21 22:01:40

 1990

 34

#java #servlet #开发语言 +3
hive安装日志

可以看到，hive cli加载的配置文件是 /opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/jars/hive-common-1.1.0-cdh5.14.4.jar!2、在${HIVE_HOME}/conf/hive-log4j.properties文件中找到 hive.root.logger 属性，并将其修改为下面的设置。在 ${HIVE_HO

chde2Wang
2025-05-12 09:09:47

 1430

 16

#hive #hadoop #数据仓库
hive Sql 内存优化

Hive的矢量化查询，可以极大的提高一些典型查询场景（例如scans, filters（过滤）, aggregates（聚合）, and joins）下的CPU使用效率。关闭 hive sql 的矢量查询能有效降低每个container 对内存的使用。Hive的矢量（也叫向量）化查询优化，依赖于CPU的矢量化计算。

朽木自雕，格物致知！
2024-09-12 14:13:01

 280

 1

#hive #sql #hadoop
beeline连接hive时报错＜小记＞

由于权限配置问题导致的。具体来说，User: guohailong is not allowed to impersonate anonymous 表示当前用户在尝试以匿名身份进行操作时没有足够的权限。在hive-site.xml添加配置。

小郭努力掉头发
2024-10-17 14:00:51

 675

 5

#hive #hadoop #数据仓库
hive的存储格式

hive5种存储格式的区别

 zyg-zk
2024-12-23 08:34:03

 932

 5

#hive #hadoop #数据仓库
springboot整合hive

springboot整合hive

李昊哲-小课
2024-11-22 12:45:48

 1w

 23

#spring boot #hive #后端 +3
Linux配置JDK、Hadoop、hive环境变量

【代码】Linux配置JDK、Hadoop、hive环境变量。

脑子不好真君
2024-11-18 21:27:29

 1242

 10

#hive
hive 获取上个月1号

给大家整理了一些有关【数据分析,Hive】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/35092.htmlhttps://edu.51cto.com/course/31545.html以一些关于【数据分析】的学习资料和大家一起分享一下：https://edu.51cto.c...

036015
2024-08-01 04:36:44

 387

#hive #hadoop #数据仓库 +1
记录一下耗时4天的hive无法监听10000端口的解决方案

花了很久很久，总是监听不到 10000 端口，最后原因找到，是因为我的hive.server2.thrift.bind.host 写错了。看起来好像localhost也可以，不过输入hostname 查看，但是这个怎么这么奇怪，还不知道为什么会这样。然后，我改了一下 hive.server2.thrift.bind.host，保持和输出一致。被这个 localhost 给迷惑了了。然后重启，就能成

 紫小筱
2025-06-06 10:49:14

 484

 3

#hive #hadoop #数据仓库
Ambari平台安装部署hive

本文记录了Hive安装过程中遇到的主要问题及解决方法。首先需要确保MySQL服务正常运行并创建Hive数据库，同时启动HDFS、YARN等核心组件。安装过程中遇到的主要问题包括：Slider工具缺失、MySQL驱动未安装、YARN资源配置警告、Yum源配置错误等。通过查找驱动路径、禁用错误仓库、修改配置文件等步骤逐一解决。最后通过调整WebHCat权限配置并重启服务，成功完成Hive安装。整个流程

 你要干啥
2025-11-25 10:56:21

 870

 17

#ambari #hive #hadoop
hive表show partitions时显示分区数与实际的分区数不符问题

hive表show partitions时显示分区数与实际的分区数不符问题。

黄金刀
2025-01-21 20:52:04

 378

 1

#hive #hadoop #数据仓库
查询hive数据库报错Required field ‘type‘ is unset

查询hive数据库报错Required field ‘type‘ is unset

五月天的尾巴
2024-10-11 14:26:54

 739

 2

#hive #数据库
datax与sqoop的优缺点？

DataX 的优缺点优点多种数据源支持：DataX 是一个开源的数据同步工具，它支持多种数据源之间的数据传输，包括关系型数据库（如 MySQL、Oracle、SQL Server 等）、非关系型数据库（如 HBase、Hive、Elasticsearch 等）以及文件系统（如本地文件、HDFS 等）。例如，它可以方便地将 MySQL 中的数据抽取出来并导入到 Hive 数据仓库中，用于后续的数据分

 神秘打工猴
2024-12-28 20:24:46

 1141

 13

#sqoop #hadoop #hive
解决kettle mysql导入到hive的各种报错问题

同时也需要确保kettle对hive的连接也是正常的记得提前打开hiveserver2远程连接服务,出现以下界面几位正常：（注意kettle里面是没有mysql的jar包的要拿到自己的mysql jar包传入到kettle的lib目录下）这个错误大致是在说hive中的某些方法不被支持，这个错误相关信息在博客和其他网站上都非常少，摸索了很久后发现在 hive/conf/.hiverc下加入这样一句话

 小熊软糖^O^
2024-09-12 19:58:41

 993

 4

#mysql #hive #数据库
Hive-05之查询分组、排序、case when、什么情况下Hive可以避免进行MapReduce

选择特定列查询1.2 列起别名重命名一个列案例实操1.3 常用函数1．求总行数（count）2、求工资的最大值（max）3、求工资的最小值（min）4、求工资的总和（sum）5、求工资的平均值（avg）1.4 limit 语句典型的查询会返回多行数据。limit子句用于限制返回的行数。1.5 where 语句1、使用 where 子句，将不满足条件的行过滤掉2、where 子句紧随from子句3、

小技工丨
2025-03-02 15:51:06

 1322

 9

#hive #hadoop #数据仓库
hive 成本优化器 (CBO - Cost-Based Optimizer) 原理

特性说明核心价值基于数据分布智能选择最优执行计划关键前提准确、及时的统计信息主要收益Join 性能提升 2~10 倍，减少资源浪费适用场景多表关联、复杂子查询、大表 Join推荐指数⭐⭐⭐⭐☆（需配套统计信息管理）💡CBO 不是“银弹”，而是“数据驱动优化”的基础设施。当你的 Hive 数仓进入中大规模阶段，建立统计信息收集机制 + 启用 CBO是性能调优的必经之路。通过合理使用 CBO，你可以

 云图大数据
2025-11-19 10:50:05

 817

 26

#hive #hadoop #数据仓库
【hive】一种高效增量表的实现

本文介绍了一种简洁的Hive数据更新算法，通过两阶段处理实现历史数据更新和新数据合并：1) 用CASE WHEN判断旧数据是否被更新，保留最新值；2) 用UNION ALL合并纯新增数据。算法巧妙利用LEFT JOIN和NULL判断，区分已更新数据与全新数据。参数化设计支持每日增量更新，将ODS当日数据与DWD历史数据合并生成新版本全量数据。相比row_number()去重等方法更高效，适用于Hi

咔叽子
2025-10-14 16:12:53

 557

 5

#hive
hive的全连接

在Hive中，全连接（FULL OUTER JOIN）是一种SQL操作，用于合并两个表中的所有记录。如果某个表中的行在另一个表中没有匹配项，它会用NULL值填充缺失部分。这在数据分析和数据整合中非常有用，尤其适用于处理大数据集时确保完整的数据覆盖。我们想获取所有员工和所有部门的完整视图，包括未分配部门的员工和未分配员工的部门。Hive支持标准SQL语法，全连接使用。

2301_80954266
2025-10-31 15:21:03

 558

 6

#hive
hive插入数据报错IOException(Unable toclosefile becausethe last blockdoes nothave enough number of replicas

Job Submission failed with exception 'java.io.IOException(Unable to close file because the last block BP-1696380843-192.168.139.128-1747021700060:blk_1073742200_1376 does not have enough number of rep

HENANwuyanzu66
2025-05-20 20:03:36

 1163

 13

#hadoop #hdfs #hive
sql在hive和阿里云maxComputer的区别

阿里云sql和hivesql的区别

 zyg-zk
2024-11-02 22:39:28

 728

 1

#sql #hive #数据库
连接hive驱动下载

我整理的一些关于【Java】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1连接 Hive 驱动下载及使用指南Hive 是一个构建在 Hadoop 之上的数据仓库软件，它能够提供数据的查询和分析功能。为了使用 Hive，我们通常需要通过 JDBC 驱动来连接 H...

weixin_31925685
2024-08-26 03:40:47

 1313

 1

#hive #hadoop #数据仓库 +1
基于Docker的hadoop容器安装hive并测试

本文基于docker完成hive安装并测试

 IT从业者张某某
2026-04-22 17:26:25

 1110

 10

#hadoop #docker #hive
hive删除分区，判断是否存在

在shell脚本里，删除hive分区时，如果该分区不存在，会报错，可以使用if exists 判断。

大数据同盟会
2025-07-17 17:53:10

 344

 1

#hive #hadoop #数据仓库
DBeaver连接hive

5、进行测试连接，如果能通的话，说明能正常连接。如果测试连接失败的话，可能是hive自动的jdbc的jar有问题，重新下载个高版本的hive也是提取jdbc的包，作为连接驱动即可。如下本来我部署的是hive4.0.0，用hive4.0.0下jdbc的jar连接失败，后面下载一个hive4.0.1从里面提取jdbc的jar作为驱动，就可以连接成功。dbeaver 要连接hive时，数据库驱动是无法下

 大肚晓东
2025-04-18 11:48:06

 1113

 4

#hive
黑马-hive学习笔记(1)

主要的服务：（1）NameNode(主)：是HDFS中的主服务器，负责管理HDFS的元数据，包括文件目录树的维护，以及文件和数据块之间的映射关系。在Yarn的web界面中，一般可以查看到集群中运行的、已完成的、失败的和挂起的应用程序（Application）信息，以及每个NodeManager节点的状态，以及集群的详细的资源使用情况。在这个界面中，包含了HDFS集群的总体状态，比如文件系统的目录树

 dsb1106421x
2024-10-14 17:13:11

 1052

 12

#hive #学习
hive中如何查看所有表的字段

我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1Hive中查看所有表的字段在大数据处理的过程中，Hive是一个非常重要的数据仓库工具，用于存储和管理海量数据。当需要对表的结构进行了解时，查看所有表的字段是非常必要的。本文将介绍几种方法，帮...

DataCastle数据城堡
2024-08-25 04:07:09

 780

#hive #hadoop #数据仓库 +1
hive2服务启动报错：/tmp/hive on HDFS should be writable（不是chmod 777能解决的）

后记：hive这个报错误导人，报的是/tmp/hive的权限问题，实际上则是/user/hive目录的权限问题，所以很是误人子弟！

无级程序员
2025-07-01 15:04:50

 504

 1

#hive #hdfs #hadoop
DataX同步hive数据到starrocks

如果在目录datax/plugin/writer 中直接解压，解压后需要把starrockswriter.tar.gz删掉。下载地址https://github.com/StarRocks/DataX/releases。StarRocks官方提供了DataX的Writer插件。解压至目录datax/plugin/writer。

在学网站开发
2025-06-09 17:08:42

 595

 10

#hive #hadoop #数据仓库
CDH6.3 运行hive -e “show databases；“报错：hive-env.sh:行24: hbase-common.jar: 权限不够（CDP7.1.7许可证）

opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/../lib/hive/conf/hive-env.sh:行29: /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase/lib/htrace-core.jar: 权限不够。修改相关的*.sh运行脚本，因为SH脚

 yumgpkpm
2024-11-04 10:24:52

 832

 9

#hive #hbase #jar
hive判断字符全是中文的正则表达式

我整理的一些关于【Hive,正则表达式,字段】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1如何在Hive中判断字符是否全是中文的正则表达式在大数据处理和分析中，使用Hive进行数据查询和处理已成为一种流行的选择。如果你在处理文本数据时需要判断某个字段的内容是...

不想做深度学习
2024-08-25 03:59:13

 431

#hive #正则表达式 #hadoop +2
hive小文件相关的处理

小文件的问题有很多，实际中各种原因，由于自己的不小心，前期没有做好预防都会产生大量小文件，让线上的离线任务神不知鬼不觉，越跑越慢。上面是平时开发数据任务时候，小文件的预防，但如果由于我们的大意，小文件问题已经产生了，就需要解决了。，这种表最坑，每天都会有一个快照，到后面10G大小的数据，表文件体积可以达到600G，时间越长越大；失败，数据没了，这里面是有事物性保证的，可以观察一下执行的时候，在te

Sais_Z
2025-08-16 22:17:07

 1107

 8

#hive #hadoop #数据仓库
20-学习笔记尚硅谷数仓搭建-数据仓库开发环境搭建-hive连接DataGrip

本文详细介绍了使用DataGrip连接Hive的完整流程：1)下载安装最新版DataGrip并配置非商业许可证；2)启动HDFS和HiveServer2服务；3)创建项目并配置Hive数据源连接；4)新建数据库操作。同时提供了常见问题解决方案：注释乱码处理、索引报错忽略、内存溢出调整（修改hive-env.sh配置HADOOP_HEAPSIZE）、JSON表字段显示异常（修改hive-site.x

2401_87177990
2026-01-25 08:42:56

 1343

 27

#学习 #数据仓库 #hive
hive建表解决中文乱码

1.2 在 mysql 修改hive元数据表注释和字段注释的编码为 utf-8。修改表字段注解和表注解。

ye_chen_
2024-10-12 11:17:59

 443

 3

#hive #hadoop #数据仓库
hive 时间范围筛选

我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1Hive 时间范围筛选的实现在大数据的处理与分析中，Hive是一个非常常用的工具，它提供了类似SQL的查询语言来处理存储在Hadoop上的数据。在很多情况下，我们需要对时间范围进行筛选，以便...

王翻FRANCIS
2024-08-25 03:53:40

 366

#hive #hadoop #数据仓库 +1
【hive优化】hive的CBO优化提前过滤导致脚本报错案例

奇怪，数据不是被过滤掉了么，如下图，怎么还会传入最后的UDF函数报错。脚本执行，报错后查看Yarn执行日志，发现报错如。，大致原因是：自定义的UDF函数传入了错误的参数。被提前过滤，原因找到，应该是cbo自动优化导致。的条件过滤改在了在reduce阶段执行。在查找错误数据后发现错误数据的。

m0_57592634
2024-11-20 15:21:09

 440

 10

#hive #hadoop #数据仓库
hive將string转json

hive將string转json

m0_37759590
2024-08-06 09:30:21

 611

 2

#hive #json #hadoop
hive----静态、动态分区表

分区------处理海量数据根据数据文件结构考虑分门别类保存（大化小），使用分区，创建分区表，提高查询效率指定分区字段，分区字段被称为伪列。数据文件中没有和分区字段对应的数据分区可以分为一级分区（分区字段是一个字段），二级分区（分区字段是二个）。。。。。。分区可以是静态分区（导入数据时，指定分区字段的值）动态分区（导入数据时，不需要指定分区字段的值，由系统根据数据文件的情况自行判断）。

2401_87586917
2025-10-16 11:46:17

 1083

 29

#hive #hadoop #数据仓库
hue可以插入数据到部署在docker上的cdh中的hive，但是datagrip连接的hive插入报错

1777 权限：所有用户均可读写，并启用粘滞位（sticky bit），防止其他用户删除非自身文件。首先，找到 Namenode 容器的名称或 ID，并进入容器。如果权限不足（如 drwx------），需要进行修改。如果 namenode 是你的容器名称，直接进入容器。确认容器名称（例如 namenode）或容器 ID。drwxrwxrwt：表示权限已修改为 1777。原来是tmp文件权限问

 不久之
2024-12-03 15:59:57

 1350

 8

#docker #hive #容器 +4
计算机毕业设计hadoop+spark知识图谱中药推荐系统中药数据分析可视化大屏中药爬虫机器学习中药预测系统中药情感分析大数据毕业设计

计算机毕业设计hadoop+spark知识图谱中药推荐系统中药数据分析可视化大屏中药爬虫机器学习中药预测系统中药情感分析大数据毕业设计

 haochengxu2022
2025-08-09 09:36:41

 735

 26

#大数据 #hadoop #python +3
hive中小文件处理方法

通常指大小远小于 HDFS 块大小（默认 128MB 或 256MB）的文件。例如，一个只有几MB甚至几KB的文件。场景推荐方法设计阶段使用 ORC/Parquet 格式；合理设计分区和分桶策略。数据写入时在INSERT语句中使用控制 Reduce 数量；在 Spark 中使用coalesce。对已有 ORC 表治理首选，高效且资源消耗小。对其他格式表治理使用查询。冷数据归档考虑使用创建 HAR

ITHomeZSL
2025-11-01 16:27:31

 1118

 24

#hive #hadoop #数据仓库
利用hive元数据统计数据量

对于数据量的统计，从表是否分区分为和两者有着不同的统计方式。

dogplays
2024-11-18 16:34:27

 1108

 4

#hive #hadoop #数据仓库

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号