分布式标签_AI编程社区

分布式

Python爬虫进阶：分页与滚动加载的无限数据抓取策略深度剖析

在当今的Web开发架构中，几乎没有任何中大型网站会一次性将全部数据呈现给客户端。无论是电商平台的商品列表、社交媒体的信息流、还是API接口的返回结果，都是数据交付的基本范式。然而，对于爬虫开发者而言，分页既是老朋友，也是最容易翻车的暗礁。传统的静态分页（如）尚可通过循环构造URL解决；但近年来，随着无限滚动（Infinite Scroll）、游标分页（Cursor-based Pagination

移动开发经验汇总
2026-08-20 11:23:58

 8

#python #爬虫 #c++ +3
CANN 训练优化实战：大模型分布式训练在昇腾上的实践

CANN 训练优化实战：大模型分布式训练在昇腾上的实践

 晚霞的不甘
2026-05-20 16:26:32

 331

 4

#分布式 #计算机视觉 #人工智能 +1
[智能体-154]：LangSmith为智能体提供统一的运维服务，智能体只关注业务逻辑本身；这与ollama为大模型提供统一的运维服务，大模型只关注模型和算法本身（业务逻辑）是异曲同工。

这导致 90% 的时间都花在了与核心业务无关的基础设施上，真正用于优化模型效果和智能体逻辑的时间不到 10%。每一层的基础设施都会被抽象出来，变成标准化的服务，让上层的开发者可以站在巨人的肩膀上，专注于更高层次的创新。Ollama 和 LangSmith 的出现不是偶然，而是整个 AI 技术栈。它们都在各自的层级上，定义了行业的标准，推动了整个技术的普及和发展。，可以一起构建完全本地化、私有化的

 文火冰糖的硅基工坊
2026-05-30 06:40:21

 20

#人工智能 #分布式
分布式的训练和推理中通信、nvlink和nvcc是什么？

《大模型时代的通信瓶颈与NVLink革命》本文深入剖析了大模型训练中的通信瓶颈问题及其解决方案。传统PCIe总线存在星型拓扑缺陷、带宽不足和无缓存一致性三大问题，导致多卡训练效率低下。NVIDIA的NVLink技术通过构建GPU直连网络，配合NVCC编译器的深度优化，实现了1.8TB/s的超高带宽和硬件级缓存一致性。文章揭示了大模型发展史本质上是通信技术演进史：从单机单卡到万卡集群，每次通信突破

 weixin_51097521
2026-06-02 15:15:17

 394

 6

#服务器 #网络 #linux +3
计算机毕业设计之基于Spark的中外游客景点数据分析系统设计与实现

本文设计了一个基于Spark的中外游客景点数据分析系统，该系统采用模块化架构，包含数据采集、处理、分析和后台管理四大功能模块。通过Spark框架高效处理景点名称、城市、评论数等多元数据，并应用机器学习算法进行热度预测。系统运用Pandas进行数据清洗（包括缺失值处理、格式统一等），确保数据质量，最终实现旅游信息的自动化管理与智能分析，为游客提供个性化服务，为行业决策提供数据支持。未来将拓展实时处理

 bishe18是我的微
2026-06-03 11:13:37

 85

 1

#python #数据分析 #分布式 +2
基于大数据爬虫+Hadoop深度学习的智能交通管理系统

Java简介Java是一种面向对象的静态式编程语言。Java编程语言具有多线程和对象定向的特点。其特点是根据方案的属性将方案分为几个不同的模块，这些模块是封闭的和多样化的，在申请过程中具有很强的独立性。Java语言在计算机软件开发过程中的运用可以达到交互操作的目的，通过各种形式的交换，可以有效地处理所需的数据，从而确保计算机软件开发的可控性和可见性。开发java语言时，保留了网络接口，Java保留

 猿新
2026-06-27 21:15:45

 181

 8

#大数据 #爬虫 #hadoop +4
SpringBoot眼科疾病辅助诊断系统

本文介绍了一个基于SpringBoot框架开发的眼科疾病辅助诊断系统。该系统利用Java面向对象编程和SpringBoot的简化配置特性，结合MySQL数据库，旨在解决眼科医疗资源分布不均的问题。系统集成深度学习模型分析眼部医学影像，为医生提供客观诊断参考，支持基层医疗机构的疾病筛查和分级诊疗。核心功能包括患者数据管理、诊断报告生成和多模态数据分析，具有显著的社会价值和广阔应用前景。部分系统功能效

 猿新
2026-07-02 19:43:42

 210

 9

#spring boot #后端 #java +4
基于大数据+Hadoop机器学习的音乐评论情感分析系统开题报告

大数据技术方面，采用Hadoop核心组件HDFS实现分布式文件存储，解决海量评论数据的存储扩容问题，利用MapReduce实现分布式并行计算，完成数据清洗、分词、特征提取的批量处理，保障大数据处理的高效性。传统音乐评论分析方式多采用人工抽样统计、简单关键词匹配的方法，仅能处理小批量数据，存在效率低下、主观性强、分析维度单一、无法挖掘深层情感特征等问题，难以适配当下千万级、亿级的海量音乐评论大数据处

 猿新
2026-07-23 20:35:48

 854

#大数据 #hadoop #机器学习 +4
四大模态大模型训练体系全解析（架构+范式+分布式+算力成本·）

当前大模型领域已形成 “主干向 Transformer 收敛、细节按模态定制” 的整体格局：文本大模型是纯 Transformer 架构的原生应用，图像、语音、视频则基于自身数据特性（空间结构、时序关联、维度高低）对 Transformer 做针对性改造，配套差异化的训练范式、分布式工程方案与算力成本模型。语音是一维时序连续信号，短时声学模式稳定、长时存在语义依赖，训练以 Conformer 混合

 weixin_47696437
2026-07-04 15:17:41

 324

 7

#架构 #分布式
大模型商业化淘汰赛：巨头与创业公司盈利逻辑、全行业趋势深度解析

摘要：大模型行业已从技术竞赛转向商业化淘汰赛，资本收紧倒逼企业回归价值创造。头部互联网大厂（如百度、阿里、腾讯）凭借生态协同分摊算力成本，通过B端私有化部署和C端订阅多路径变现；垂直创业公司分化为ToB政企定制（高毛利但周期长）和ToC工具（增长快但付费率低）两条路线；开源团队则通过社区引流布局长期增值服务。行业面临算力成本高、C端付费弱、B端回款慢、同质化内卷等核心矛盾，未来趋势将聚焦垂直场景

 郑伟强dev
2026-07-05 10:15:41

 284

 7

#分布式 #开发语言 #python +4
雄关漫道真如铁，如今迈步从头越——一个老程序员的AI重生宣言

摘要：一位拥有15年经验的后端程序员回顾了从传统开发到AI浪潮冲击下的职业历程。从初学Java、使用SSH框架，到拥抱Spring Boot、微服务架构，他积累了深厚的技术经验。然而，2024年后AI编程助手的崛起（如GitHub Copilot）颠覆了行业，使其一度陷入职业焦虑。最终，他意识到工程师的核心竞争力并非仅是代码能力，而是多年工程实践积累的架构直觉、问题解决能力和业务理解。他决定主动

 davidwang456
2026-07-06 12:26:16

 1170

 46

#人工智能 #架构 #python +2
支撑 2500 亿行对话数据：某头部大模型公司如何用 TiDB 托住高频 AI 交互场景

AI 应用的竞争，既发生在模型层，也发生在数据层。

TiDB 社区干货传送门
2026-07-06 15:10:08

 529

 6

#tidb #人工智能 #数据库 +1
基于大数据Hadoop+机器学习的农产品价格数据分析与预测可视化系统的设计与实现开题报告

摘要：针对传统农产品价格分析模式数据处理能力弱、预测精度低的问题，本研究基于Hadoop与机器学习技术，设计了一套农产品价格数据分析与预测可视化系统。系统集成多源数据采集、分布式存储、智能预测及可视化展示功能，通过Hadoop框架实现海量农业数据的清洗与多维分析（时序趋势、区域差异、多因素关联等），并利用机器学习算法构建价格预测模型，支持短中期价格波动预测。系统突破传统单机架构局限，为农户、经销

 xn19950718
2026-07-06 17:05:38

 236

 8

#大数据 #hadoop #机器学习 +4
破局 AI PC 存储瓶颈@ACP#YLB3118 如何重塑本地大模型时代的配件市场新生态

AI PC 的爆发不仅是算力的升级，更是整个硬件生态的重塑。在存储扩展这一关键赛道上，YLB3118 凭借高密度的端口、卓越的能效、企业级的可靠性以及纯正的国产血统，正在重新定义 AI PC 的本地存储标准。对于 AI PC 整机厂商、扩展卡品牌商及 NAS 制造商而言，选择 YLB3118，不仅是选择了一款高性价比的桥接芯片，更是选择了一把开启 AI PC 庞大配件市场的金钥匙。在本地大模型与

 ACP广源盛13924625673
2026-07-07 23:02:01

 439

 5

#人工智能 #嵌入式硬件 #分布式 +1
4台RISC-V K1集群跑LLM推理：边缘分布式大模型实践

大语言模型（LLM）推理正从云端加速向边缘终端下沉，而传统GPU方案在功耗、成本与部署灵活性上面临瓶颈。RISC-V凭借开放指令集与可定制化优势，成为边缘AI硬件新选择；K1作为国产高能效比RISC-V SoC，在位操作加速、缓存一致性与DDR调度确定性方面表现突出，特别适配Transformer中masking、RoPE、KV Cache等关键子任务。结合轻量级分布式框架Prima.cpp与自研

 九边
2026-07-07 09:47:18

 315

 7

#分布式
大模型分布式算力调度方案设计，解决多节点算力资源争抢问题

大模型训练任务普遍存在计算与显存需求耦合、通信开销占比高的特点，传统调度仅以 GPU 卡数为分配单位，忽略了显存、带宽、CPU 等多维资源的约束，容易出现 “卡数够但显存不足” 的假性争抢。大模型分布式算力调度的核心并非追求绝对的资源最大化利用，而是在业务优先级、资源效率、系统稳定性三者间找到平衡，通过精细化的资源管控与动态调度机制，从根本上缓解多节点资源争抢问题。调度器不再以单卡为调度单位，而是

 xjxijd
2026-07-08 16:33:33

 386

 10

#分布式
深入解析 veRL（HybridFlow）：重新定义大模型强化学习训练的系统架构

本文将从系统设计原理、核心技术创新、代码架构实现三个维度，对 veRL 与 HybridFlow 进行深度技术拆解，帮助读者全面理解这一前沿 RLHF 训练框架的内在机制。

LIUMAO99
2026-07-08 17:59:33

 481

 11

#系统架构 #pytorch #分布式
LLM大模型 - 基于Transformers和DeepSpeed的LLM工程化分布式训练

在上一篇文章从零手戳了一个 LLM 模型结构及 Pretrain、SFT 全流程，这有助于深入地理解了 LLM 的模型原理及训练细节。但是，在实际应用中，手戳实现的 LLM 训练存在以下问题：

Python编程杰哥
2026-07-08 20:58:34

 195

 5

#分布式 #人工智能 #知识图谱 +3
数据团队减负60%的真相：智能问数成败，根本不在大模型

《智能问数落地指南：从技术路线到企业实践》摘要：智能问数技术虽发展六年，但实际落地效果两极分化。文章系统梳理四代技术演进（规则模板、深度学习NL2SQL、大模型+语义层、Agent化协同），指出当前主流方案是统一语义层+指标平台路线。企业落地需遵循"三步走"：需求诊断（聚焦高频场景）、POC验证（业务准确率≥85%）、规模化运营（持续迭代）。关键避坑建议包括：优先单场景做透、

涤生大数据
2026-07-12 08:57:31

 416

 4

#大数据 #spark #分布式
【SkyWalking从入门到精通】第49篇：SkyWalking存储模型全景图：四大模型如何撑起海量观测数据

摘要：SkyWalking四大存储模型解析本文深入剖析了SkyWalking的四大存储模型设计理念，将海量观测数据按使用方式分类处理，实现高效存储与查询。注册模型负责名字到ID的映射（如服务名→ID），明细模型存储原始Trace/Span数据，指标模型处理聚合数值，采样模型捕获异常样本。文章通过类结构代码示例展示了各模型的核心字段设计，并对比了它们在数据量、读写频率和保留周期上的差异。这种分类存

 xyghehehehe
2026-07-14 08:15:56

 262

 11

#skywalking #微服务 #架构 +1
深入浅出分布式训练框架：PyTorch、TensorFlow 与 Horovod 实战

本文探讨了深度学习中的分布式训练技术，重点分析了其基本原理、并行策略及主流框架实现。随着模型参数量和数据规模急剧增长，分布式训练已成为解决单卡显存不足和训练耗时的关键技术。文章详细介绍了数据并行、模型并行和流水线并行三种策略，并对比了PyTorch的DistributedDataParallel、TensorFlow的MultiWorkerMirroredStrategy以及Horovod三种实现

 dddddsxh
2026-07-16 20:15:56

 670

 28

#分布式 #pytorch #tensorflow
大模型交互式对话产品研发：文本理解、文档生成场景落地指南

摘要：本文系统探讨了大模型交互式对话产品从实验室Demo到工业化落地的完整路径。当前市场产品普遍存在语义理解偏差、多轮对话混乱、文档生成不规范等核心痛点。文章提出五层架构设计方案，聚焦文本理解与文档生成两大场景，详细阐述了意图识别、Prompt工程、状态管理等关键技术原理。通过模块化代码实现生产级对话系统，包含分层Prompt模板、对话记忆管理、结构化输出等核心功能。全文从产品架构到工程实践，为

 yuxianq
2026-07-18 16:45:03

 483

 13

#python #分布式 #人工智能 +2
分布式训练框架（Horovod / PyTorch DDP）的 Python 编程实践

PyTorch DDP 和 Horovod 是目前深度学习分布式训练中最成熟、应用最广泛的两大数据并行框架。DDP 作为 PyTorch 的原生方案，与 PyTorch 生态无缝集成，部署简单，是纯 PyTorch 项目的首选。Horovod 则凭借其跨框架支持和灵活的通信协议，在需要多框架协同或已有 MPI 基础设施的场景中优势明显。无论选择哪种框架，掌握分布式训练的核心编程模式——进程初始化、

Cloud_bread
2026-07-20 17:02:30

 628

 5

#python #分布式 #pytorch
大模型推理优化全景：从显存管理到分布式部署的工程实践

大模型推理优化是一个系统工程，涉及模型压缩、推理引擎、分布式架构、显存管理等多个维度。核心思路可以概括为"省、快、稳"三个字：省显存（量化、KV Cache优化）、快推理（FlashAttention、连续批处理）、稳服务（分布式、弹性伸缩）。随着模型能力的持续提升和推理优化技术的不断进步，大模型的部署成本将持续下降，为更广泛的AI应用落地铺平道路。

少林码僧
2026-07-22 10:34:05

 341

 5

#分布式 #人工智能 #语言模型
分布式训练避坑指南：在多卡环境下稳定训练大模型的技巧

摘要：多卡分布式训练常出现卡死、指标异常等问题，主要源于数据分布、梯度同步和参数更新的协调困难。常见问题包括训练卡死（因步数不一致或未设置随机种子）、评估指标波动（因验证阶段数据错位）以及NCCL通信故障。解决方案包括：1）使用drop_last=True并调用sampler.set_epoch()；2）实现变长安全的all_gather操作；3）配置NCCL调试日志排查通信问题。文章提供了可直接

 Heavenly way
2026-07-22 20:41:09

 477

 9

#pytorch #深度学习 #分布式
大模型推理部署优化全景指南：从显存管理到分布式架构

大模型推理优化是一个系统工程，涉及模型压缩、推理引擎、显存管理和分布式架构等多个层面。没有一种技术能够解决所有问题，需要根据具体场景组合使用多种优化策略。回顾全文，我认为推理优化的核心原则是：先理解显存消耗的分布，再针对性地选择优化手段；不要过早优化，先确保功能正确再追求性能；持续监控关键指标，用数据驱动优化决策。随着模型架构的演进（如Mamba等非Transformer架构的兴起）和硬件的发展（

少林码僧
2026-07-24 09:05:28

 213

 4

#分布式 #架构 #人工智能 +1
基于大数据+Hadoop+大数据的森林病虫害智能预警与防控系统

Java简介Java是一种面向对象的静态式编程语言。Java编程语言具有多线程和对象定向的特点。其特点是根据方案的属性将方案分为几个不同的模块，这些模块是封闭的和多样化的，在申请过程中具有很强的独立性。Java语言在计算机软件开发过程中的运用可以达到交互操作的目的，通过各种形式的交换，可以有效地处理所需的数据，从而确保计算机软件开发的可控性和可见性。开发java语言时，保留了网络接口，Java保留

 Easton111
2026-07-26 16:21:15

 170

 6

#大数据 #hadoop #分布式 +4
基于大数据+机器学习的电商评论情感分析

电商评论情感分析系统摘要基于大数据与机器学习的电商评论情感分析系统，通过Java+SpringBoot技术架构实现，结合MySQL数据库存储海量评论数据。系统利用NLP技术提取文本特征，采用监督学习和深度学习模型（如LSTM、BERT）对评论进行情感分类，准确识别用户反馈中的正/负面情绪。主要功能包括：评论数据采集与清洗、情感倾向可视化分析、热点问题自动预警、虚假评论识别等。测试表明，系统可提升

 猿新
2026-07-26 17:41:06

 176

 5

#大数据 #机器学习 #人工智能 +3
kafka启停、操作脚本（shell），简化kafka操作

kafka启停、运行脚本（shell），实现传参create, list, describe, delete, consumer, producer start ,stop完成相关操作，简化操作命令

 蚂蚁呀~
2024-08-23 10:46:12

 805

 19

#kafka #分布式
hadoop 数据库的分层ads dws dwd ods：Hadoop数据库分层架构的深度剖析

在大数据领域，Hadoop作为一种开源的分布式数据处理框架，广泛应用于企业的数据仓库建设。为了高效地管理和处理海量数据，Hadoop数据库通常采用分层架构。这些分层包括ODS（Operational Data Store），DWD（Data Warehouse Detail），DWS（Data Warehouse Summ...

徐浆糊
2024-08-22 02:38:40

 265

#hadoop #数据库 #架构 +2
kafka动态接口topic信息

动态Kafka topic信息

 北城小生
2024-10-23 11:11:04

 1309

 20

#kafka #分布式
spark 3.3+ 之BloomFilter Runtime Filter

a left join b 时，a是小表，b是超大表。那么就先对a中的join条件构造bloomfilter，broadcast到各个executor上，把超大表中的数据先剔除掉，这样就不会shuffle大量数据了。│ Build Side (小的一边) ││ e.g. song_base_info 750万 ││ 1. 扫一遍, 把 join key 全部塞进 BF▼│ BloomFilter

淡定一生2333
2026-05-11 15:22:24

 223

#spark #大数据 #分布式
kafka启动报错排查思路之一

检查配置文件，可能是实际日志路径/etc/kafka/logs与配置文件server.properties日志路径不一致log.dirs=/etc/kafka/kafka-logs。kafka启动依赖于zookeeper启动，查看zookeeper是否启动。

Adorable老犀牛
2025-08-03 13:49:04

 356

 3

#kafka #分布式
ELK+filebeat+kafka

基于观察者模式设计的分布式结构，负责存储和管理架构当中的元信息，架构当中的应用接受观察者的监控，一旦数据有变化，通知对应的zookeeper,保存变化的信息。3、统一集群管理，在整个分布式的环境中，必须实时的掌握每个节点的状态，如果状态发生变化，要及时更新。1、点对点，一对一，生产者生产消息，消费者消费消息，这个是一对一的。消息的生产者发布一个主题，其他的消费者订阅这个主题，从而实现一对多。经纪人

 2401_85041083
2025-01-05 15:40:18

 1402

 23

#elk #kafka #分布式
zookeeper安装实践

ZooKeeper 3.9.4 是 Apache 官方推出的稳定版本，相比 3.4.14 优化了安全性、稳定性及兼容性，适用于微服务注册发现、分布式锁、配置中心等场景。本文详细讲解 Linux 和 Windows 系统下的完整安装、配置及验证流程，新手可快速上手。

冰糖葫芦_a
2025-11-22 11:52:51

 998

 23

#zookeeper #debian #分布式
kafka--基础知识点--16--最多一次、至少一次、精确一次

个人理解，仅供参考。一个消息的传递可以分两个过程，a) producer发送消息到 broker，b) consumer从broker读消息并发送。

Chasing__Dreams
2025-09-14 17:44:25

 1336

 13

#kafka #分布式
SpringBoot定时任务 - 分布式quartz cluster方式

通常我们使用quartz只是实现job单实例运行，本例将展示quartz实现基于数据库的分布式任务管理，和控制job生命周期。

jonas303615108
2025-06-29 22:55:42

 518

 9

#分布式
完全分布式集群下zookeeper集群搭建实验

完全分布式集群下zookeeper集群搭建实验

 2401_82808073
2024-11-17 12:50:49

 1042

 30

#分布式 #zookeeper #大数据 +1
zookeeper在kafka中的作用

但是，其无法做到真正的负载均衡，因为实际系统中的每个生产者产生的消息量及每个Broker的消息存储量都是不一样的，如果有些生产者产生的消息远多于其他生产者的话，那么会导致不同的Broker接收到的消息总数差异巨大，同时，生产者也无法实时感知到Broker的新增和删除。在消费者对指定消息分区进行消息消费的过程中，需要定时地将分区消息的消费进度Offset记录到Zookeeper上，以便在该消费者进行

 小小怪下士 XIA
2024-10-10 15:13:28

 1176

 10

#zookeeper #kafka #分布式