通用 · 物联网平台

招标方开始问这三个问题了:实时流、多模态湖、非结构化治理

「支持实时计算」这句话已经过时了。现在的问法是:用 Flink 还是 Spark Streaming、CDC 怎么保证断点续传、湖仓的路由引擎按什么规则判定。这篇讲清这三组问题该怎么答。

华北 · 校园物联网平台技术应答 · 方案设计阶段

方案设计华北方案设计阶段通用 · 物联网平台
3 组 9 问
技术问询
实时流 / 湖仓 / 非结构化
Flink
实时框架
事件流规则判定
3 类
多模态库
ClickHouse / 图库 / 向量库
端到端
非结构化链路
从原始文件到知识库

本项目为方案设计阶段,页面中的数字来自需求测算与架构推演,不是上线后的实际运行数据。 已交付项目会单独标注「已交付」。

Challenges

这个项目难在哪

每个案例的难点都不一样。先把难点说清楚,方案才有意义。

01

招标方的技术问询从「支不支持」变成了「用什么实现、怎么保证」,答「支持」等于没答

02

实时计算不是装个流处理引擎就完事,事件规则、消息队列解耦、状态管理都要说清

03

CDC 全增量一体化同步里,断点续传是最容易在压力测试时暴露的一环

04

非结构化数据的处理链路里,最难的不是 OCR,是标注质量与交叉核验

背景:技术问询的口径变了

这两年做物联网平台投标,最明显的变化是技术问询的写法。以前问的是「贵司平台是否支持 MQTT 协议接入」「是否支持数据可视化」,这类问题答「支持」就过去了。现在问的是:

  • 「能否兼容主流实时计算框架,完成全校全域数据的实时流处理,基于 Flink 实时流计算、事件流实时规则判定,并结合消息队列完成异步处理与服务解耦?」
  • 「是否拥有 CDC 一体化框架与微批聚合技术能力?能否实现数据全增量一体化同步,支持断点续传?」
  • 「能否深度集成 ClickHouse、图数据库、向量数据库等多模态数据库?」

问题变长的背后,是甲方被坑过。上一轮建设里,很多平台号称「支持实时」,实际是 5 分钟跑一次定时任务;号称「支持大数据」,实际是一个 MySQL 加几个物化视图。所以这一轮的问询直接把实现路径写进了问题里。

这篇把这三组共九个问题拆开讲。不是给标准答案,是讲每个问题背后甲方真正想确认的是什么,以及答不上来会在哪里翻车。

第一组:实时流处理,三个层层递进的问题

问题一:实时计算引擎,不是「有个流处理」就行

原文问的是「能否兼容主流实时计算框架,完成全域数据的实时流处理,基于 Flink 实时流计算、事件流实时规则判定,并结合消息队列完成异步处理与服务解耦」。

这句话里其实藏了四件事,少一件都算不上完整:

能力甲方真正在问什么答不上来会怎样
流计算引擎是流式还是伪实时(定时任务冒充)压力测试时延迟一测就露馅
事件流规则判定规则是跑在流里,还是查一次数据库判一次设备一多,规则判定把数据库打死
消息队列解耦采集、计算、存储是不是串成一条链任何一环升级,整条链停摆
异步处理高峰期的数据会不会丢开学季、早晚高峰丢数据,事后补不回来
实时流处理要回答的四件事

这里最容易被含糊过去的是第二条。**「实时告警」有两种实现**:一种是把规则编译进流处理任务,数据流过时直接判断;另一种是数据先落库,再由一个扫描任务周期性查库比对。后者在设备几千个时看不出问题,到几万个就会把数据库压垮。

回答这类问题时,最有效的方式不是罗列技术栈,是给出一条**具体的判定链路**:设备上报 → 消息队列 → 流处理任务 → 规则引擎判定 → 告警事件入队 → 推送。每一段说清吞吐和延迟的量级,比说「支持 Flink」有用得多。

问题二:CDC 全增量一体,断点续传才是真考验

原文问的是「是否拥有 CDC 一体化框架与微批聚合技术能力?能否实现数据全增量一体化同步,支持断点续传,保障实时数据精准、一致同步」。

CDC(变更数据捕获)要解决的问题是:业务库里的数据变了,分析侧怎么知道。全量同步好做,增量同步也不难,难的是**全量和增量怎么接上**,以及**中途断了怎么办**。

  1. 1**全量与增量的衔接点**。先做全量快照,再从某个 binlog 位点开始追增量。这两个动作之间有时间差,如果快照期间数据还在变,衔接点上就会出现重复或丢失。
  2. 2**断点续传的位点管理**。位点存在哪里、多久提交一次、重启后从哪个位点恢复。位点提交太频繁影响性能,太稀疏则重启后重复数据多。
  3. 3**幂等**。断点续传必然带来重复数据,下游必须能按主键或事件 ID 去重,否则一次重启就是一次数据翻倍。
!压力测试时最常暴露的一环

断点续传在平时几乎不会被触发,只有在网络抖动、数据库主从切换、同步任务重启时才会用上。所以验收时应该主动做一次「同步过程中 kill 掉任务再拉起」的测试,看数据最终是否一致。

问题三:统一消息代理,说到底是问「耦合度」

原文问的是「是否具备实时消息消费、监控能力?能否提供适配数据编排、业务规则、云上云下场景的统一消息代理与转发机制」。

这条问的是架构耦合度。如果数据采集直接写业务库,那新增一个分析场景就要改采集程序;如果采集只负责往消息代理投递,谁需要谁订阅,加一个消费方不需要动采集侧。

「监控能力」这四个字也值得展开:消息积压了多少、消费延迟多少、有没有死信。没有这套监控,消息代理就是个黑盒——出问题时你只知道「数据没上来」,不知道卡在哪。

第二组:湖仓一体,别把装了 ClickHouse 叫湖仓

问题四:多模态统一接入,说的是四种数据形态

原文问的是「能否搭建湖仓一体、多模态数据湖架构?是否支持结构化、半结构化、非结构化全域数据统一接入与存储」。

物联网平台的数据形态至少有四种,各有各的存法:

数据类型典型内容存储选择
结构化设备台账、告警记录、能耗计量关系库或列式库
半结构化JSON 格式的设备上报报文、日志文档库或列式库的 JSON 字段
时序温度、电流、流量等高频测点时序库或列式库按时间分区
非结构化视频、图片、录音、PDF 文档对象存储 + 元数据索引
四类数据的存储选择

「湖仓一体」这个词被用得很滥。真正的判断标准不是用了什么产品,而是**能不能在同一套元数据下同时做两件事**:对原始文件做批处理分析,对结构化表做交互式查询,而不用把数据在两边倒来倒去。

问题五:智能路由,问的是「会不会自动选引擎」

原文问的是「是否具备湖仓智能路由引擎?能否实现同源、多源、跨源异构数据的统一查询与分析?并基于业务需求智能完成执行引擎的判定」。

翻译一下:用户写一句查询,系统要能自己判断该去 ClickHouse 查、去对象存储扫、还是去图库做关系遍历,然后把结果合并回来。

这件事的工程难点不在「路由」,在**跨源 join**。同一个查询里既要关联设备台账(关系库),又要关联告警时序(列式库),还要算设备之间的拓扑关系(图库)。如果路由引擎只是把三个查询分别发出去再在应用层拼结果,那数据量一大就撑不住。

问题六:三种数据库,各解决一类问题

原文问的是「能否深度集成 ClickHouse、图数据库、向量数据库等多模态数据库?是否可解决复杂场景下多类型数据统一开发的问题」。

这三种库不是凑数,各自对应一类物联网场景里的真实问题:

数据库解决什么物联网里的典型用法
ClickHouse海量时序数据的聚合查询某栋楼一年的分项能耗按小时汇总
图数据库多跳关系遍历这台交换机下面挂了多少个 AP、这些 AP 又连了哪些终端
向量数据库语义相似检索用自然语言找「上周三下午异常的告警」
三类多模态数据库的定位

图数据库这一条在物联网里经常被低估。设备之间的连接关系(楼栋 → 楼层 → 房间 → 配电箱 → 回路 → 设备)天然是图结构,用关系库做递归查询,深度一超过三层性能就崩。**做能效分析、故障影响范围分析时,图查询是刚需。**

第三组:非结构化数据,难点在标注不在 OCR

问题七:端到端流水线,从原始文件到知识库

原文问的是「是否具备非结构化数据全链路自动化治理能力?是否内置文本提取、图表提取、低音过滤、图谱解析、噪声监测及 OCR 处理引擎等算子,能否搭建从原始数据到知识库、训练数据的端到端自动化处理流水线」。

这条问的其实是「你的平台能不能吃下非结构化数据」。物联网项目里的非结构化数据比想象中多:设备说明书 PDF、施工验收照片、巡检录音、监控录像、工单里手写的备注。

处理链路的每一环都有坑:

  • **OCR**:扫描件倾斜、盖章遮挡、手写体,识别率断崖式下跌。要在流水线里加质量评分,识别置信度低的自动转人工。
  • **图表提取**:说明书里的拓扑图、接线图,提取出来是图,不是文字。要单独走图像理解,不能指望文本 OCR。
  • **低音过滤**:巡检录音里的环境噪音、方言,转写质量直接决定能不能用。
  • **图谱解析**:从文档里抽出「设备—参数—位置」的关系,这才是能进知识库的结构化产物。

问题八:人机协同标注,这条最容易被轻视

原文问的是「是否具备人机协同智能标注体系?能否实现脚本自动处理、多人在线协同标注、标注交叉核验,兼顾效率与准确性」。

这条是整个非结构化链路里最不性感、但最决定成败的一环。原因很简单:**自动处理能覆盖 80%,剩下 20% 的准确率决定了这套东西能不能用。** 而这 20% 只能靠人。

方案里必须回答三个具体问题:

  1. 1**谁来标**。是业务人员还是专职标注员。业务人员标得准但没时间,标注员有时间但不懂业务。通常是业务人员标一批种子数据,标注员按规则扩。
  2. 2**怎么交叉核验**。同一条数据由两人独立标注,不一致的进仲裁队列。这个机制的代价是标注成本翻倍,但不做就没有质量基线。
  3. 3**标完怎么回流**。标注结果要能直接进训练集或知识库,不能停在标注工具里导出成 Excel。
!一条现实判断

如果甲方没有稳定的标注人力,那这套「人机协同标注体系」在验收后会迅速退化成纯自动处理,准确率没人管。方案里应该把标注人力和运营机制写进去,否则就是交付了一个没人用的功能。

问题九:RAG 检索,知识库不是把文档扔进去就行

原文问的是「是否掌握知识向量化与 RAG 检索增强技术?能否将非结构化文档转化为标准化知识单元,实现知识智能检索、语义推理,为学校大模型应用提供全域知识库支撑」。

RAG 在物联网场景里的价值很具体:值班员问「三号楼空调不制冷怎么处理」,系统能检索到设备手册、历史工单、维保记录,给出处理步骤,而不是让他在十几个 PDF 里翻。

但要做好,有三个绕不开的工程问题:

问题具体表现处理方式
切分粒度切太大检索不准,切太小丢上下文按文档结构切(章节/表格/图注),不按固定字数切
元数据检索到的片段不知道来自哪台设备哪个型号每个片段绑定设备型号、文档版本、生效日期
版本冲突新旧两版手册同时被检索到,答案自相矛盾按生效日期过滤,旧版本归档不参与检索
RAG 落地的三个工程问题

第三条最容易被忽略。设备手册是会换版的,如果知识库不做版本管理,同一个问题会检索出两个互相矛盾的答案,用户对系统的信任一次就没了。

这类问题该怎么答

九个问题拆完,回答方式其实只有一条原则:**不要答「支持」,要答「怎么做、代价是什么」**。

错误答法问题在哪更好的答法
支持 Flink 实时计算等于没说,任何厂商都能这么写给出采集→MQ→流任务→规则判定→告警的链路和延迟量级
支持湖仓一体概念,无法验收说明元数据怎么统一、跨源查询怎么合并结果
支持向量检索没有说清切分和元数据说明按文档结构切分、片段绑定设备型号与版本
三种典型问题的答法对比

写「代价」这件事看着像自曝其短,实际是建立可信度最有效的方式。比如「CDC 断点续传会带来重复数据,我们在下游按事件 ID 做了幂等」——这句话既说明了能力,也说明了边界,甲方听得懂。

几条可以带走的判断

  • **技术问询变长,是因为甲方被坑过。** 每一条附加条件背后,都对应上一轮建设里的一个坑。读问题时要读出那个坑。
  • **「实时」要拆成链路说。** 采集频率、传输延迟、规则判定耗时、告警推送耗时,四段加起来才是用户感知的实时。
  • **CDC 的真正考验是断点续传和幂等。** 平时不触发,出问题时才发现数据重复了一倍。
  • **湖仓一体的判断标准是元数据统一,不是用了什么产品。** 装了 ClickHouse 不等于湖仓。
  • **图数据库在物联网里被严重低估。** 楼栋到设备的六层关系,关系库做递归查询撑不住。
  • **非结构化处理的瓶颈在标注,不在 OCR。** 没有稳定的标注人力和交叉核验机制,这套功能验收后就会荒废。
  • **RAG 必须做版本管理。** 新旧手册同时被检索到,答案自相矛盾,用户信任一次就没了。
Tech Stack

用到的技术

Flink 实时流计算CDC 全增量同步消息队列(异步解耦)湖仓一体 + 智能路由ClickHouse / 图数据库 / 向量数据库OCR 与文档解析人机协同标注RAG 知识检索

这些技术在其他项目里也用过,完整的协议支持清单和已实测规模见技术能力

Talk to Us

有类似的项目?

把你的现场情况说清楚就行,不用先写需求文档。我们会告诉你从哪切入最划算、哪些环节其实可以不花钱。

工作时间内 2 小时内回复
先判断可行性,再谈报价
不需要的不会推销
你想聊什么 *
0/500

不留资也能聊,直接致电19307480265

想看看其他行业的做法?

六个案例覆盖教育、水务、安防、交通和设备适配,每个都写了难点和取舍。