当有人描述批处理和流处理之间的区别时,典型的答案是批处理数据被收集、存储一段时间、定期处理和使用(例如工资单、银行对账单),而流数据则被处理和使用。在生成时立即投入使用(考虑来自传感器数据的警报)。
虽然准确,但这个答案未能说明为什么差异很重要,以及为什么公司果断转向流处理架构。
我们将世界视为不断发生的事件。我们通过将这些信息流与我们的经验和记忆进行比较来做出决定。我们感知威胁并做出反应,或者识别并抓住机会。及时做出反应往往是有益的——我们避免被蛇咬伤或在电影院抢到最好的座位。流处理更紧密地反映了这种非常人性化的体验模式。
企业吸收尽可能多的信息流,在数据流过时寻找代表威胁或机遇的模式,当所述模式出现时,他们就会采取行动。不采取行动的代价可能是数据泄露或失去收入机会。
当您需要处理大量数据并且可以定期交付结果时,批处理仍然很有效。但如果最近的趋势持续下去,更多的工作将转向流媒体,因为公司无法再接受批量的隐性成本并保持竞争力。
一个很好的例子是内幕交易。现在,检测即将执行内幕交易的人的成本远低于稍后在批处理处理后尝试平仓该交易的成本。即使批处理过程每五分钟运行一次,也仅仅意味着您会更快地找到它们,而不是阻止它们。最终流与批次将显示在资产负债表和股票价格中。
反对流式传输的一个潜在论点是,它可能无法像批处理那样经济高效地处理数据量。然而,随着 Kafka、Flink 及其云类似系统的出现,这种情况变得越来越少。
上一篇我们送上的文章是
使用电池的安全指南 , _!在下一篇继续做详细介绍,如需了解更多,请持续关注。
本文由
日本NEC锂电池中国营销中心于2023-07-16 17:17:30 整理发布。
转载请注明出处.