|
1
4
我想你是在拿桔子和苹果作比较。 您必须了解何时使用BigData和普通Java程序?
大数据并不是为了处理小规模的数据,Bigdata框架需要在分布式环境中执行多个管理任务,这是一项巨大的开销。对于小数据,实际处理时间可能与hadoop平台中管理整个过程所需的时间相比非常小。因此,一个独立的程序比BigData工具(如
如果希望看到差异,请确保通过上述两个程序处理至少1 TB的数据,并比较处理相同数据所需的时间。 除此之外,BigData还在处理过程中引入了容错功能。想想看,如果JVM崩溃(比如OutOfMEmoryError)正常的Java程序执行,会发生什么?在普通java程序中,整个过程都会崩溃。在Bigdata平台中,该框架确保处理不会停止,并执行故障恢复/重试过程。这使得它具有容错性,并且不会因为崩溃而失去对数据其他部分所做的工作。 下表大致解释了您应该何时切换到大数据。
|