500万条数据,lambda并行流表现如何

500万条数据,lambda并行流表现如何

上午抛砖引玉,写了一篇100万数据lambda和for循环迭代的效果,直观来看没什么区别。看到好多网友留言,讨论了lambda。考虑到我写的那篇文章可能不够严谨。Lambda除了在写法上的不同,还有其它什么作用呢?于是去上网继续深入学习lambda,既然官方推出来,必然存在合理性。学到了它还有数据并行化处理。

并行和并发有什么区别?我的理解是并行是建立在多核处理器的基础,很好理解,就像流水线一样,几条流水线同时工作。那么并发就更容易理解了,单核和多核都可以,通过CPU时间片实现并发调度。

纸上得来终觉浅,绝知此事要躬行!这次用500百万的数据来进行实验。代码如下:

500万条数据,lambda并行流表现如何

源码

执行最终效果如下:

500万条数据,lambda并行流表现如何

执行效果

500万数据已经是我本机的极限了,1000万数据要发生内存泄漏了。从执行的效果来看,大数据处理方面lambda还是很有优势的。但是lambda并行流处理却没有体现出优势,可能是我本机CPU核数不够,性能不佳等。通过这两篇文章,大概了解了lambda在大数据方面处理的优势,这也很符合这个时代发展的潮流,技术变革有点社会发展规律一样,都是螺旋式前进的。


分享到:


相關文章: