![Spark性能優化(4)——使用序列化的持久化級別](http://p2.ttnews.xyz/loading.gif)
使用序列化的持久化級別
除了對多次使用的RDD進行持久化操作之外,還可以進一步優化其性能。因為很有可能,RDD的數據是持久化到內存,或者磁盤中的。那麼,此時,如果內存大小不是特別充足,完全可以使用序列化的持久化級別,比如:
- MEMORYONLYSER
- MEMORY_ANDDISKSER
等。使用
RDD.persist(StorageLevel.MEMORYONLYSER)
這樣的語法即可。
![Spark性能優化(4)——使用序列化的持久化級別](http://p2.ttnews.xyz/loading.gif)
閱讀更多 SNAP視頻 的文章
2018-11-14 08:35:29 SNAP視頻
除了對多次使用的RDD進行持久化操作之外,還可以進一步優化其性能。因為很有可能,RDD的數據是持久化到內存,或者磁盤中的。那麼,此時,如果內存大小不是特別充足,完全可以使用序列化的持久化級別,比如:
等。使用
RDD.persist(StorageLevel.MEMORYONLYSER)
這樣的語法即可。
閱讀更多 SNAP視頻 的文章