11.14 Spark性能優化(4)——使用序列化的持久化級別

Spark性能優化(4)——使用序列化的持久化級別

使用序列化的持久化級別

除了對多次使用的RDD進行持久化操作之外,還可以進一步優化其性能。因為很有可能,RDD的數據是持久化到內存,或者磁盤中的。那麼,此時,如果內存大小不是特別充足,完全可以使用序列化的持久化級別,比如:

  1. MEMORYONLYSER
  2. MEMORY_ANDDISKSER

等。使用

RDD.persist(StorageLevel.MEMORYONLYSER)

這樣的語法即可。

Spark性能優化(4)——使用序列化的持久化級別


分享到:


相關文章: