Hadoop面試題

• 講述HDFS上傳文件和讀文件的流程？
• HDFS在上傳文件的時候，如果其中一個塊突然損壞了怎麼辦？
• NameNode的作用？
• 4.NameNode在啟動的時候會做哪些操作？
• NameNode的HA？
• Hadoop的作業提交流程？
• Hadoop怎麼分片？
• 如何減少Hadoop Map端到Reduce端的數據傳輸量？
• Hadoop的Shuffle？
• 哪些場景才能使用Combiner呢？
• HMaster的作用？
• 如何實現hadoop的安全機制？
• hadoop的調度策略的實現，你們使用的是那種策略，為什麼？
• 數據傾斜怎麼處理？
• 評述hadoop運行原理？
• 簡答說一下hadoop的map-reduce編程模型？
• hadoop的TextInputFormat作用是什麼，如何自定義實現？
• map-reduce程序運行的時候會有什麼比較常見的問題？
• Hadoop平臺集群配置、環境變量設置？
• Hadoop性能調優？
• .Hadoop高併發？
• Hadoop配置文件以及簡單的Hadoop集群搭建
• Hadoop參數調優
• Hadoop宕機
• Hadoop 高可用配置
• 配置 HDFS-HA集群
• 配置HDFS-HA自動故障轉移
• 配置Yarn-HA

spark面試題

• Spark的Shuffle原理及調優？
• hadoop和spark使用場景？
• spark如何保證宕機迅速恢復?
• hadoop和spark的相同點和不同點？
• RDD持久化原理？
• checkpoint檢查點機制？
• checkpoint和持久化機制的區別？
• Spark Streaming和Storm有何區別？
• RDD機制？
• Spark streaming以及基本工作原理？
• DStream以及基本工作原理？
• spark有哪些組件？
• spark工作機制？
• Spark工作的一個流程？
• spark核心編程原理？
• spark基本工作原理？
• spark性能優化有哪些？
• updateStateByKey詳解？
• 寬依賴和窄依賴？
• spark streaming中有狀態轉化操作？
• spark常用的計算框架？
• spark整體架構？
• Spark的特點是什麼？
• 搭建spark集群步驟？
• Spark的三種提交模式是什麼？
• spark內核架構原理？
• Spark yarn-cluster架構？
• Spark yarn-client架構？
• SparkContext初始化原理？
• Spark主備切換機制原理剖析？
• spark支持故障恢復的方式？
• spark解決了hadoop的哪些問題？
• 數據傾斜的產生和解決辦法？
• spark 實現高可用性：High Availability？
• spark實際工作中，是怎麼來根據任務量，判定需要多少資源的？
• spark中怎麼解決內存洩漏問題？

Zookeeper面試題

• zookeeper是什麼框架？
• 有哪些應用場景？
• 使用什麼協議？
• 說說分佈式一致性算法Paxos
• 說一說選舉算法及流程
• zookeeper有哪幾種節點類型？
• zookeeper對節點的watch監聽通知是永久的嗎？
• 有哪幾種部署模式？
• 集群中的機器角色都有哪些？
• 集群最少要幾臺機器，集群規則是怎樣的
• 集群如果有3臺機器，掛掉一臺集群還能工作嗎？掛掉兩臺呢？
• 集群支持動態添加機器嗎？
• zookeeper的java客戶端都有哪些？
• chubby是什麼，和zookeeper比你怎麼看？
• 說幾個zookeeper常用的命令。

由於內容太多，小編已經把面試題和答案整成了文檔，需要獲取的朋友幫忙轉發文章並關注我，後臺私信【面試資料】即可免費獲取

閱讀更多 高級大數據工程師 的文章

關鍵字: Hadoop Spark HDFS