很多大數據開發工程師，特別是Hadoop初級工程師，經常被如何快速開發和調試Hadoop生態系統各種應用的問題所困擾。Hadoop生態組件眾多，每個組件都有自己的訪問方式和開發接口。在以往的開發工作中，開發者需要打開各種終端來調試一個問題，當使用Hive時，需要開啟hive cli終端，此時，如果需要訪問HBase中的數據時，又得再開啟一個Hbase的shell終端，然後還需要對spark程序調試時......這還不包括頻繁shell遠程登錄hadoop集群上的Linux系統。
這樣做的結果就是效率就會非常低，尤其是反覆調試查詢語句時，需要不斷修改代碼再重複打包上傳。現在，億信華辰實時大數據平臺PetaBase-i 提供了一種非常方便的數據可視化開發工具PetaBase UDE，能幫助開發者輕鬆開發和調試Hadoop中各種應用的數據。
PetaBase UDE幾乎可以支持所有大數據框架，包括HDFS文件系統的頁面，你可以對hdfs文件進行增刪改查；有HIVE UI界面，你可以在頁面上編寫HiveQL語句，進行數據分析查詢，還有YARN監控及Oozie工作流任務調度頁面等等。PetaBase UDE通過把這些大數據技術棧整合在一起，通過統一的Web UI來訪問和管理，可以極大地提高開發者和管理員的工作效率。這裡我們向大家展示一下PetaBase UDE的幾個核心功能：
這是SQL開發人員和分析師的智能編輯器，它打通了多個計算引擎如：Spark、Hive和HBase等，用戶可以在編輯器中提交執行SparkSQL、HiveQL進行數據操縱，甚至是查詢其他關係型數據庫數據。編輯器在易用性方面做了一些增強，包括代碼高亮、自動完成、智能提示、SQL助手、代碼格式化、歷史瀏覽、結果導出等。
HDFS文件瀏覽器
PetaBase UDE提供了可視化的HDFS文件系統訪問界面，使得對HDFS中的數據的操作完全能夠通過UI界面完成，包括查看文件中的內容。用戶可以很方便的瀏覽HDFS中的目錄和文件，並且進行文件和目錄的創建、複製、刪除、下載以及修改權限等操作。
作業瀏覽器
PetaBase UDE以可視化的方式向用戶展示任務的執行情況，例如：任務的執行進度、任務的執行狀態（正在運行、成功、失敗、停止），任務的執行時間。選擇具體的某個任務，還能夠顯示該任務的詳細信息、元數據、錯誤日誌等。除此之外，PetaBase UDE還提供了關鍵字查找和按照任務執行狀態分類查找的功能。
PetaBase UDE提供了一個名叫筆記本的腳本編輯功能，用戶可以通過筆記本執行scala、python或者spark程序，在筆記本中編寫並提交基於各種框架的程序，可極大提高用戶代碼的複用性。在日常數據分析應用中，有時候需要編寫一段代碼或者多個查詢語句，提供給業務方實現某個需求，以供他們需要時使用，這時候就可以在筆記本編輯中開發並保存，然後將筆記本提交給業務方即可。
筆記本編輯支持絕大部分主流語言，包括：scala、java、hive，spark，R等，還能支持mysql等關係型數據庫的sql語言。如下圖所示，在筆記本編輯器中編寫scala代碼。
或者在筆記本中執行spark程序，如下圖：
PetaBase UDE還有許多非常有趣的功能，限於篇幅，這裡就不一一介紹了，如果你有興趣，歡迎留言或私信。
閱讀更多 億信華辰 的文章
