上一章聊到行式存儲、列式存儲的基本概念，並介紹了 TsFile 是如何存儲數據以及基本概念。詳情請見：
時序數據庫 Apache-IoTDB 源碼解析之文件格式簡介（三）
打一波廣告，歡迎大家訪問 IoTDB 倉庫(https://github.com/apache/incubator-iotdb)，求一波 Star 。歡迎關注頭條號：列炮緩開局
這一章主要想聊一聊：
- TsFile的文件概覽
- TsFile的數據塊
TsFile文件概覽
一個完整的 TsFile 是由圖中的幾大塊組成，圖中的數據塊與索引塊之間使用 1 個字節的分隔符 2 來進行分隔，這個分隔符的意義是當 TsFile 損壞的時候，順序掃描 TsFile 時，依然可以判斷下一個是 MetaData 是什麼東西。
1. 識別符（Magic）
現在各種軟件五花八門，很多軟件都擁有自己的文件格式用來存儲數據內容，但當硬盤上文件非常多的時候如何有效的識別是否為自己的文件，確認可以打開呢？經常用 windows 系統的朋友可能會想到用擴展名，但假如文件名丟失了，那我們如何知道這個文件是不是能被程序正確訪問呢？
這時候通常會使用一個獨有的字符填充在文件開頭和結尾，這樣程序只要訪問 1 個固定長度的字符就知道這個文件是不是自己能正常訪問的文件了，當然，TsFile 作為一個數據庫文件，肯定需要在這個識別符上精心打造一番，它看起來是這樣：
<code> (decimal) 84 115 70 105 108 101 (hex) 54 73 46 69 6c 65 (ASCII) T s F i l e/<code>
非常 cool 。
2.文件版本（Version）
再精妙的設計也難免產生一些問題，那麼就需要升級，那麼文件內容也一樣，有時候當你的改動特別大了，就會出現完全不兼容的兩個版本，這個很好理解不過多解釋。TsFile 中採用了 6 個字節來保存文件版本信息，當前 0.9.x 版本看起來就是這樣：
<code> (decimal) 48 48 48 48 48 50 (hex) 30 30 30 30 30 32 (ASCII) 0 0 0 0 0 2/<code>
3.數據塊
3.1 ChunkGroup
文件的數據塊中包含了多個 ChunkGroup ，其中 ChunkGroup 的概念已經在上一章聊過，它代表了設備(邏輯概念上的一個集合)一段時間內的數據，在 IoTDB 中稱為 Device。
在實際的文件中，ChunkGroup是由多個 Chunk 和一個 ChunkGroupFooter 組成。其中最後一個 Chunk 的結尾和 ChunkGroupFooter 之間使用 1 個字節的分隔符 0 來做區分，ChunkGroupFooter 沒有什麼具體作用，不做詳細解釋。
3.2 Chunk
一個 ChunkGroup 中包含了多個 Chunk，它代表了測點數據(邏輯概念上的某一類數據的集合,如體溫數據)，在 IoTDB 中稱為 Measurement。
在實際文件中 Chunk 是由 ChunkHeader 和多個 Page 組成，並被 1 個字節的分隔符 1 包裹。ChunkHeader中主要保存了當前 Chunk 的數據類型、壓縮方式、編碼方式、包含的 Pages 佔用的字節數等信息。
3.3 Page
一個 Chunk 中包含多個 Page，它是一個數據組織方式，數據大小被限制在 64K 左右。
在實際文件中由 PageHeader 和 PageData 組成。其中 PageHeader 裡主要保存了，當前 page 裡的一些預聚合信息，包含了最大值、最小值、開始時間、結束時間等。他的存在是非常有意義的，因為當某些特定場景的讀時候，不必要解開 page 的數據就能夠得到結果，比如說 selece 體溫 from 王五 where time > 1580950800 ， 當讀到 PageHeader 的時候，找到 startTime 和 endTime 就能判斷是否可以使用當前 page。 這個聚合信息的結構同樣出現在索引塊中，下一章再具體聊這個聚合結構。
3.4 PageData
一個 Page 中包含了一個 PageData，裡面有兩個數組：時間數組和值數組，且這兩個數組的下標是對齊的，也就是時間數組中的第一個對應值數組中的第一個。舉個例子：
<code>timeArray: [1,2,3,4]valueArray: ['a', 'b', 'c', 'd']/<code>
在page中就是這樣保存的數據，其中 1 代表了時間 1970-01-01 08:00:00 後的 1 毫秒，對應的值就是 'a'。
數據塊展示
我們繼續使用上一章聊到的示例數據來展示真正的TsFile中是如何保存的。
當數據被寫入 TsFile 中，大概就是下面一個展示的情況，這裡省略了索引部分。
<code> POSITION|CONTENT -------- ------- 0|[magic head] TsFile 6|[version number] 000002 // 因為 6個字節的magic + 6個字節的 version 所以 chunkGroup 從 12 開始|||||||||||||||||||||[Chunk Group] of wangwu begins at pos 12, ends at pos 253, version:0, num of Chunks:2 // 這裡展示的是 ChunkHeader 中保存的信息 12|[Chunk] of xinlv, numOfPoints:1, time range:[1580950800,1580950800], tsDataType:INT32, [minValue:100,maxValue:100,firstValue:100,lastValue:100,sumValue:100.0] |[marker] 1 // chunk 的真正開始是從這個分隔符 1 開始的 |[ChunkHeader] // header 的數據在上面展示了 |1 pages //這裡保存的具體數據 |time:1580950800; value:100 // 下一個 chunk 121|[Chunk] of tiwen, numOfPoints:1, time range:[1580950800,1580950800], tsDataType:FLOAT, [minValue:36.7,maxValue:36.7,firstValue:36.7,lastValue:36.7,sumValue:36.70000076293945] |[marker] 1 |[ChunkHeader] |1 pages |time:1580950800; value:36.7 230|[Chunk Group Footer] |[marker] 0 // chunkFooter 和 chunk 使用 0 作為分隔 |[deviceID] wangwu |[dataSize] 218 |[num of chunks] 2|||||||||||||||||||||[Chunk Group] of wangwu ends/<code>
回想我們的查詢語句 select 體溫 from 王五 , 當經歷過索引之後會得到 offset 的值等於 121 ，這時候我們只需要調用reader.seek(121)，從這裡開始就是所有體溫數據的開始點，從這裡一直讀到 230 的 ChunkGroupFooter 結構的時候，就可以返回給用戶數據了。
有興趣自己實驗的朋友可以，引入 TsFile 的包，自行實驗，下面給出測試代碼：
<code><dependency> <groupid>org.apache.iotdb/<groupid> <artifactid>tsfile/<artifactid> <version>0.9.1/<version>/<dependency>/<code>
<code>public static void main(String[] args) throws IOException, WriteProcessException { MeasurementSchema chunk1 = new MeasurementSchema("tiwen", TSDataType.FLOAT, TSEncoding.PLAIN); MeasurementSchema chunk2 = new MeasurementSchema("xinlv", TSDataType.INT32, TSEncoding.PLAIN); Schema chunks = new Schema(); chunks.registerMeasurement(chunk1); chunks.registerMeasurement(chunk2); TsFileWriter writer = new TsFileWriter(new File("test"), chunks); RowBatch chunkGroup = chunks.createRowBatch("wangwu"); long[] timestamps = chunkGroup.timestamps; Object[] values = chunkGroup.values; timestamps[0] = 1580950800; float[] tiwen = (float[]) values[0]; int[] xinlv = (int[]) values[1]; // 寫入王五的體溫 tiwen[0] = 36.7f; //寫入王五的心率 xinlv[0] = 100; chunkGroup.batchSize++; timestamps[1] = 1580950800; // 寫入第二條王五的體溫 tiwen[1] = 36.6f; //寫入第二條王五的心率 xinlv[1] = 90; chunkGroup.batchSize++; writer.write(chunkGroup); writer.close(); }/<code>執行完成之後你可以使用 IoTDB 中的 TsFileSketchTool 來查看文件結構，得到文中示例的展示結果；或者使用 od 等工具查看，祝玩兒的開心。IoTDB 0.9.1 版本可以從官方網站(http://iotdb.apache.com)下載
這一章聊到了 TsFile 分為了 數據塊 和 索引塊，並且介紹了數據塊的具體組成部分和查詢邏輯。那麼索引塊是什麼結構，怎樣完成了在大量混雜的數據中搜索到的想要的數據，請持續關注。
閱讀更多 列炮緩開局 的文章
