ORC | ORC 概述

message PostScript {
  optional uint64 footerLength = 1;                 // 记录当前的footer的长度
  optional CompressionKind compression = 2;         // 记录当前压缩信息
  optional uint64 compressionBlockSize = 3;

  // postscript 中存储的版本是保证能够读取文件的最低版本的Hive，以主版本号和次版本号的序列存储。
  //   [0, 11] = Hive 0.11
  //   [0, 12] = Hive 0.12
  repeated uint32 version = 4 [packed = true];

  optional uint64 metadataLength = 5;              // 记录metadata的长度

  // 写入文件的写入器版本。
  // 当我们对写入器进行修复或进行较大更改时，此数字将更新，以便读取器可以检测数据中是否存在特定的错误。
  //
  // ORC Java写入器的版本：
  //   0 = original
  //   1 = HIVE-8732 fixed (fixed stripe/file maximum statistics & string statistics use utf8 for min/max)
  //   2 = HIVE-4243 fixed (use real column names from Hive tables)
  //   3 = HIVE-12055 added (vectorized writer implementation)
  //   4 = HIVE-13083 fixed (decimals write present stream correctly)
  //   5 = ORC-101 fixed (bloom filters use utf8 consistently)
  //   6 = ORC-135 fixed (timestamp statistics use utc)
  //   7 = ORC-517 fixed (decimal64 min/max incorrect)
  //   8 = ORC-203 added (trim very long string statistics)
  //   9 = ORC-14 added (column encryption)
  //
  // ORC C++ 写入器的版本 :
  //   6 = original
  //
  // ORC Presto 写入器的版本 :
  //   6 = original
  //
  // ORC Go 写入器的版本 :
  //   6 = original
  //
  // ORC Trino 写入器的版本 :
  //   6 = original
  optional uint32 writerVersion = 6;
  
  optional uint64 stripeStatisticsLength = 7;  // 加密stripe统计信息的字节数
  optional string magic = 8000;                 // 魔数
}

message Footer {
  optional uint64 headerLength = 1;           // orc 文件header长度 -- OrcFile.MAGIC 魔数
  optional uint64 contentLength = 2;          // orc 文件body长度
  repeated StripeInformation stripes = 3;     // stripe 统计信息
  repeated Type types = 4;                    // schema 信息
  repeated UserMetadataItem metadata = 5;     // 用户自定义元信息
  optional uint64 numberOfRows = 6;           // 包含的行数据
  repeated ColumnStatistics statistics = 7;   // 文件级别的每个列的统计信息statics
  optional uint32 rowIndexStride = 8;         // 每个索引条目中的最大行数。

  // 每个编写 ORC 文件的实现都应该注册一个代码。
  // 0 = ORC Java
  // 1 = ORC C++
  // 2 = Presto
  // 3 = Scritchley Go from https://github.com/scritchley/orc
  // 4 = Trino
  optional uint32 writer = 9;

  // information about the encryption in this file
  optional Encryption encryption = 10;       // 对于加密列的处理
  optional CalendarKind calendar = 11;

  // 有关编写文件的软件版本的信息性描述。假定它在给定的写入器内，例如 ORC 1.7.2 = "1.7.2"。它可以包括后缀，如“-SNAPSHOT”。
  optional string softwareVersion = 12;
}

message Metadata { 
  repeated StripeStatistics stripeStats = 1;
}
// StripeStatistics（每个stripe一个），其中每个包含每列的 ColumnStatistics.
message StripeStatistics {
  repeated ColumnStatistics colStats = 1;   // 每个列的统计统计信息
}

message StripeFooter {
  repeated Stream streams = 1;                       // 每个流的位置(未加密流)。
  repeated ColumnEncoding columns = 2;               // 每个列的编码类型
  optional string writerTimezone = 3;                // 写时区
  repeated StripeEncryptionVariant encryption = 4;   //加密列流类型统计
}

message ColumnEncoding {
  enum Kind {
    DIRECT = 0;        // 直接编码
    DICTIONARY = 1;    // 字典编码
    DIRECT_V2 = 2;
    DICTIONARY_V2 = 3;
  }
  optional Kind kind = 1;
  optional uint32 dictionarySize = 2;

  // 此列的BloomFile 编码:
  //   0 or missing = 没有编码
  //   1            = ORC-135 (utc for timestamps)
  optional uint32 bloomEncoding = 3;
}

message Stream {
  // 数据流的类型
  enum Kind {
    PRESENT = 0;                  // 空值位图流
    DATA = 1;                     // 数据实体
    LENGTH = 2;                   // 
    DICTIONARY_DATA = 3;          // 
    DICTIONARY_COUNT = 4;         // 
    SECONDARY = 5;                // 
    ROW_INDEX = 6;                // 原始索引类型
    BLOOM_FILTER = 7;             // 列的BloomFilter数据体
    BLOOM_FILTER_UTF8 = 8;        // 列的BloomFilter数据体
    ENCRYPTED_INDEX = 9;          // 加密索引类型
    ENCRYPTED_DATA = 10;          // 加密列数据类型
    STRIPE_STATISTICS = 100;      // Stripe 统计信息数据体
    FILE_STATISTICS = 101;        // 文件统计信息数据体
  }
  optional Kind kind = 1;          // 表示此数据流的类型
  optional uint32 column = 2;      // 列的标识ID
  optional uint64 length = 3;      // 流长度
}

// 每个RowGroup的每个列的统计信息
message RowIndexEntry {
  repeated uint64 positions = 1 [packed=true];      // 包含data区当前列所有stream的索引信息
  optional ColumnStatistics statistics = 2;         // 包含行组内的列的相关统计信息，最大值，最小值，求和，
}

// RowGroup 中的每个列的索引信息
message RowIndex {
  repeated RowIndexEntry entry = 1;           
}

message BloomFilter {
 optional uint32 numHashFunctions = 1;
 repeated fixed64 bitset = 2;
 optional bytes utf8bitset = 3;
}
message BloomFilterIndex {
 repeated BloomFilter bloomFilter = 1;
}