大数据文件格式

大数据文件格式需要在存储效率、模式演进和查询速度之间进行权衡。最佳选择取决于工作负载主要是扫描记录、跨许多行读取少量列，还是在系统之间交换事件。

行式格式 #

行式格式将一条记录的字段放在一起。Avro 是常见示例。由于读取完整记录很高效，它适用于流式处理、事件交换和写入密集型工作负载。Avro 将写入方模式与数据一起存储，并提供支持兼容演进的明确模式解析规则。

列式格式 #

Parquet 和 ORC 按列组织数据。分析引擎只需读取查询所需的列，可以对相似值应用压缩和编码，并利用文件或行组统计信息跳过数据。这些特性使它们成为大型分析表的良好默认格式。

分区是目录级布局约定，而不是 Parquet 的固有属性。表可以按日期等低到中等基数的字段分区，每个分区包含 Parquet 文件。应避免创建过多的小分区或小文件；元数据和调度开销可能超过分区带来的收益。

实际选型 #

对于数据湖分析，应使用 Parquet 等列式格式。当管道适合行式且支持模式演进的消息或记录格式时，应使用 Avro。对于面向 Hive 的特定工作负载，如果 ORC 的生态集成或功能更具优势，则选择 ORC。无论采用哪种格式，都应将模式、文件大小、压缩和分区作为表设计的一部分进行管理。