数据采集入仓
4. 同步策略
4.1 全量同步策略
每日全量,就是每天存储一份完整数据,作为一个分区。 适用于表数据量不大,且每天既会有新数据插入,也会有旧数据的修改的场景。 例如:编码字典表、品牌表、商品三级分类、商品二级分类、商品一级分类、优惠规则表、活动表、活动参与商品表、加购表、商品收藏表、优惠卷表、SKU商品表、SPU商品表。
4.2 增量同步策略
每日增量,就是每天存储一份增量数据,作为一个分区。
适用于表数据量大,且每天只会有新数据插入的场景。例如:退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表。
4.3 新增及变化策略
每日新增及变化,就是存储创建时间和操作时间都是今天的数据。
适用场景为,表的数据量大,既会有新增,又会有变化。
例如:用户表、订单表、优惠卷领用表。
4.4 特殊策略
某些特殊的维度表,可不必遵循上述同步策略。
1)客观世界维度
没变化的客观世界的维度(比如性别,地区,民族,政治成分,鞋子尺码)可以只存一份固定值。
2)日期维度
日期维度可以一次性导入一年或若干年的数据。
3)地区维度
省份表、地区表