门店销售数据备份#

需求背景#

因数据库只能通过JumpServer访问，对导出的数据量有着限制。需要在本地建立一个备份，方便Python/Power Query 的调用。

需求频率#

不定时

目录结构#

shop_sales_sync
├─ main.py
└─ 门店销售
   ├─ 待同步
   │  └─ 202505.csv
   └─ 已同步
      ├─ 202501.csv
      ├─ 202502.csv
      ├─ 202503.csv
      ├─ 202504.csv
      ├─ 202505.csv
      ├─ 202506.csv
      ├─ 202507.csv
      ├─ 202508.csv
      ├─ 202509.csv
      ├─ 202510.csv
      ├─ 202511.csv
      ├─ 202512.csv
      ├─ 202601.csv
      ├─ 202602.csv
      ├─ 202603.csv
      └─ 202604.csv

数据查询及导出#

为保障能够正常导出数据，可逐月进行查询、导出。

SELECT *
FROM
    ads_dbs_trade_shop_pay_channel_di
WHERE
    AND pt LIKE '202604%'

保存文件至"待同步"文件夹。

数据校验#

分别在本地数据库与中台数据按月进行查询：


SELECT 
    SUBSTR(pt, 1, 6) AS month_pt,
    SUM(amount) AS total_amount
FROM ads_dbs_trade_shop_pay_channel_di
WHERE pt >= '20250101'
GROUP BY SUBSTR(pt, 1, 6)
ORDER BY month_pt;

比较各月数据是否一致。

注意事项#

中台会刷新前一个月的数据，会导致数据存在差异。同步前先删除上个月数据，再同步上个月数据。
中台历史数据（包含一年前）会偶尔轻微变动，与保存的可能差个几块钱。

项目地址#

https://e.coding.net/fuwenyue/tianlala/shop_sales_sync.git