PostgreSQL Reader

PostgreSQL Reader是为了让logkit支持多种数据源支持而增加的一种输入模式，区别于普通的文件输入，PostgreSQL Reader 是从 PostgreSQL 中读取数据。

PostgreSQL Reader是以定时任务的形式去执行 PostgreSQL 查询语句，将 PostgreSQL 读取到的内容全部获取则任务结束，等到下一个定时任务的到来，也可以仅执行一次。

典型配置如下

    "reader":{
        "log_path":"host=localhost port=5432 connect_timeout=10 user=pqgotest password=123456 sslmode=disable", // 等价于postgres_datasource
        "mode":"postgres",
        "postgres_datasource":"host=localhost port=5432 connect_timeout=10 user=pqgotest password=123456 sslmode=disable", // 该字段与 "log_path" 等价，两个都存在的情况下优先取 postgres_datasource 的值。
        "postgres_database":"<database>",
        "postgres_sql":"select * from xx;",
        "postgres_offset_key":"id",
        "postgres_limit_batch":"100",
        "postgres_cron":"00 00 04 * * *",
        "postgres_exec_onstart":"true"
    },

• PostgreSQL reader输出的内容为json字符串，须使用json parser解析

• mode : 使用 PostgreSQL reader，必须模式选为 postgres

• postgres_datasource: 该字段与"log_path"等价，两个都存在的情况下优先取 datasource 的值，用于填写PostgreSQL数据源所需信息，填写的形式如 host=localhost port=5432, 属性和实际的值用=(等于)符号连接，中间不要有空格，不同的属性用 (空格)隔开，具体支持的属性如下所示： - dbname : 数据库名称，若此处填了，下面 postgres_database 可以不填。 - user : 用户名称 - password : 用户密码 - host : PostgreSQL 服务地址 - port : 要绑定的端口 (默认是 5432) - sslmode : 使用SSL的模式，默认是开启的，若关闭需要指定 sslmode=disable - connect_timeout : 连接最大超时时间，设置为 0 表示无限制。

• sslcert - Cert file location. The file must contain PEM encoded data.

• sslkey - Key file location. The file must contain PEM encoded data.

• sslrootcert - The location of the root certificate file. The file must contain PEM encoded data.

  • username: 用户名
  • password: 用户密码
  • hostname: mysql地址
  • port: mysql端口
  • 示例：一个填写完整的mysql_datasource字段类似于:"admin:123456@tcp(10.101.111.1:3306)"

• mysql_cron: 定时任务触发周期，支持三种写法。

  • 直接写"loop",任务会不停的循环，执行完一次再接着执行下一次，后面可以跟循环的间歇时间，如"loop 10s"，表示每次循环间隔10s，支持的单位还有"m（分钟）"，"h(小时)"
  • crontab的写法,类似于* * * * * *，对应的是秒(0~59)，分(0~59)，时(0~23)，日(1~31)，月(1-12)，星期(0~6)，填*号表示所有遍历都执行。
  • 描述式写法,类似于"@midnight", "@every 1h30m"，必须@符合开头，目前支持@hourly,@weekly,@monthly,@yearly,@every <time duration>,@midnight

• mysql_database: 数据库名称。

• mysql_sql: 填写要执行的sql语句,可以用@(var)使用魔法变量，用;分号隔开，多个语句按顺序执行。多条sql输出的内容必须schema相同，否则请使用多个配置文件解决不同sql schema问题。

• mysql_offset_key: 指定一个 mysql 的列名，作为 offset 的记录，类型必须是整型，建议使用插入(或修改)数据的时间戳(unixnano)作为该字段。每次查询会指定这个 key 做where条件限制，避免单次查询性能消耗过大。

• mysql_limit_batch: mysql_sql的语句，若数据量大，可以填写该字段，分批次查询。

  • 若mysql_offset_key存在，假设填写为100，则查询范式为select * from table where mysql_offset_key >= 0 and mysql_offset_key < 0 + 100;
  • 若没填写mysql_offset_key，则类似于 select * from table limit 0,100。

• mysql_exec_onstart: true表示启动时执行一次，以后再按cron处理;false则表示到cron预设的时间才执行，默认为true。

• sql_schema: 默认情况下会自动识别数据字段的类型，当不能识别时，可以sql_schema指定 mysql 数据字段的类型，目前支持string、long、float三种类型，单个字段左边为字段名称，右边为类型，空格分隔 abc float；不同的字段用逗号分隔。支持简写为float=>f，long=>l，string=>s. 如："sql_schema":"abc string,bcd float,xyz long"。

• 魔法变量: 目前支持年,月,日,时,分,秒的魔法变量，以当前时间2017年6月5日6时35分24秒为例。

  • @(YYYY) 年份，就是2017
  • @(YY) 年份后两位，就是17。
  • @(MM): 月份,补齐两位，就是06
  • @(M): 月份，不补齐,就是6
  • @(D): 日，不补齐,就是5
  • @(DD): 日，补齐两位，如05
  • @(hh): 小时，补齐两位, 如06
  • @(h): 小时,如6
  • @(mm): 分钟，补齐两位,35
  • @(m): 分钟,35
  • @(ss): 秒，补齐两位,24
  • @(s): 秒,24