分类目录归档：数据管道
比如数据库中存在一些表, 这些表名后缀是按天命名的, 现在需要自动抽取汇总到同一个表中, 这样就需要用到循环抽取 smartpip中已有datax组件, 但只能进行单一表格抽取, 不能增加逻辑 所以我们需要使用到smartpip的diy组件功能 首先我们需要新一个datax抽取任务,在这个任务中我们传递参数ZYM, 比如:
#datax job1 ZYM之后再新一建一个diy任务, 实现循环抽取:
ZYM = '202001'
def fun_job2():
job = os.path.join(ETL_FILE_PATH , '项目名/job1.sql')
report为什么建设一下传统的数据中台那么贵, 我给大家分析一下:
//获取变量,以下为python语法(option)
P_DAYS = 12
MSG = '------------------------------------------------------------'
report_time = datetime.datetime.now()- datetime.timedelta(days=int(P_DAYS))
P_START_ZYM= report_time.strftime('%Y%m')
//以下为JOB专署语法
#link lastdag 30 3600 --填写以下内容到你的SQL文件, 比如命名为: mysqoop.sql
/*
conn = zspl -- 连接串, 找管理员要, 也可自定义, (必填)
sourceTable = tablename -- 源系统表名,(必填)
columns = -- 抽取原表的字段 a,b,c (可省略)
where = -- 抽取时的条件 a>1 (可省略)
seq = -- 分隔符, 默认 \t (可省略)
query = -- 查询语名,Starrocks支持例行导入（Routine Load）功能，提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 StarRocks 中。
smartpip是我们基于airflow研发的任务调度平台, 针对定时导入kafka数据到starrocks, 已实现了一个配置即可实现 但是如果对实时监听kafka导入, 并不太合适, 所以本文将介绍如何使用starrocks自带的routine load的功能,同时来使用smartpip实现监控功能
在smartchart中新建一个数据集, 查询内容:
SHOW kettle的数据同步, 你会用到ktr和kjb
这样"执行SQL脚本" 会被执行很多次,
但kjb不一样, kjb会等待一个组件完成再执行另外一个, 所以很多人 会使用kjb 嵌入 ktr的解决方案来做数据抽取后执行脚本
但是如果已经有了任务的调度平台, 再用kjb 来 嵌套 ktr 的解决方案 就会显得臃肿, 所以可以考虑直接在ktr完成
在需要阻塞的地方加入 "阻塞数据" 的组件, 将"Pass all rows
花了一些时间整理了在ADO中常用的连接字符串，方便查阅和比较。
并对其中的参数做了必要说明，期望让其能让多数人能看懂。
本帖内容涵盖了连接到Access，Excel，TXT，SQL Server，MySQL的连接字符串。
1.Access Access 2003 Access 2007 Access 2010 Access 2013
本地文件：
Provider=Microsoft.ACE.OLEDB.12.0;Data Source=C:\myFolder\myAccessFile.accdb; Persist Security Info=False;
网络文件（IP地址前为双反斜杠,例
Oracle:
-- Oracle 行转列 pivot函数基本用法
select *
from SalesList pivot(
max(salesNum) for shangPin in ( --shangPin 即要转成列的字段
'上衣' as 上衣, --max(salesNum) 此处必须为聚合函数，
'裤子' as 裤子, --in () 对要转成列的每一个值指定一个列名
'袜子' as 袜子,
'帽子' as 帽子
Kettle工程存储方式有两种：一种是以XML形式存储，一种是以资源库方式存储。
Kettle中有两类设计分别是：Transformation（转换）与Job（作业），Transformation完成针对数据的基础转换，Job则完成整个工作流的控制。
Kettle常用三大家族：Spoon、Pan、Kitchen。
Spoon:通过图形界面方式设计、运行、调试Job与Transformation。
Pan: 通过脚本命令方式来运行Transformation。
Kitchen: 通过脚本命令方式来运行Job，一般就是通过调用Kitchen脚本来完成定时任务。
目前Kettle有两种版本：一种