KETTLE数据同步方法


kjb和ktr的选择

kettle的数据同步, 你会用到ktr和kjb

ktr中的数据流动不是阻塞的, 是并行执行的, 如果你使用如下:
"表输入" --> "表输出" --> "执行SQL脚本"

这样"执行SQL脚本" 会被执行很多次,

但kjb不一样, kjb会等待一个组件完成再执行另外一个, 所以很多人 会使用kjb 嵌入 ktr的解决方案来做数据抽取后执行脚本

但是如果已经有了任务的调度平台, 再用kjb 来 嵌套 ktr 的解决方案 就会显得臃肿, 所以可以考虑直接在ktr完成

以下为解决方法:

在需要阻塞的地方加入 "阻塞数据" 的组件, 将"Pass all r...

Read more

SmartChart数据集之Pandas


SmartChart数据集可以使用Pandas来做数据处理,完全兼容Pandas语法

df变量名是最终的数据集, 你需要产出它即可

内置函数
#读取数据集
pddf(id,para_dict=None,cachestr=None,columns=None)
df=pddf(359)  #获取ID为359这个数据集的数据并转化为pandas的dataframe(df)
df=pddf(359,columns=['C1','C2','D1']) #可指定标题名称

#读取文件(文件为上传设定中的表名)
pdcsv(tablename,**kwa...

Read more

SMARTCHART动态效果


第一种动态效果: 按系列轮放

参考: 饼图自动播放

设定方法:

  • 如果不改动图形, 可以在"仪表盘" --> 高级设定中 进行

    //动态播放
      "animate":{"2":{"dataLen":5,"interval":1000,"showtip":1}},
  • 以上方法最简单,但有一个弊端, 需要指定dataLen, 有时可能dataLen不固定,这样你可以采用在图形设定的最后加上一段即可:

    //基于数据项动态设定
    startSelectAnimate(myChart__name__,legend_label.length,1000,1);

第二种动态效果: 时间轴模式(当...

Read more

数据建模不仅仅是SQL


如果把指标⽐喻成⼀棵树上的果实,那模型就是这棵⼤树的躯⼲,想让果实结得好,必须让树⼲变得粗壮。

真实场景举例: ⼤多数公司的分析师会结合业务做⼀些数据分析(需要⽤到⼤量的数据),通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前,分析师经常发现⾃⼰没有可以复⽤的数据,不得不使⽤原始数据进⾏清洗、加⼯、计算指标。 由于他们⼤多是⾮技术专业出⾝,写的SQL质量⽐较差,甚⾄⻅过5层以上的嵌套。这种SQL对资源消耗⾮常⼤,会造成队列阻塞,影响其他数仓任务,会引起数据开发的不满。数据开发会要求收回分析师的原始数据读取权限,分析师⼜会抱怨数仓数据不完善,要啥没啥,⼀个需求经常要等⼀周甚⾄半个...

Read more

数据分析基础概念


大数据虽然已经是大家耳熟能详的热词,但数据领域里的许多术语和概念仍然会让人不明就里,我们从“做饭”这个普通人应该都有基本了解开始给大家介绍大数据虽然已经是大家耳熟能详的热词,但数据领域里的许多术语和概念仍然会让人不明就里,我们从“做饭”这个普通人应该都有基本了解开始给大家介绍

【主菜】

正所谓“巧妇难为无米之炊”,做饭首先得有食材,大数据也一样,没有数据说什么都是扯淡,所以数据就是数据人的食材(只要有数据,我不用吃饭)。

做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节,无论你是开饭店还是家里一日三餐,做饭的规模大小会有不同,但流程却是一样的。而这几个环节其实正好对应了数据人的...

Read more

数据比对的陷阱-不一样的的空格


在做数据分析的过程中, 进行比对查找是经常需要做的一件事,比如我们会用到EXCEL的函数vlookup, match, if...,但有一种空格陷阱你可能需要注意:

请观察这两个字符,他们是一样的, 是么? 你可以复制下来尝试

John Yan
John Yan

但是你复制到EXCEL中你会发现, 他们不一样, 如下图

为什么?

因为他们真的不一样, 中间的空格, 一个是普通的空格, 另外一个是"不间断空格"

这种不间断空格是用来防止行尾单词间断的空格, 其实是很常见的, 但会为我们做数据分析带来困惑, 而且它是不会被trim(去除左右空格的公式)的, 所以当你发现无法trim两端的...

Read more

SMARTDATA数据库数据导出


SMARTDATA数据处理工具 - 数据库数据导出

从数据库下载数据, 一般的工具只提供了查询, 或下载成文件 但是最方便的大家应该是 希望能直接下载到当前的EXCEL表格 或到 表格的任意位置, 这样你就能快速的对你数据进行分析处理

SmartData 智慧数据 提供了此功能, 入口: 菜单 --> 数据导出 --> DB

建意你用ODBC的连接方式:

以连接impala为列, 首先你要确定你的EXCEL版本是32位还是64位(注意不是操作系统的版本), 进入系统 "ODBC 数据源", 点击 "添加", 查看是否已有相应的ODBC驱动 如果没有你需要下载对应的位数的OD...

Read more

ADO连接字符串


花了一些时间整理了在ADO中常用的连接字符串,方便查阅和比较。

并对其中的参数做了必要说明,期望让其能让多数人能看懂。

本帖内容涵盖了连接到Access,Excel,TXT,SQL Server,MySQL的连接字符串。


1.Access Access 2003 Access 2007 Access 2010 Access 2013

本地文件:

Provider=Microsoft.ACE.OLEDB.12.0;Data Source=C:\myFolder\myAccessFile.accdb; Persist Security Info=False;


网络文件(IP地址前为双反斜...

Read more

Smart智慧数据处理常见问题


使用说明

点击进入使用说明

常见的安装问题:

- 如果无法看到图标或运行出错, 你的系统可能缺失以下依赖包, 请安装:

微软VSTO组件

- 安装完后还看不到图标, 可在EXCEL中点击 文件 -> 选项 , 最下方 管理 中选 "COM 加载项" 然后 点击 "转到", 如下图, 将SmartData的勾打上

- 如果还无法使用, 你可能还需要安装Frame插件:

微软.NET Framework 4.5

- 如果出现如下受信任的发布者问题, 你可在EXCEL中点击 文件 --> 选项 --> 信任中心 --> 加载项 --> 将勾选的选项取消

- ...

Read more

SmartChart的Redis数据源


你可能会有这样的一些需求, 展示数据是要通过外部的程序计算好,如一些实时的计算场景,用spark计算好的数据 或爬虫爬取的数据, 然后写入redis或nosql的数据库,最后由前端图形直接展示或数据下载

SmartChart支持这一块的应用

你可以创建一个redis的连接池, 然后按照通用的方法建立数据集 不同的是, 数据集的SQL区不再是写sql代码, 而只需要写redis中的keyname

如redis中存储的数据是keyname 为 "指标A", 数据 '{"长沙":1,"上海":2}' 这样我们只需要在数据集中写上 指标A 即可, 最后你会得到{"长沙":1,"上海":2}的...

Read more