SMARTDATA数据处理工具


SMARTDATA数据处理工具

能解决什么与EXCEL相关的问题:

  • 当你需要对你的数据进行去空格,异常换行等可能影响数据质量的问题
  • 当你需要对你的数据进行校验是否有异常(上下文字段格式不一致, 重复数据)
  • 当你需要将复杂的表格(有透视表,图表,表格不规则,列转行)转化为标准表格
  • 需要给系统或人员分享数据(针对某个表格或区域导出,而不是提供整个EXCEL)
  • 需要对数据进行清洗,批量替换,合并,移除,计算..
  • 你需要将非常多表格中相同表名的数据进行合并
  • 你的表格中有非常多的数据,比如有一个字段是省, 你需要按省拆分出来数据分享
  • 你需要链接数据库进行数据查询,下载到当前EXCEL的任意区域

数据

Read more

SMARTCHART数据集


SmartChart标准数据集你可以想象为一个EXCEL的二维表, 有行和列 你直接在数据集开发界面填写SQL即可 更多使用说明请参考数据集开发文档

标准图形的数据表类型分为两种

A类数据源
比如你的原始数据库中表的格式如下, 表名tb_name:
城市    户型    数量
长沙    A       12
长沙    A       23
上海    B       19

查询的sql: select 城市,户型,sum(数量) AS 数量 from tb_name group by 城市,户型
正常的查询的结果为:
[['城市','户型','数

Read more

python常用的命令行操作


Python安装

useradd username -g usergroup
wget https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
https://repo.continuum.io/archive/index.html
./Anaconda3-5.3.0-Linux-x86_64.sh
# vi ~/.bashrc
source ~/.bashrc
# 包安装方法
pip install --upgrade pip
pip show Jinja2
pip list
pip install some.whl

Read more

Smart Chart 模板


在阅读此教程之前, 您需要先完成 我的第一个SMART CHART

在上一篇中, 我们实现了一个简单的dashboard, 选择的模板是 "万能模板" , 这是一个上下结构的模板, 对于一般应用已经可以通用了, 适合于没有太多需求, 尤其是手机端的展示.

但是可能你需要重新布局的你模板, 比如要加一些说明, 想要并排展示, 或者一些酷炫的效果, 这时你可能就要定制你的模板了, 模板是一个纯html的页面, 理论上来说可以实现你的无限可能

但也许, 你对html完成没有接触过, 也不想了解, 没有关系

我们提供了可视化的布局工具!!

注意: 因为版本的升级, 可能存在图片和说明不一致的情况

St

Read more

Dashboard组装流程


最近有童鞋反馈不太会入手使用, 趁着端午放假, 就给大家做一个手把手的简单的教程吧. 现在来开启你的第一个dashbard, 上一节中, 我们已经建立好的数据集以及图形(目前的推荐做法是图形与数据集绑定,不用再单独选择图形)

注意: 由于版本升级的原因, 图片可能会有差异, 请参考

Step1

进入Smart chart后, 点击 数字集装箱-->仪表盘设定 -->增加

Step2

填写相关的说明后, 点击 主题 旁边的放大镜, 会弹出 几个主题供你选择,

Step3

选择模版, 咋们第一个就直接选 "万能模板" 吧

Step4

点击"选项" 进入可选项, 将"启用","上线

Read more

常用HTML代码解释


常用HTML代码解释

一、文字

1.标题文字<h#>..........</h#> #=1~6;h1为最大字,h6为最小字
2.字体变化<font>..........</font>
【1】字体大小<font size=#>..........</font> #=1~7;数字愈大字也愈大
【2】指定字型<font face="字体名称">..........</font>
【3】文字颜色<font color=#rrggbb>..........</font

Read more

为smartchart增加表格图形


Echart 有提供了图形的展示, 但是没有表格, smartchart当然不能少了表格 smartchart 是一个非常灵活的平台, 增加表格功能也是相当容易, 今天就教大家如何增加表格图形, 同时也可以了解自定义图形的使用方法


首先我们点击新建图形, 将默认的code全部删除, 贴入以下code,

  • {{dataset}}--由平台传进来的数据集,请参考上篇文章, dataset格式说明
  • dom_{{name}}--这个是用来唯一标识这个表的, 总之这么写就行了
  • 其它的都是简单的js代码了, 遍历打印出html
var data={{dataset}};
var table = &#

Read more

SQL常用时间函数


Hive

select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss')
from_unixtime(unix_timestamp()-432000,'yyyy-MM-dd hh:mm:ss') 5 
date_format(current_timestamp(),'yyyyMMdd'); --推荐使用
select unix_timestamp('2011-12-07 13:01:03') from dual;
select unix_timestamp('20

Read more

欢迎使用smartchart


2019年为打发五一假期, 开发了此项目,平台与时俱进,不断完善与优化中


为数据开发人员提供更敏捷的工具与平台,致力于数据服务中台建设,边缘可视化与数据管道产品, 站在巨人的肩上, 让数据更有个性,更灵活与可定制化,由于他的通用性,功能的扩展变得也是非常的Smart

产品定位:

实现全生态的数据服务平台(数据收集, 数据加工, 数据分享,数据管理,数据应用)

产品模块:

  • 统一的数据开发平台, 数据管道是基于Apache顶级项目Airflow上的二次开发产品,让数据处理的任务调度开发与管理微代码化
  • 统一的低代码数据服务平台, 为企业应用, 提供图形的嵌入式及数据接口服务,数据集即服务,一切

Read more