分类标签归档:SmartData

数据分析基础概念


大数据虽然已经是大家耳熟能详的热词,但数据领域里的许多术语和概念仍然会让人不明就里,我们从“做饭”这个普通人应该都有基本了解开始给大家介绍大数据虽然已经是大家耳熟能详的热词,但数据领域里的许多术语和概念仍然会让人不明就里,我们从“做饭”这个普通人应该都有基本了解开始给大家介绍

【主菜】

正所谓“巧妇难为无米之炊”,做饭首先得有食材,大数据也一样,没有数据说什么都是扯淡,所以数据就是数据人的食材(只要有数据,我不用吃饭)。

做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节,无论你是开饭店还是家里一日三餐,做饭的规模大小会有不同,但流程却是一样的。而这几个环节其实正好对应了数据人的...

Read more

数据比对的陷阱-不一样的的空格


在做数据分析的过程中, 进行比对查找是经常需要做的一件事,比如我们会用到EXCEL的函数vlookup, match, if...,但有一种空格陷阱你可能需要注意:

请观察这两个字符,他们是一样的, 是么? 你可以复制下来尝试

John Yan
John Yan

但是你复制到EXCEL中你会发现, 他们不一样, 如下图

为什么?

因为他们真的不一样, 中间的空格, 一个是普通的空格, 另外一个是"不间断空格"

这种不间断空格是用来防止行尾单词间断的空格, 其实是很常见的, 但会为我们做数据分析带来困惑, 而且它是不会被trim(去除左右空格的公式)的, 所以当你发现无法trim两端的...

Read more

SMARTDATA数据库数据导出


SMARTDATA数据处理工具 - 数据库数据导出

从数据库下载数据, 一般的工具只提供了查询, 或下载成文件 但是最方便的大家应该是 希望能直接下载到当前的EXCEL表格 或到 表格的任意位置, 这样你就能快速的对你数据进行分析处理

SmartData 智慧数据 提供了此功能, 入口: 菜单 --> 数据导出 --> DB

  • 设定你的连接字符串, 几乎支持所有数据库, 参考 ADO连接
  • 你可以保持或删除你的连接, 方便下次直接使用
  • 填写你的查询SQL, 点击执行
  • 工具会记忆你的查询, 下次可以直接使用
  • 默认会新建一个sheet, 你也可以选择下载到当前表, 或到你鼠标所在...

Read more

Smart智慧数据处理常见问题


使用说明

点击进入使用说明

常见的安装问题:

- 如果无法看到图标或运行出错, 你的系统可能缺失以下依赖包, 请安装:

微软VSTO组件

- 安装完后还看不到图标, 可在EXCEL中点击 文件 -> 选项 , 最下方 管理 中选 "COM 加载项" 然后 点击 "转到", 如下图, 将SmartData的勾打上

- 如果还无法使用, 你可能还需要安装Frame插件:

微软.NET Framework 4.5

- 如果出现如下受信任的发布者问题, 你可在EXCEL中点击 文件 --> 选项 --> 信任中心 --> 加载项 --> 将勾选的选项取消

- ...

Read more

SmartData数据接口


SmartData借助SmartChart的数据集功能, 可以非常方便的实现数据对外微服务

  • 在"大数据接口" ---> "API设定" 中添加 visitor 和 Token
  • 新建 "数据集" 并授权给 API设定中的 visitor, 这样就完成了
  • 注意: post请求时会缓存数据, 所以请设定一个合理的缓存时间

接口请求方式

GET 请求
#接口请求格式: 
url: /echart/dataset_api/?visitor=xxx&token=xxx&type=xxx 数据集名或id名
#接口返回格式
Json: 
{
"data":[...

Read more

数据上传设定指南


Smart Data 支持非常便捷的手工数据管理:

  • 无需开发ETL, 快速设定, 快速上传
  • 支持数据质量校验, 上传提示, 邮件通知, 上传模板管理
  • 权限管理, 数据预清洗, 支持自动增加时间戳和上传人字段
  • 可上传到任意数据源, 统一数据收集入口
  • 智能转码, 为你解决上传数据乱码的烦恼
  • 同时支持EXCEL和CSV上传
  • 支持下载历史数据,修改后上传

以上传大数据平台为例, 做基本流程介绍:

STEP1: 自动生成建表语句, 建意下载我们的开发工具 数据处理与开发工具 STEP2: 完成简单的配置即可

STEP3: 高级配置(此步骤为可选),填写我们上传完成后, 需要做的进一步处理...

Read more

DAG设定方法


关于任务调度的配置方法:

--在airflow中可自义参数, 如下方法可获取自定义参数或直接python生成
OPG_LOAD_DAYS = Variable.get("OPG_LOAD_DAYS") //airflow中获取
MSG = Variable.get("MSG")
report_time = datetime.datetime.now()- datetime.timedelta(days=int(OPG_LOAD_DAYS))
P_START_ZYM= report_time .strftime('%Y%m') //...

Read more

SMARTCHART自定义图形


Smartchart提供很多通用的图形, 如果要个性化需要你进行自定义, 比如你可能需要在同一个图上展示柱形图和线性图, 那么今天我们就以这个为例, 以后大家可以借鉴 首先我们在ECHART官网可能找一个你喜观的图形, 如下简单柱形图链接:

打开我们可以看对应的option:

option = {
    xAxis: {
        type: 'category',
        data: ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat&...

Read more

SMARTDATA数据处理工具


SMARTDATA数据处理工具

能解决什么与EXCEL相关的问题:

  • 当你需要对你的数据进行去空格,异常换行等可能影响数据质量的问题
  • 当你需要对你的数据进行校验是否有异常(上下文字段格式不一致, 重复数据)
  • 当你需要将复杂的表格(有透视表,图表,表格不规则,列转行)转化为标准表格
  • 需要给系统或人员分享数据(针对某个表格或区域导出,而不是提供整个EXCEL)
  • 需要对数据进行清洗,批量替换,合并,移除,计算..
  • 你需要将非常多表格中相同表名的数据进行合并
  • 你的表格中有非常多的数据,比如有一个字段是省, 你需要按省拆分出来数据分享
  • 你需要链接数据库进行数据查询,下载到当前EXCEL的任意区域
  • ...

Read more