数据上传设定指南

发表评论
5576 views

数据上传设定指南

Smart Data 支持非常便捷的手工数据管理:

  • 无需开发ETL, 快速设定, 快速上传
  • 支持数据质量校验, 上传提示, 邮件通知, 上传模板管理
  • 权限管理, 数据预清洗, 支持自动增加时间戳和上传人字段
  • 可上传到任意数据源, 统一数据收集入口
  • 智能转码, 为你解决上传数据乱码的烦恼
  • 同时支持EXCEL和CSV上传
  • 支持下载历史数据,修改后上传

以上传大数据平台为例, 做基本流程介绍:

STEP1: 自动生成建表语句, 建意下载我们的开发工具 数据处理与开发工具 STEP2: 完成简单的配置即可

STEP3: 高级配置(此步骤为可选),填写我们上传完成后, 需要做的进一步处理, 此处也可以加入数据校验脚本 STEP4: 上传页面进行上传 建意使用数据处理工具导出后上传, 让你上传更方便 数据处理工具使用说明

更多高级功能应用,略

系统对接接口说明:

POST url: POST /etl/api/upload_file_api/
POST 数据:
data =  {"title":"xxx",
        "token" : "xxx",
        "visitor":"xxxx",
        "mail":"xxx@xxxx,xxx@xx", #可选,上传后邮件结果
        }
:return: {"data": message,"result": "error"}

以python为例:
files = {'file': open('remark.md', 'rb')}
#上传,https可能需要参数 verify=False
response = requests.post(url, files=files, data=data)

if response.status_code == 200:
   response = response.json()
elif response.status_code == 504:
   response = {"result":"timeout","data":"Pls wait for mail"}
else:
   response = {"result": "error","data": "some thing wrong"}

if response['result'] == 'error':
   raise Exception('Upload Error')

当data中增加参数(可选):
"filename":"xxxx" #只重新处理已上传的文件不会进行文件处理

下载数据的设定方法类似,填写SQL即可

下载数据也可以下载smartchart中数据集的数据, 选择连接类型为'dataset' 在SQL查询框处写上数据集的id, 用$开始, 可以支持同时下载多个数据集

$12 $13

下载接口说明

POST方法由下载界面提供

GET方法
url: GET /etl/datadownload/?type=69&t=xls&param={"test":"12"}
type:下载设定的id或名称
t :下载的文件类型,默认认csv,可选xls
param : 字典格式用于传参数