使用SmartPip监控Starrocks的Routine Load


什么是Routine Load

Starrocks支持例行导入(Routine Load)功能,提交一个常驻的导入任务,通过不断的从指定的数据源读取数据,将数据导入到 StarRocks 中。

什么是SmartPip

smartpip是我们基于airflow研发的任务调度平台, 针对定时导入kafka数据到starrocks, 已实现了一个配置即可实现 但是如果对实时监听kafka导入, 并不太合适, 所以本文将介绍如何使用starrocks自带的routine load的功能,同时来使用smartpip实现监控功能

如何实现

  • 在smartchart中新建一个数据集, 查询内容:

    SHOW 

Read more

Starrocks与Magiccube


什么是 StarRocks

StarRocks 是新一代极速全场景MPP数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理,就可以用 StarRocks 来支持多种数据分析场景的极速分析。

StarRocks 的架构简洁,采用了全面向量化引擎,并配备全新设计的 CBO 优化器,查询速度(尤其是多表关联查询)远超同类产品

StarRocks 能很好地支持实时数据分析,并能实现对实时更新数据的高效查询。StarRocks 还支持现代化物化视图,以进一步加速查询。

使用 StarRocks,用户可以灵活构建包括大宽表、星型模型、雪花模型在内的各类模

Read more

使用webhdfs


最近在研究腾讯的TBDS产品, 但是没有相关的hdfs sdk, 因此自已就开发了一个 此sdk兼容其它平台的hdfs认证(InsecureClient, TokenClient)

安装tbds-hdfs

pip install tbds-hdfs

使用方法

获取client
SecretId = 'xxxxxxx'
SecretKey = 'xxxxxxx'
url = 'http://xxxx:50070;http://xxxxx:50070'  #支持高可用写法

from hdfs import TbdsClient
client =

Read more

SMARTCHART多项筛选联动


Smartchart对于单项筛选有通用的组件, 可以直接配置即可,但对于个性化的筛选,需要你进行一些简单的定制化,以下就针对多项筛选联动的需求来介绍如何定制化你的筛选联动效果 以我们内置的仪表盘为例,

第一步,新建一个数据集,可将其移到0号位置

第二步,在新的数据集中编写查询

select distinct H1 as heroname  from smartdemo2 limit 10

第三步,编辑此数据集的图形,可复制以下代码

//select distinct xx  from tablename
let dataset=__dataset__;
let table = '&

Read more

SMARTCHART布局指引


整理一份完整的SmartChart布局说明给大家

响应式布局

一般报表推荐使用响应式布局, 一次布局可以同时满足大屏/移动端的需求 当你新增一个数据集时, smartchart会给你一段默认的代码

<div class="col-xs-12 col-md-12" style="padding:0.5% 0.5%;" >
  <div style="height:50%;" id="container_{name}"></div>
</div>

col-md-12 :

Read more

smartchart多功能表格


大家在使用smartchart的过程中, 如果使用图形会非常方便, 因为可以直接使用echarts的配置项, 但是如果使用表格就稍微有些麻烦, 因为echarts没有相关的功能
所以我们会在3.9.9.10的版本中内置多功能表格的实现, 可以实现滚动, 及点击响应效果, 也能够快速生成常规的表格
你需要做的是复制以下代码到图形中, 按要求修改就可以了
let dataset=__dataset__;
let rowhead = dataset[0];
let dataObj = ds_createMap_all(dataset);

let tbstyle = "border: 0.

Read more

smartchart的设计理念


为了让大家能够更好的使用smartchart, 理解她的设计哲学可能会有所帮助, 以下供大家参考:

  • 她是基于真实应用场景的敏捷数据中台而设计的产品,已成熟在多个大型企业应用多年,不仅是一个可视化低代码开发平台, 也是数据接口低代码, 甚至是业务系统低代码开发平台

  • 支持多种混合布局, 对于普通报表可以使用响应式布局同时满足大屏, 电脑, 平板, 手机端的页面, 对于大屏也可使用拖拽辅助布局来配合自由开发模式(专业版)

  • 她是面向开发者, 如果需要设计出来非常漂亮有个性的数据展现形式, 我们发现如果要达到这个目的, 不管用什么开发工具, 最终还是需要用户了解一些基础的html, css, ec

Read more

Python连接器使用说明


当SQL查询无法满足你的需求, 你需要对查询后的结果进行处理, 或者你需要使用Excel的数据源, 甚至你需要对不同系统的数据进行查询, Python连接器可以帮到你

# 内置函数说明
ds_get(id)    #输入目标数据集的id名, 可以获取目标数据集
ds_df(id)     #输入目标数据集的id名, 转化成pandas的df对象
ds_sql(conn_name, sql_str)     #输入连接池中的名称, SQL语句, 获取数据集
ds_list(df)   #将pandas的df对象转化成数据集
使用方法样列说明
# 读取Excel数据处理
import panda

Read more

模板下载操作方法


新建一个全新的dashboard, 不要放任何报表, 点击保存且编辑后, 下方可以看到下载链接, 然后点击下载即可直接应用

从管理员处获取下载TOKEN

  • 如果是全新的仪表盘, 直接输入TOKEN点击下载即可
  • 如果仪表盘中有数据集, 但你不再需要, 可以在TOKEN前面加上FORCE即可自动清空已有数据集

资源文件放置路径

有些资源会离线打包提供给你, 你需要按如下方法找到放置的位置,放入即可, 点高级后滑动到最下方, 可以看到资源路径, 一般资源需在放到usr的目录中

如果不清楚可以观看视屏说明

使用方法可参考视屏: 一键应用模板

Read more

SmartChart简易模板套餐


为方便大家快速开发大屏, 转化了些通用模板给大家使用

框架布局已经全部处理, 数据集已建立, 你仅需要编写SQL和图形开发即可
转化模板都是需要耗费些休息的时间, 是smartchart的增值服务

由于开发模板需要耗费一定的精力和服务器资源, 为了smartchart生态能稳定运行和鼓励大家开发模板, 所以一键应用模板的功能为有偿服务, 有需求可以象征性的贡献一杯咖啡的费用即可获取一个模板或一个云备份存储KEY 目前有偿服务有:

  • 模板的云备份存储, 你可以随时随地上传下载你自已的模板
  • 一键应用炫酷的共享模板
  • 请尊重作者劳动成果, 获取模板后, 不要进行散布
  • 使用方法: https://www

Read more