分类标签归档：SmartData
StarRocks 是新一代极速全场景MPP数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。
StarRocks 的架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO 优化器，查询速度（尤其是多表关联查询）远超同类产品。
StarRocks 能很好地支持实时数据分析，并能实现对实时更新数据的高效查询。StarRocks 还支持现代化物化视图，以进一步加速查询。
使用 StarRocks，用户可以灵活构建包括大宽表、星型模型、雪花模型在内的各类模
ds变量名是最终的数据集, 你需要产出它即可
#读取数据集
ds_df(id,para_dict=None,cachestr=None,columns=None)
df=ds_df(359) #获取ID为359这个数据集的数据并转化为pandas的dataframe(df)
df=mysmart.pddf(359,columns=['C1','C2','D1']) #可指定标题名称
#读取excel
import pandas as pd
df =真实场景举例： ⼤多数公司的分析师会结合业务做⼀些数据分析（需要⽤到⼤量的数据），通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。 由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQL对资源消耗⾮常⼤，会造成队列阻塞，影响其他数仓任务，会引起数据开发的不满。数据开发会要求收回分析师的原始数据读取权限，分析师⼜会抱怨数仓数据不完善，要啥没啥，⼀个需求经常要等⼀周甚⾄半个⽉。分
【主菜】
正所谓“巧妇难为无米之炊”，做饭首先得有食材，大数据也一样，没有数据说什么都是扯淡，所以数据就是数据人的食材（只要有数据，我不用吃饭）。
做饭通常都要包括“买菜~洗菜~配菜~炒菜”这几个必须环节，无论你是开饭店还是家里一日三餐，做饭的规模大小会有不同，但流程却是一样的。而这几个环节其实正好对应了数据人的日常工
请观察这两个字符,他们是一样的, 是么? 你可以复制下来尝试
John Yan
John Yan但是你复制到EXCEL中你会发现, 他们不一样, 如下图
因为他们真的不一样, 中间的空格, 一个是普通的空格, 另外一个是"不间断空格"
这种不间断空格是用来防止行尾单词间断的空格, 其实是很常见的, 但会为我们做数据分析带来困惑, 而且它是不会被trim(去除左右空格的公式)的, 所以当你发现无法trim两端的空格,
从数据库下载数据, 一般的工具只提供了查询, 或下载成文件 但是最方便的大家应该是 希望能直接下载到当前的EXCEL表格 或到 表格的任意位置, 这样你就能快速的对你数据进行分析处理
SmartData 智慧数据 提供了此功能, 入口: 菜单 --> 数据导出 --> DB
建意你用ODBC的连接方式:
以连接impala为列, 首先你要确定你的EXCEL版本是32位还是64位(注意不是操作系统的版本), 进入系统 "ODBC 数据源", 点击 "添加", 查看是否已有相应的ODBC驱动 如果没有你需要下载对应的位数的ODBC驱
GET 请求
#接口请求格式:
url: /echart/dataset_api/?visitor=xxx&token=xxx&type=xxx 数据集名或id名
#接口返回格式
Json:
{
"data":[[]]STEP1: 自动生成建表语句, 建意下载我们的开发工具 数据处理与开发工具
STEP2: 完成简单的配置即可
STEP3: 高级配置(此步骤为可选),填写我们上传完成后, 需要做的进一步处理, 此
Smartchart提供很多通用的图形, 如果要个性化需要你进行自定义, 比如你可能需要在同一个图上展示柱形图和线性图, 那么今天我们就以这个为例, 以后大家可以借鉴
首先我们在ECHART官网可能找一个你喜观的图形, 如下简单柱形图链接:
打开我们可以看对应的option:
option = {
xAxis: {
type: 'category',
data: ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat'