Pandas与SQL对比


与SQL比较

大多数示例将使用tipspandas测试中找到的数据集。我们将数据读入名为tips的DataFrame中,并假设我们有一个具有相同名称和结构的数据库表。

In [3]: url = ('https://raw.github.com/pandas-dev'
   ...:        '/pandas/master/pandas/tests/data/tips.csv')
   ...: 

In [4]: tips = pd.read_csv(url)

In [5]: tips.head()
Out[5]: 
   total_bill   t

Read more

SMARTCHART与Jupyter notebook


Smartchart支持像pyecharts, Matplotlib 等python绘图工具一样在Jupyter中使用, 更加方便, 更加炫酷 和 通用化, 不仅仅是一个绘图工具, 而且是一个平台

我们有什么不一样:

  • 使用上手非常简单, 仅仅只有两个命令, get and set
  • 配置项采用原生的Echarts配置, 无重复学习成本, 使用顺滑
  • 支持Echarts所有功能, 可定制化程度高, 显示效果好
  • 数据可以固化存储, 采用smartchart Portal可以直接拼接炫酷大屏
  • 可嵌入也可以弹出窗口显示, 也可以dashboard中显示

安装使用方法

pip install smar

Read more

SMARTCHART模版共享


SmartChart从V3.9.8.5 开始支持一键分享和应用模板

模板查询商店入口:

使用方法可参考视屏: 一键应用模板

如何获取模板应用权限

由于开发模板需要耗费一定的精力和服务器资源, 为了smartchart生态能稳定运行和鼓励大家开发模板, 所以一键应用模板的功能为有偿服务, 模板价格的查询如上图,模板查询, 赞赏完备注模板名,后加右方微信获取下载码 目前有偿服务有:

  1. 模板的云备份存储, 你要可以随时随地上传下载你自已的模板
  2. 一键应用炫酷的共享模板

请尊重知识产权, 获取模板后, 不要在散布

如何使用

  • 模板开发人员可以向smartchart管理员申请一个模板KEY(用于上传

Read more

SMARTCHART前端数据处理函数


smartchart图形中可用的转化函数

//行列替换
function ds_transform(dataset)
//将第一列拆分成多个字段,默认逗号分隔, 如果不传表头,取SQL中的字段名拆分
function ds_split(data,sep=',',head_add=[])
//获取第一列的名称
function ds_rowname(dataset,start_row=1)
//移除指定指定的列
function ds_remove_column(dataset,remove_list=[0])
// data表示传入的二位数组,生成结果表示为key->[]

Read more

SmartChart社区版


A platform that Connect Data to Echarts.

Downloads fork star github star

Downloads Downloads


简介

  • SmartChart基于Echarts/Django的微代码开发平台,适用于任何WEB项目
  • 简单, 敏捷, 高效,通用化, 高度可定制化, 让你的项目瞬间档次提升, 比拖拽开发更方便
  • 完全真正打通前后端, 图形数据联动, 筛选开发毫无压力, 支持几乎常见的所有数据库
  • 积木式的开发模式, 开箱即用, 安装简单, 依赖少, 适

Read more

SMARTCHART数据集之外部数据API


SmartChart 数据集获取数据的方式可以使用SQL查询数据库, 可以直接从EXCEL贴入数据, 可以读取Redis, 可以使用Pandas处理文件数据, 这在应用中还不足够

我们当然也支持对接外部API取数, 注意返回一定要是JSON格式

最简单的方式, 你可以直接在数据集编辑中写入url即可, 默认会将此url替换前端的查询
https://www.smartchart.cn/smartdata/api/?i=loaddataset1&j=1

但这种方法有一定的缺点:

  1. 只支持GET方法
  2. API完全暴露, 无权限控制
  3. 没有缓存功能, 当API未做优化处理时, 速度慢
  4. 可能有跨

Read more

复制仪表盘


好不容易开发好了一个仪表盘, 想再做一个类似的, 或者想要一个测试用, 还需要一个个数据集, 图形复制粘贴么, 不, 你仅仅只需要点击下, 将给你复制出一个全新的仪表盘

注意: 复制出来的仪表盘, 数据集是与原仪表盘公用的

如果你想将数据集独立出来, 可以按下图操作, 进入DIV设定, 点击磁铁, 将为你自动创建一个全新的数据集

Read more

带你了解大数据这些事


一文带你了解大数据这些事

介绍

如果您从大数据开始,通常会被众多工具,框架和选项所困扰。 在本文中,我将尝试总结其成分和基本配方,以帮助您开始大数据之旅。 我的目标是对不同的工具进行分类,并试图解释每个工具的目的以及它如何适应生态系统。

首先,让我们回顾一些注意事项,并检查您是否确实遇到大数据问题。 我将重点介绍可以在本地部署的开源解决方案。 云提供商为您的数据需求提供了几种解决方案,我将略微提及它们。 如果您在云中运行,则应真正检查可用的选项,并与开源解决方案进行比较,以了解成本,可操作性,可管理性,监控和上市时间。 > Big Data Ecosystem(仅供参考,不是最新的!!

Read more

Sqoop导入使用方法


从RDBMS(mysql)中导入数据到hdfs

全部导入(导入一个表中的数据)

在sqoop的安装目录下执行以下命令:

bin/sqoop import \
--connect jdbc:mysql://xxxx:3306/sqoop_test \
--username root \
--password 061111 \
--table staff \
--target-dir /user/sqoop \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

–connect:表示连接的数

Read more