分类标签归档：Python
最近在研究腾讯的TBDS产品, 但是没有相关的hdfs sdk, 因此自已就开发了一个 此sdk兼容其它平台的hdfs认证(InsecureClient, TokenClient)
pip install tbds-hdfs
SecretId = 'xxxxxxx'
SecretKey = 'xxxxxxx'
url = 'http://xxxx:50070;http://xxxxx:50070' #支持高可用写法
from hdfs import TbdsClient
client =# 内置函数说明
ds_get(id) #输入目标数据集的id名, 可以获取目标数据集
ds_df(id) #输入目标数据集的id名, 转化成pandas的df对象
ds_sql(conn_name, sql_str) #输入连接池中的名称, SQL语句, 获取数据集
ds_list(df) #将pandas的df对象转化成数据集
# 读取Excel数据处理
import pandauseradd username -g usergroup
wget https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
https://repo.continuum.io/archive/index.html
./Anaconda3-5.3.0-Linux-x86_64.sh
# vi ~/.bashrc
source ~/.bashrc
# 包安装方法
pip install --upgrade pip
pip show Jinja2
pip list
pip install some.whl