分类目录归档:Python

使用webhdfs


最近在研究腾讯的TBDS产品, 但是没有相关的hdfs sdk, 因此自已就开发了一个 此sdk兼容其它平台的hdfs认证(InsecureClient, TokenClient)

安装tbds-hdfs

pip install tbds-hdfs

使用方法

获取client
SecretId = 'xxxxxxx'
SecretKey = 'xxxxxxx'
url = 'http://xxxx:50070;http://xxxxx:50070'  #支持高可用写法

from hdfs import TbdsClient
clien...

Read more

Python连接器使用说明


当SQL查询无法满足你的需求, 你需要对查询后的结果进行处理, 或者你需要使用Excel的数据源, 甚至你需要对不同系统的数据进行查询, Python连接器可以帮到你

# 内置函数说明
ds_get(id)    #输入目标数据集的id名, 可以获取目标数据集
ds_df(id)     #输入目标数据集的id名, 转化成pandas的df对象
ds_sql(conn_name, sql_str)     #输入连接池中的名称, SQL语句, 获取数据集
ds_list(df)   #将pandas的df对象转化成数据集
使用方法样列说明
# 读取Excel数据处理
import pa...

Read more

Pandas与SQL对比


与SQL比较

大多数示例将使用tipspandas测试中找到的数据集。我们将数据读入名为tips的DataFrame中,并假设我们有一个具有相同名称和结构的数据库表。

In [3]: url = ('https://raw.github.com/pandas-dev'
   ...:        '/pandas/master/pandas/tests/data/tips.csv')
   ...: 

In [4]: tips = pd.read_csv(url)

In [5]: tips.head()
Out[5]: 
   total_bill ...

Read more

Django常用Import模块


#用户相关
from django.contrib.auth import models
from django.contrib.auth import authenticate
from django.contrib.auth.models import Group,User

#Model,Admin,Form, Url中需引用
from django.conf import settings
from django.db import models
from django.contrib import admin
from django import forms
from djan...

Read more

python常用的命令行操作


Python安装

useradd username -g usergroup
wget https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
https://repo.continuum.io/archive/index.html
./Anaconda3-5.3.0-Linux-x86_64.sh
# vi ~/.bashrc
source ~/.bashrc
# 包安装方法
pip install --upgrade pip
pip show Jinja2
pip list
pip install some....

Read more