从数据处理到人工智能
数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能
-数据表示:采用合适方式用程序表达数据
-数据清洗:数据归一化、数据转换、异常值处理
-数据统计:数据的概要理解,数量、分布、中位数等
-数据可视化:直观展示数据内涵的方式
-数据挖掘:从数据分析获得知识,产生数据外的价值
-人工智能:数据/语言/图像/视觉等方面深度分析与决策
1、python库之数据分析
Numpy:表达N维数组的最基础库 https://www.numpy.org/
-python接口使用,C语言实现,计算速度优异;
-python数据分析及科学计算的基础库,支撑Pandas等
-提供直接的矩阵运算、广播函数、线性代数等功能
import numpy as np
def npSum():
a = np.array([0,1,2,3,4])
b = np.array([9,8,7,6,5])
c = a**2 + b**3
return c
print(npSum())
运行结果:
[729 513 347 225 141]
Pandas:python数据分析高层次应用库
-扩展了一维二维数据的表示,简化数据分析的运行,提供了简单易用的数据结构和数据分析工具
-理解数据类型与索引的关系,操作索引即操作数据
-python最主要的数据分析功能库,基于Numpy开发
Series = 索引+ 一维数据 DataFrame = 行列索引 + 二维数据
SciPy:数学、科学和工程计算功能库
-提供了一批数学算法及工程数据运算功能
-类似Matlab,可用于如傅里叶变换类、信号处理类、线性代数类、图像处理类、稀疏图压缩类、稀疏图运算类、优化算法类等
-Python最主要的科学计算功能库,基于Numpy开发
2、Python库之数据可视化
Matplotlib:高质量的二维数据可视化功能库
-提供了超过100种数据可视化展示效果,通过matplotlib.pyplot子库调用各可视化效果
-Python最主要的数据可视化功能库,基于Numpy开发
Seaborn:统计类数据可视化功能库
-提供了一批高层次的统计类数据可视化展示效果,主要展示数据间分布、分类和线性关系等内容
-基于Matplotlib开发,支持Numpy和Pandas
Mayavi:三维科学数据可视化功能库
-提供了一批简单易用的3D科学计算数据可视化展示效果
-目前版本是Mayavi2、三维可视化最主要的第三方库,支持Numpy、TVTK、Traits、Envisage等第三方库
http://docs.enthought.com/mayavi/mayavi/
PyPDF2:用来处理pdf文件的工具集
-提供了一批处理PDF文件的计算功能,支持获取信息、分隔/整合文件、加密解密等
-完全Python语言实现,不需要额外依赖,功能稳定
-网址:http://mstamy2.github.io/PyPDF2
from PyPDF2 import PdfFileReader,PdfFileMerger
merger = PdfFileMerger()
input1 = open("document1.pdf","rb")
input2 = open("document2.pdf","rb")
merger.append(fileobj = input1,pages = (0,3))
merger.merge(position = 2,fileobj = input2,pages = (0,1))
output = open("document - output.pdf","wb")
merger.write(output)
3、python库之文本处理
NLTK:自然语言文本处理第三方库
-提供了一批简单易用的自然语言文本处理功能,支持语言文本分类、标记、语法句法、语义分析等
-最优秀的Python自然语言处理库
Python-docx:创建或更新Microsoft Word文件的第三方库
-提供创建或更新.doc、.docx等文件的计算功能,增加并配置段落、图片、表格、文字等,功能全面
-网址:http://python-docx.readthedocs.io/en/latest/index.html
4、python库之机器学习
Scikit-learn:机器学习方法工具集
-提供一批统一化的机器学习方法功能接口,提供聚类、分类、回归、强化学习等计算功能
-机器学习最基本且最优秀的Python第三方库
TensorFlow:AlphaGo背后的机器学习计算框架
-谷歌公司推动的开源机器学习框架
-将数据流图作为基础,图节点代表运算,边代表张量
-应用机器学习方法的一种方式,支持谷歌人工智能应用
-网址:http://www.tensorflow.org/
import tensorflow as tf
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
res = sess.run(result)
print('result:',res)
MxNet:基于神经网络的深度学习计算框架
-提供可扩展的神经网络及深度学习计算功能,可用于自动驾驶、机器翻译、语音识别等众多领域
-Python最重要的深度学习计算框架
-网址:http://mxnet.incubator.apache.org/
"霍兰德人格分析雷达图"问题
雷达图(Radar Chart):雷达图是多特性直观展示的重要方式
问题分析:霍兰德认为人格兴趣与职业之间应有一种内在的对应关系
-需求:雷达图方式验证霍兰德人格分析
-输入:各职业人群结合兴趣的调研数据
-通用雷达图绘制:matplotlib库;专业的多维数据表示:numpy库
-输出:雷达图
错误一:
值错误,所有输入数组必须有相同的尺寸
ValueError: all the input arrays must have same number of dimensions
分析:写的时候数组数量没保持一致
错误二:
Traceback (most recent call last):
File "D:/Python37/cources/01day/HollandRadaDraw.py", line 21, in <module>
plt.thetagrids(angles*180/np.pi,radar_labels,frac=1.2)
File "C:\Users\lenovo\01day\lib\site-packages\matplotlib\pyplot.py", line 1768, in thetagrids
lines, labels = ax.set_thetagrids(*args, **kwargs)
File "C:\Users\lenovo\01day\lib\site-packages\matplotlib\projections\polar.py", line 1268, in set_thetagrids
t.update(kwargs)
File "C:\Users\lenovo\01day\lib\site-packages\matplotlib\text.py", line 187, in update
super().update(kwargs)
File "C:\Users\lenovo\01day\lib\site-packages\matplotlib\artist.py", line 916, in update
ret = [_update_property(self, k, v) for k, v in props.items()]
File "C:\Users\lenovo\01day\lib\site-packages\matplotlib\artist.py", line 916, in <listcomp>
ret = [_update_property(self, k, v) for k, v in props.items()]
File "C:\Users\lenovo\01day\lib\site-packages\matplotlib\artist.py", line 912, in _update_property
raise AttributeError('Unknown property %s' % k)
AttributeError: Unknown property frac
分析:attributeError:未知属性frac
解决:因为使用的是库的最新版本,其方法内部是不需要使用到frac,去掉即可。
最后代码:
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.family']='SimHei'
#利用arrray将多维数据组织起来
radar_labels = np.array(['研究型(I)','艺术型(A)','社会型(S)','企业型(E)','常规型(C)','现实型(R)'])
data = np.array([[0.40,0.32,0.35,0.30,0.30,0.88],\
[0.85,0.35,0.30,0.40,0.40,0.30],\
[0.43,0.89,0.30,0.28,0.22,0.30],\
[0.30,0.25,0.48,0.85,0.45,0.40],\
[0.20,0.38,0.87,0.45,0.32,0.28],\
[0.34,0.31,0.38,0.40,0.92,0.28]]) #数据值
data_labels = ('艺术家','实验员','工程师','推销员','社会工作者','记事员')
angles = np.linspace(0,2*np.pi,6,endpoint=False)
data = np.concatenate((data,[data[0]])) #双括号???
angles = np.concatenate((angles,[angles[0]]))
fig = plt.figure(facecolor="white")
plt.subplot(111,polar=True)
plt.plot(angles,data,'o-',linewidth=1,alpha=0.2)
plt.fill(angles,data,alpha=0.25)
plt.thetagrids(angles*180/np.pi,radar_labels)
plt.figtext(0.52,0.95,'霍兰德人格分析',ha='center',size=20)
legend = plt.legend(data_labels,loc=(0.94,0.80),labelspacing=0.1)
plt.setp(legend.get_texts(),fontsize='large')
plt.grid(True)
plt.savefig('holland_radar.jpg')
plt.show()
运行结果: