太原网站建设公司怎么样,WordPress情侣博客模板,优质网站排名公司,哪个网站做恒生指数最安全文章目录 一、数据存储1.1 倒计时1.2 os库1.3 字符串操作1.4 文件操作1.5 列表操作1.6 元组1.7 字典 二、文本处理及可视化2.1 jieba分词2.2 集合操作2.3 pdf文件读取2.4 参数传递2.5 变量作用域 三、数据处理分析3.1 Sumpy3.2 Matplotlib3.3 Numpy 四、Pandas4.1 索引操作4.2 … 文章目录 一、数据存储1.1 倒计时1.2 os库1.3 字符串操作1.4 文件操作1.5 列表操作1.6 元组1.7 字典 二、文本处理及可视化2.1 jieba分词2.2 集合操作2.3 pdf文件读取2.4 参数传递2.5 变量作用域 三、数据处理分析3.1 Sumpy3.2 Matplotlib3.3 Numpy 四、Pandas4.1 索引操作4.2 统计函数4.3 数据清洗4.4 MISC 五、分类与回归5.1 分类5.2 十折交叉验证5.3 回归 六、聚类与降维6.1 processing6.2 聚类6.3 降维6.4 机器学习步骤6.5 图像 七、Tensorflow7.1 评价指标-分类7.2 评价指标-回归7.3 激活函数7.4 使用Keras搭建神经网络 一、数据存储
1.1 倒计时
time.strftime(“%Y:%m:%d:%H:%M:%S”) 年月日时分秒
1.2 os库
方法含义os.path.join(“C:\Windows”, “love.jpg”)生成c\Windows\love.jpg路径os.rename(“D:\test1.txt”,“D:\test2.py”)将test1重命名为test2os.mkdir(“C:\TEST”)在当前目录下创建文件夹TESTos.rmdir(“C:\TEST”)删除当前目录下的TEST文件夹
1.3 字符串操作
s ‘华东理工大学’
操作含义s[-1]‘学’s[0:2]‘华东’s[0:6:2]‘华理大’s.lower()、s.uppper()都转化为最小值最大值s.split(‘分隔符’)返回lists.find(‘子串’)搜索成功返回下标搜索不到返回-1s.replace(‘理’,‘力’)华东力工大学s.strip()去除两边的空格及特殊符号(\n)
1.4 文件操作
f open(‘path’,‘r’), f.close() 或者直接使用 with open(‘path’,‘r’) as f:
操作含义r读w写 与’a’不同w会清空原文件a追加 with open(‘2.txt’, ‘a’) as f: f.write(‘dfgddfgfg\n’)read()读取全部内容readline()读取文件第一行readlines()读取文件的每一行返回列表 file f.readlines() p [x.strip() for x in file ]
1.5 列表操作
操作含义sort(reverse)reverse默认是False默认从小到大排序append(x)增加x到列表末尾remove(x)移除第一次出现的xcount(x)x出现次数extend(newlist)将newlist逐个append到原列表后索引操作列表索引操作与字符串相同
1.6 元组
tuple()元组索引操作与字符串相同
1.7 字典
d dict()键值对键唯一且不可变数字、字符串、元组
操作含义d.keys()键列表d.values()值列表d.items()返回键-值 列表 借助lambda函数按值排序。 ①t list(a.items()) ②t.sort(keylambda x: x[1]) ③d dict(t)d.get(key, default)若key不存在返回default值例如a d.get(‘apple’,0)1d.update(a)将字典a中的键值对逐个放入字典d类似列表的extend操作
二、文本处理及可视化
会从头到尾写一个词云图生成代码结合字典文件读写操作使用jieba分词结合字符串操作imageio.v2读取图片WordCloud生成词云(counts), matplotlib来show图片
2.1 jieba分词
方法含义jieba.add_word(‘newword’)添加新词jieba.lcut(‘string’)精确模式jieba.lcut(‘string’, cut_allTrue)全模式jieba.lcut_for_search(‘string’)搜索引擎模式
2.2 集合操作
集合a、b set()
操作含义a b交集aba - ba - aba ^ baa ba是否为b的真子集a ba是否为b的子集a ba与b两个集合是否相同
2.3 pdf文件读取
import pdfplumber
pdf pdfplumber.open(Attention.pdf)
pages pdf.pages
pages[0].extract_text()2.4 参数传递
传递方式含义fun(2,3)位置传递fun(b3,a2)关键字传递fun(a, b2), fun(7)默认值参数传递fun(*number)元组类型变长fun(**d)字典类型变长f lambda x : x**3labmda匿名函数 f(3) 27
2.5 变量作用域
global 全局变量在函数块中引用全局变量时需要先用global x 声明一下才能修改全局变量否则只是修改局部变量
三、数据处理分析
3.1 Sumpy
创建符号变量 x,ysymbols(‘x y’) #x是符号变量名称x’是符号变量的值
opention例子极限limit(sin(x)/x,x,0)导数 zsin(x)x**2*exp(y)diff(z,y,1)定积分integrate(sin(2*x),(x,0,pi))求解代数方程组solve([x**2y**2-1, x-y], [x, y])级数求和k,nsymbols(‘k n’) summation(k**2,(k,1,n))因式分解factor()
3.2 Matplotlib
必考画图是重点大概率结合subplot
方法含义plot(X, y, linestyle , color, marker , label )折线图bar(name, value), 水平条形图:barh()垂直条形图pie(x value, explode , labels ,autopct ‘%.1f%%’, shadow True)饼图sctter(name, value)散点图hist(x, bins )直方图boxplot()箱线图figure(figsize(w,h))指定图像大小title图像标题xlabel添加X轴标签ylabel同理xlim([0,8])指定X轴区间ylim同理xticks([0,2,4,6,8]指定X轴取值yticks同理legend(loc‘upper right’)指定图label位置subplot绘制子图suptitle多个子图的大标题
常见的颜色字符‘r’、‘g’、‘b’、‘y’、‘w’等 常见的线型字符’-‘直线、’–‘虚线、’:‘点线等. 常用的描点标记‘o’圆圈、‘s’方块、’^三角形等
3.3 Numpy
方法含义a np.array([1,3,4,6])np.linespace(0,10,100)#0~10 分成100份np.arange(0,5,0.1)0~5,步长为0.1 步长默认为1起点默认为0a.reshape(20,5)reshapea.flatten()变为一维np.random.randint(n , size )生成[0,n)之间的整数n可以是一个数size可以是一维也可以是二维np.random.uniform(n , size )生成浮点数np.loadtxt(“trade.csv”,delimiter“,”)加载文件np.savetxt(‘result.csv’)保存文件np.zeros((a,b)), np.ones()生成指定格式01矩阵np.identify(n)生成指定维度单位阵a.astype(‘int’), ‘float’数据类型转化a.transpose()转置a.sum()求a数组总数的和a.max()a所有元素中的最大值np.dot(a, 2)a数组的每个元素都乘以2
四、Pandas
这章比较重要会使用pands读取数据数据清洗预处理结合matplotlib会画饼图、折线图等会独立编写ppt里面的案例代码。
data pd.read_csv(‘path’) 数据读取Series pd.Series(data, index[‘a’,‘b’,‘c’,‘d’,‘e’]) 生成pandas序列DataFrame(data , columns , index ) 数据、列名、索引
4.1 索引操作
基于位置序号选取(大概率考与loc区别)
函数名含义data.iloc[a,b]选取a行b列data.iloc[list1, list2]选取多行多列都是数字data.iloc[a:b, c:d]选取ab-1行的cd-1列数据
基于索引名选取
函数名含义data[‘col’]选取col列data[colList]选取多列data.loc[index, ‘col’]选取index行, col列data.loc[indexList, colList]选取多行多列
4.2 统计函数
函数名含义data.describe()基本统计量及分位数data.mean()取每一列的平均值data.count()返回列个数data.max()data.min()按列取最大值data.sum()取每一列的sumdata.head(n)取前几行默认为5data.tail(n)取后几行默认为5data.corr()相关系数 相关矩阵plt.matshow()data.mode()众数
4.3 数据清洗
函数名含义data.dropna()某行存在空值删去改行data.dropna(axis1)某列存在空值删除该列data.dropna(how ‘all’, thresh n)how代表指定维度全空时才删除 thresh表示指定维度存在n个数时保留。data.fillna(value , method )value是单个值时所有的空值都用该值补充value是字典时根据键对应列空值对应值。method可以取, ffill, bfilldata.replace(value)value可以是两个值也可以是字典data.drop_duplicates取出重复数据pd.concat([data1,data2],axis )需要叠加的数据axis0按行追加1按列pd.merge()how,内连接、外连接数据库的相关操作data.sort_index(ascending )按照索引号排序默认下ascending为True升序data.sort_value(by [collist])按照by指定列进行排序默认是升序注所有数据操作要加inplaceTrue
4.4 MISC
相关性
|r|0.4 弱、 0.4|r|0.7 中、 0.7|r| 高
Scatter-matrix 矩阵图
pd.plotting.scatter_matrix(data)
plt.show()数据选取
data.iloc[condition, colist]
data.loc[condition, colist]五、分类与回归
会使用一种算法进行数据预处理模型训练、预测、评估的代码。包括分类、回归、聚类
5.1 分类
算法引入包名名称KNNfrom sklean.neighbors import KNeighborsClassifierK近邻NBfrom sklearn.naive_bayes import GaussianNB贝叶斯SVMfrom sklearn.svm import SVC支持向量机DTfrom sklearn.tree import DecisionTreeClassifier决策树Logistic Regressionfrom sklearn.linear_model import LogisticRegression逻辑回归
5.2 十折交叉验证
kfold KFold(n_splits10, shuffleTrue, random_stateseed) cv_results cross_val_score(models[key], X, Y, cvkfold)
5.3 回归
算法包名名称LRfrom skelarn.linear_model import LinearRegression线性回归
六、聚类与降维
6.1 processing
方法名称含义例子归一化(MinMaxScaler)转化为0~1之间mms MinMaxScaler(); x_bin mms.fit_transform(X)标准化(StandardScaler) Z x − μ σ Z \frac{x-μ}{σ} Zσx−μ声明转化正则化(Normalizer)去除不同特征范围不同同上二值化(LabelBinarizer)二值化同上
6.2 聚类
KMeans
from sklearn.cluster import KMeans
model KMeans(n_clusters )
...
model.labels_6.3 降维
PCA
from sklearn.decomposition import PCA
pca PCA(n_components )
x pca(X)指定n_components为降维后的维度
3D图
from mpl_toolkits.mplot3d import Axes3D6.4 机器学习步骤
① 导入数据 ② 数据概览 ③ 数据可视化 ④ 模型评估 ⑤ 实施预测
6.5 图像
概念含义二值图像0,1。1个二进制位灰度图像0~255。8位无符号整数, convert(‘L’)通道分割split通道合并merge轮廓提取filter
七、Tensorflow
会使用keras搭建序列网络、卷积网络。ppt的图像分类例子会独立编写。
7.1 评价指标-分类
名称含义计算公式混淆矩阵预测结果与真是结果组成矩阵TP预测为正实际为正TN预测为副实际为副FN预测为负实际为正FP预测为正实际为负精确率(metrics.precison_score)预测为正中实际为正比例 P T P T P F P P\frac{TP}{TPFP} PTPFPTP召回率(recall_score)实际为正的样本中预测为正的样本 R T P T P F N R\frac{TP}{TPFN} RTPFNTPF1-Score(f1_score) 2 ∗ P ∗ R P R \frac{2*P*R}{PR} PR2∗P∗R准确率(accuracy_score)预测正确的样本比例 T P T N T P T N F P F N \frac{TPTN}{TPTNFPFN} TPTNFPFNTPTN
7.2 评价指标-回归
名称含义计算公式平均绝对误差(metrics.mean_absolute_error)MAE 1 n ∑ i 1 n ∣ y i − y ^ i ∣ \frac{1}{n}\sum\limits_{i1}^{n} \lvert y_i - \hat y_i \rvert n1i1∑n∣yi−y^i∣均方误差(mean_squared_error)MSE 1 n ∑ i 1 n ( y i − y ^ i ) 2 \frac{1}{n} \sum\limits_{i1}^{n}(y_i - \hat y_i)^2 n1i1∑n(yi−y^i)2决定系数(r2_score) R 2 R^2 R2 R 2 1 − ∑ i 1 n ( y i − y ^ i ) 2 ∑ i 1 n ( y i − y ˉ i ) 2 R^2 1 - \frac{\sum\limits_{i1}^{n}(y_i-\hat y_i)^2}{\sum\limits_{i1}^{n}(y_i - \bar y_i)^2} R21−i1∑n(yi−yˉi)2i1∑n(yi−y^i)2,其中 y ˉ 1 n ∑ i 1 n y i \bar y \frac{1}{n} \sum\limits_{i1}^{n}y_i yˉn1i1∑nyi
7.3 激活函数
函数名表达式备注Sigmoid f ( x ) 1 1 e − x f(x) \frac{1}{1 e^{-x}} f(x)1e−x1值域0~1tanh f ( x ) e x − e − x e x e − x f(x) \frac{e^x - e^{-x}}{e^x e^{-x}} f(x)exe−xex−e−x值域-1~1ReLU f ( x ) m a x 0 , x f(x) max{0,x} f(x)max0,x值域0
7.4 使用Keras搭建神经网络
步骤
载入数据、数据预处理、构建Sequntial模型使用compile编译模型使用fit函数训练模型、模型评估与预测
序列
model tf.keras.models.Sequential([tf.keras.layers.Dense(50, input_dim 28*28, activationrelu, nameHidden),tf.keras.layers.Dense(10, activationsoftmax, nameOutput)
])
卷积
model tf.keras.models.Sequential([#卷积tf.keras.layers.Conv2D(32,(3,3), activationrelu, input_shape(28,28,1)),#池化tf.keras.layers.MaxPooling2D((2,2)),#dropouttf.keras.layers.Dropout(rate0.2),#全连接tf.keras.layers.Flatten(),tf.keras.layers.Dense(50, activationrelu),tf.keras.layers.Dense(10, activationsoftmax)
])
