逻辑斯蒂回归对鸾尾花进行分类

Sigmoid函数

逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本上相同，都具有 ax+b，其中a和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将ax+b作为因变量，即y = ax+b，而logistic回归则通过函数S将ax+b对应到一个隐状态p，p = S(ax+b)，然后根据p与1-p的大小决定因变量的值。这里的函数S就是Sigmoid函数
enter image description here

IRIS数据集介绍

Iris也称鸢尾花卉数据集,是常用的分类实验数据集，由R.A. Fisher于1936年收集整理的。其中包含3种植物种类，分别是山鸢尾（setosa）变色鸢尾（versicolor）和维吉尼亚鸢尾（virginica），每类50个样本，共150个样本。

该数据集包含4个特征变量，1个类别变量。iris每个样本都包含了4个特征：花萼长度，花萼宽度，花瓣长度，花瓣宽度，以及1个类别变量（label）。我们需要建立一个分类器，分类器可以通过这4个特征来预测鸢尾花卉种类是属于山鸢尾，变色鸢尾还是维吉尼亚鸢尾。其中有一个类别是线性可分的，其余两个类别线性不可分，这在最后的分类结果绘制图中可观察到。

导入所需的包

import numpy as np
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt
import matplotlib as mpl
from sklearn import preprocessing
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

pandas进行数据预处理

data = pd.read_csv(path, header=None)
   iris_types = data[4].unique()
   for i, type in enumerate(iris_types):
       data.set_value(data[4] == type, 4, i)
   x, y = np.split(data.values, (4,), axis=1)
   x = x.astype(np.float)
   y = y.astype(np.int)
   # 仅使用前两列特征

导入模型，调用逻辑回归LogisticRegression()函数。

训练LogisticRegression分类器

x = x[:, :2]
   lr = Pipeline([('sc', StandardScaler()),
                  ('clf', LogisticRegression()) ])
   lr.fit(x, y.ravel())
   y_hat = lr.predict(x)
   y_hat_prob = lr.predict_proba(x)
   np.set_printoptions(suppress=True)
   print ('y_hat = \n', y_hat)
   print ('y_hat_prob = \n', y_hat_prob)
   print (u'准确度：%.2f%%' % (100*np.mean(y_hat == y.ravel())))
   # 画图
   N, M = 500, 500     # 横纵各采样多少个值
   x1_min, x1_max = x[:, 0].min(), x[:, 0].max()   # 第0列的范围
   x2_min, x2_max = x[:, 1].min(), x[:, 1].max()   # 第1列的范围
   t1 = np.linspace(x1_min, x1_max, N)
   t2 = np.linspace(x2_min, x2_max, M)
   x1, x2 = np.meshgrid(t1, t2)                    # 生成网格采样点
   x_test = np.stack((x1.flat, x2.flat), axis=1)   # 测试点

训练结果可视化

mpl.rcParams['font.sans-serif'] = [u'simHei']
    mpl.rcParams['axes.unicode_minus'] = False
    cm_light = mpl.colors.ListedColormap(['#77E0A0', '#FF8080', '#A0A0FF'])
    cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b'])
    y_hat = lr.predict(x_test)                  # 预测值
    y_hat = y_hat.reshape(x1.shape)                 # 使之与输入的形状相同
    plt.figure(facecolor='w')
    plt.pcolormesh(x1, x2, y_hat, cmap=cm_light)     # 预测值的显示
    plt.scatter(x[:, 0], x[:, 1], c=np.squeeze(y), edgecolors='k', s=50, cmap=cm_dark)    # 样本的显示
    plt.xlabel(u'花萼长度', fontsize=14)
    plt.ylabel(u'花萼宽度', fontsize=14)
    plt.xlim(x1_min, x1_max)
    plt.ylim(x2_min, x2_max)
    plt.grid()
    plt.title(u'鸢尾花Logistic回归分类效果 - 标准化', fontsize=17)
    plt.show()