線形回帰モデル-Boston Hausing Data-
1. 必要モジュールとデータのインポート
In [2]:
#from モジュール名 import クラス名（もしくは関数名や変数名）
from sklearn.datasets import load_boston
from pandas import DataFrame
import numpy as np
In [3]:
# ボストンデータを"boston"というインスタンスにインポート
boston = load_boston()
In [4]:
#インポートしたデータを確認(data / target / feature_names / DESCR)
print(boston)
In [5]:
#DESCR変数の中身を確認
print(boston['DESCR'])
In [6]:
#feature_names変数の中身を確認
#カラム名
print(boston['feature_names'])
In [7]:
#data変数(説明変数)の中身を確認
print(boston['data'])
In [8]:
#target変数(目的変数)の中身を確認
print(boston['target'])
2. データフレームの作成
In [9]:
# 説明変数らをDataFrameへ変換
df = DataFrame(data=boston.data, columns = boston.feature_names)
In [10]:
# 目的変数をDataFrameへ追加
df['PRICE'] = np.array(boston.target)
In [15]:
# 最初の5行を表示
df.head(12)
Out[15]:
線形単回帰分析
In [17]:
#カラムを指定してデータを表示
df[['RM']].head(12)
Out[17]:
In [18]:
# 説明変数
data = df.loc[:, ['RM']].values
In [19]:
#dataリストの表示(1-5)
data[0:5]
Out[19]:
In [20]:
# 目的変数
target = df.loc[:, 'PRICE'].values
In [21]:
target[0:5]
Out[21]:
In [22]:
## sklearnモジュールからLinearRegressionをインポート
from sklearn.linear_model import LinearRegression
In [23]:
# オブジェクト生成
model = LinearRegression()
#model.get_params()
#model = LinearRegression(fit_intercept = True, normalize = False, copy_X = True, n_jobs = 1)
In [24]:
# fit関数でパラメータ推定
model.fit(data, target)
Out[24]:
In [29]:
#予測
model.predict([[3]])
#外挿問題
Out[29]:
重回帰分析(2変数)
In [30]:
#カラムを指定してデータを表示
df[['CRIM', 'RM']].head()
Out[30]:
In [31]:
# 説明変数
data2 = df.loc[:, ['CRIM', 'RM']].values
# 目的変数
target2 = df.loc[:, 'PRICE'].values
In [32]:
# オブジェクト生成
model2 = LinearRegression()
In [33]:
# fit関数でパラメータ推定
model2.fit(data2, target2)
Out[33]:
In [46]:
model2.predict([[0, 3]])
Out[46]:
回帰係数と切片の値を確認
In [47]:
# 単回帰の回帰係数と切片を出力
print('推定された回帰係数: %.3f, 推定された切片 : %.3f' % (model.coef_, model.intercept_))
In [48]:
# 重回帰の回帰係数と切片を出力
print(model.coef_)
print(model.intercept_)
モデルの検証
1. 決定係数
決定係数¶
print('単回帰決定係数: %.3f, 重回帰決定係数 : %.3f' % (model.score(data,target), model2.score(data2,target2)))
In [49]:
# train_test_splitをインポート
from sklearn.model_selection import train_test_split
In [50]:
# 70%を学習用、30%を検証用データにするよう分割
X_train, X_test, y_train, y_test = train_test_split(data, target,
test_size = 0.3, random_state = 666)
# 学習用データでパラメータ推定
model.fit(X_train, y_train)
# 作成したモデルから予測（学習用、検証用モデル使用）
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)
In [64]:
# matplotlibをインポート
import matplotlib.pyplot as plt
# Jupyterを利用していたら、以下のおまじないを書くとnotebook上に図が表示
#%matplotlib inline
# 学習用、検証用それぞれで残差をプロット
plt.scatter(y_train_pred, y_train_pred - y_train, c = 'orange', marker = 'o', label = 'Train Data')
plt.scatter(y_test_pred, y_test_pred - y_test, c = 'lightgreen', marker = 's', label = 'Test Data')
plt.xlabel('Predicted Values')
plt.ylabel('Residuals')
# 凡例を左上に表示
plt.legend(loc = 'upper left')
# y = 0に直線を引く
plt.hlines(y = 0, xmin = -10, xmax = 50, lw = 2, color = 'blue')
plt.xlim([-10, 50])
plt.show()
In [65]:
# 平均二乗誤差を評価するためのメソッドを呼び出し
from sklearn.metrics import mean_squared_error
# 学習用、検証用データに関して平均二乗誤差を出力
print('MSE Train : %.3f, Test : %.3f' % (mean_squared_error(y_train, y_train_pred), mean_squared_error(y_test, y_test_pred)))
# 学習用、検証用データに関してR^2を出力
print('R^2 Train : %.3f, Test : %.3f' % (model.score(X_train, y_train), model.score(X_test, y_test)))
In [ ]: