吴恩达老师《机器学习》课后习题1之线性回归

在学习这些内容之前，需要学习python数据分析相关内容：
numpy：科学计算库，处理多维数组，进行数据分析
pandas：基于numpy的一种工具，该工具是为了解决数据分析任务而创建的
matplotlib：python的2D绘图库
matplotlib.plot：提供一个类似matlab的绘图框架
见上一篇：python数据分析学习笔记之matplotlib、numpy、pandas，鄙人较菜，望多多指教，共同进步
以下代码有的加注释，主要是学习过程中为了查看数据，需要的可以去掉注释，怎样都行，自己DIY

1.单变量线性回归

案例：假设你是一家餐厅的CEO，正在考虑开一家分店，根据该城市的人口数据预测其利润。拥有不同城市对应的人口数据以及利润：exercise1.py和ex1data1.txt

梯度下降实现线性回归，以最小化成本函数。
创建一个以参数θ为特征函数的代价函数
在这里插入图片描述
在这里插入图片描述
以下代码为了清晰，分步骤展示的，对应名称exercise1.py为完整顺序代码，数据为ex1data1.txt

导入所需库

# 导入需要使用的包
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

代价函数（损失函数） 误差

# 代价函数（损失函数） 误差
def computerCost(X, y, theta):
    # inner 每个元素都作了平方的列矩阵
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

批量梯度下降函数

'''
X:输入
y:输出
alpha:学习率
iters:迭代次数
'''
def gradientDescent(X, y, theta, alpha, iters):
    # 构建等值矩阵 大小和theta一样(1,2) 存放参数theta[0],theta[1]
    temp = np.matrix(np.zeros(theta.shape))
    # 参数的个数 此处为2
    # ravel()计算需要求解的参数个数，功能将多维数组降至一维
    parameters = int(theta.ravel().shape[1])
    # 矩阵 保存每一次迭代后的cost
    cost = np.zeros(iters)
    for i in range(iters):  # 迭代次数
        error = (X * theta.T) - y
        for j in range(parameters):
            # multiply 逐点相乘 每个元素对应乘起来
            term = np.multiply(error, X[:, j])
            temp[0, j] = theta[0, j] - ((alpha / len(X)) * np.sum(term))
        theta = temp  # 更新的参数放到theta
        cost[i] = computerCost(X, y, theta)
    return theta, cost

读取数据并展示

# data.txt与本文件放在同一个文件夹下
data = pd.read_csv("ex1data1.txt", header=None, names=['Population', 'Profit'])
# 数据可视化，绘制散点图kind，取值为line或scatter figsize设置大小
data.plot(kind='scatter', x='Population', y='Profit', figsize=(12, 8))
# plt.show()#展示时去掉注释

原始数据所展示的散点图
在这里插入图片描述

在训练集中添加一列

# 在训练集中添加一列，以便可以使用向量化的解决方案计算代价和梯度
# 在训练集的左侧插入一列全为1的列
# 以便计算即x0=1 loc为0，name为ones，value为1
data.insert(0, 'ones', 1)
print(data)#查看数据

输出结果：
在这里插入图片描述

分割行与列，得到需要的矩阵

# shape[1]代表列
cols = data.shape[1]
# print(cols)#3
# iloc是左闭右开
X = data.iloc[:, 0:cols - 1]  # X是所有行，去掉最后一列
y = data.iloc[:, cols - 1:cols]  # y是所有行，只要最后一列
# print(X) #查看X
# print(y)#查看y
# plt.show()
# 代价函数是numpy矩阵，需要转换X和y为矩阵，然后才能使用它们。
# 还需要初始化theta，即把theta的所有元素都设置为0
X = np.matrix(X.values)
y = np.matrix(y.values)
# theta是一个(1,2)矩阵 theta初始值为0
theta = np.matrix(np.array([0, 0]))
# 分别查看X、y，theta的维度
# print(X.shape,y.shape,theta.shape)#(97, 2) (97, 1) (1, 2)
# 计算代价函数 theta初始值为0
costs = computerCost(X, y, theta)
print('计算代价函数 theta初始值为0：', costs)

计算代价函数 theta初始值为0： 32.072733877455676

初始化一些变量

# 初始化一些附加变量，学习率和要执行的迭代次数
alpha = 0.01#学习率
iters = 1000#迭代次数

运用梯度下降函数将参数theta应用于训练集

g, cost = gradientDescent(X, y, theta, alpha, iters)
print(g)

使用拟合的参数计算训练模型的代价函数（误差）

costs = computerCost(X, y, g)
print('使用拟合的参数计算训练模型的代价函数（误差）:', costs)

绘图之拟合函数

# 绘制线性模型以及数据，直观看出它的拟合，fig代表整个图像，ax代表实例
x = np.linspace(data.Population.min(), data.Population.max(), 100)  # 抽100个样本
f = g[0, 0] + (g[0, 1] * x)  # g[0,0]代表theta0,g[0,1]代表theta1

fig, ax = plt.subplots(figsize=(12, 8))
# 绘制折线图
ax.plot(x, f, 'r', label="Prediction")
# 绘制散点图
ax.scatter(data.Population, data.Profit, label='Training data')
ax.legend(loc=4)#显示标签位置
ax.set_xlabel('Population')
ax.set_ylabel('Profit')
ax.set_title('Predicted Profit vs. Population Size')
plt.show()

结果展示：
在这里插入图片描述

绘图之梯度下降图展示（学习曲线）

#由于梯度方程式函数在每个训练迭代中输出一个代价的向量，也可以绘制
fig, ax1 = plt.subplots(figsize=(12, 8))
ax1.plot(np.arange(iters),cost,'r')
ax1.set_xlabel('Iterations')
ax1.set_ylabel('Cost')
ax1.set_title('Error  vs. Training Epoch')
plt.show()

在这里插入图片描述

多变量线性回归

案例：假设你现在打算卖房子，想知道房子多少钱
我们拥有房子面积和卧室数量以及房子价格之间的对应数据：exercise1_plus.py和ex1data2.txt

导入所需库

# 导入需要使用的包
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

代价函数（损失函数） 误差

# 代价函数（损失函数） 误差
def computerCost(X, y, theta):
    # inner 每个元素都作了平方的列矩阵
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

批量梯度下降函数

'''
X:输入
y:输出
alpha:学习率
iters:迭代次数
'''
def gradientDescent(X, y, theta, alpha, iters):
    # 构建等值矩阵 大小和theta一样(1,2) 存放参数theta[0],theta[1]
    temp = np.matrix(np.zeros(theta.shape))
    # 参数的个数 此处为2
    # ravel()计算需要求解的参数个数，功能将多维数组降至一维
    parameters = int(theta.ravel().shape[1])
    # 矩阵 保存每一次迭代后的cost
    cost = np.zeros(iters)
    for i in range(iters):  # 迭代次数
        error = (X * theta.T) - y
        for j in range(parameters):
            # multiply 逐点相乘 每个元素对应乘起来
            term = np.multiply(error, X[:, j])
            temp[0, j] = theta[0, j] - ((alpha / len(X)) * np.sum(term))
        theta = temp  # 更新的参数放到theta
        cost[i] = computerCost(X, y, theta)
    return theta, cost

读取数据并展示

#读取数据
data2 = pd.read_csv('ex1data2.txt', header=None, names=['Size', 'Bedrooms', 'Price'])
# print(data2)#查看数据

数据预处理：特征归一化

消除特征值之间的量纲影响，个特征值处于同一数量级
提升模型的收敛速度与精度

'''
预处理步骤：特征归一化 
对于此任务，添加一个预处理步骤，特征归一化
若房子价格不归一化，它的数量级和输入值归一化数量级差别太大
几十万的数量级和个位小数做回归
就不能保证收敛了预测的y和实际y几十万差的太多了
'''
# 每个数据 = (每个数据 - 均值)➗方差
data2 = (data2 - data2.mean()) / data2.std()

在训练集中添加一列

# 添加全为1的一列
data2.insert(0, 'ones', 1)

分割行与列，得到需要的矩阵

# shape[1]代表列
cols = data2.shape[1]
X2 = data2.iloc[:, 0:cols - 1]  # X2是所有行，去掉最后一列，即保留前三列
y2 = data2.iloc[:, cols - 1:cols]  # y2是所有行，只要最后一列 列矩阵
# 代价函数是numpy矩阵，需要转换X2和y2为矩阵，然后才能使用它们。
X2 = np.matrix(X2.values)
y2 = np.matrix(y2.values)
#  还需要初始化theta，即把theta的所有元素都设置为0
theta2 = np.matrix(np.array([0, 0, 0]))

初始化一些变量

#不同alpha(学习率)下的效果
alphas = [0.0003,0.003,0.03,0.0001,0.001,0.01]
# 要执行的迭代次数
iters = 2000

绘图

# 开始绘图
fig, ax = plt.subplots()
for alpha in alphas:
    _, cost2 = gradientDescent(X2, y2, theta2, alpha, iters)
    ax.plot(np.arange(iters), cost2, label=alpha)
    ax.legend()
    ax.set(xlabel='iters', ylabel='cost', title='cost vs iters')
# 由于梯度方程式函数在每个训练迭代中输出一个代价的向量，也可以绘制
fig, ax1 = plt.subplots(figsize=(12, 8))
ax1.plot(np.arange(iters), cost2, 'r')
ax1.set_xlabel('Iterations')
ax1.set_ylabel('Cost')
ax1.set_title('Error  vs. Training Epoch')
plt.show()

迭代过程中代价的变化
在这里插入图片描述
不同alpha(学习率)下的效果

在这里插入图片描述

正规方程

对应于Zhenggui.py
在这里插入图片描述
若不可逆了，一般要考虑以下两者情况

  • 移除冗余特征。一些特征存在线性依赖
  • 特征太多，要删除一些特征。比如（m<n），对于小样本数据使用正则化

numpy.linalg模块包含线性代数的函数。使用这个模块，可以计算逆矩阵、求特征值、解方程组及求解行列式等
inv函数计算逆矩阵

这里是引用

# 导入需要使用的包
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

# data.txt与本文件放在同一个文件夹下
data = pd.read_csv("ex1data1.txt", header=None, names=['Population', 'Profit'])
# 数据可视化，绘制散点图kind，取值为line或scatter figsize设置大小
data.plot(kind='scatter', x='Population', y='Profit', figsize=(12, 8))
# plt.show()

# 在训练集中添加一列，以便可以使用向量化的解决方案计算代价和梯度
# 在训练集的左侧插入一列全为1的列
# 以便计算即x0=1 loc为0，name为ones，value为1
data.insert(0, 'ones', 1)
# print(data)#查看数据
# shape[1]代表列
cols = data.shape[1]
# print(cols)#3
# iloc是左闭右开
X = data.iloc[:, 0:cols - 1]  # X是所有行，去掉最后一列
y = data.iloc[:, cols - 1:cols]  # y是所有行，只要最后一列
# print(X) #查看X
# print(y)#查看y
# plt.show()
# 代价函数是numpy矩阵，需要转换X和y为矩阵，然后才能使用它们。
# 还需要初始化theta，即把theta的所有元素都设置为0
X = np.matrix(X.values)
y = np.matrix(y.values)


# 正规方程
def normalEquation(X, y):
    theta = np.linalg.inv(X.T @ X) @ X.T @ y
    return theta


theta = normalEquation(X, y)
print(theta)

绘图

# 绘制线性模型以及数据，直观看出它的拟合，fig代表整个图像，ax代表实例
x = np.linspace(data.Population.min(), data.Population.max(), 100)  # 抽100个样本
f = theta[0, 0] + (theta[1, 0] * x)  # theta[0,0]代表theta0,theta[0,1]代表theta1
# print(x)
# print(theta[0, 0])
# print(f)
# print(x.shape)
# print(f.shape)

fig, ax = plt.subplots(figsize=(12, 8))
# 绘制折线图
ax.plot(x, f, 'r', label="Prediction")
# 绘制散点图
ax.scatter(data.Population, data.Profit, label='Training data')
ax.legend(loc=4)#显示标签位置
ax.set_xlabel('Population')
ax.set_ylabel('Profit')
ax.set_title('Predicted Profit vs. Population Size')
plt.show()

感谢B站上的up主

https://www.bilibili.com/video/BV1Xt411s7KY?p=1&vd_source=b3d1b016bccb61f5e11858b0407cc54e

https://www.bilibili.com/video/BV124411A75S/?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=b3d1b016bccb61f5e11858b0407cc54e

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/29217.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

如何进行微服务测试？

如何进行微服务测试？

微服务测试是一种特殊的测试类型&#xff0c;因为它涉及到多个独立的服务。以下是进行微服务测试的一般性步骤&#xff1a; 1. 确定系统架构 了解微服务架构对成功测试至关重要。确定每个微服务的职责、接口、依赖项和通信方式。了解这些信息可以帮助您更好地规划测试用例和测…
阅读更多...
Aop详解

Aop详解

AOP简介 AOP是一种编程思想&#xff0c;就如同面向对象这种编程思想一样&#xff0c;是一种编程范式&#xff0c;用来指导开发者如何组织程序更好的运行 AOP&#xff08;面向切面编程&#xff09; 作用&#xff1a;在不改变原代码的前提下&#xff0c;为其增加功能。 连接点…
阅读更多...
Apikit 自学日记:导入第三方产品 API 数据

Apikit 自学日记:导入第三方产品 API 数据

除了手动创建API文档&#xff0c;系统也提供了一键导入 Swagger、Postman、RAP、YAPI 等产品数据的功能。方便从其他平台进行迁移。 产品支持度导入文件的后缀名Eolinker API 研发管理完全支持.jsonPostman V2.1支持导入API基础信息&#xff0c;超过10级分组的API数据将不会被导…
阅读更多...
git在windows及linux（源码编译）环境下安装

git在windows及linux（源码编译）环境下安装

git在windows及linux（源码编译）环境下安装 环境信息： 系统版本：CentOS Linux release 7.9.2009 (Core) git指令安装： yum install -y git 一、git在windows下安装 下载地址：https://git-scm.com/ 默认安装即可 验证 git --version 二、git在linux下安装 下载地址…
阅读更多...
游戏场景的转换——状态模式

游戏场景的转换——状态模式

状态模式 游戏比较复杂时&#xff0c;通常会设计成多个场景。 切换场景的好处 1、重复使用场景 跳转切换场景的代码有两种一种是旧版的方法 Application.LoadLevel(“SampleScene”);另一种是新版的方法 SceneManager.LoadScene(“SampleScene”); 例子1&#xff1a;通过场景…
阅读更多...
【QT】TCP/UDP详解及实现

【QT】TCP/UDP详解及实现

TCP/UDP TCP/IP模型TCP协议头部格式三次握手四次挥手 UDP协议头部格式 Socket编程tcpudp代码实现服务端&#xff1a;客户端&#xff1a; 总结 TCP/IP模型 TCP模型是一个常见的网络协议参考模型&#xff0c;也称为TCP/IP模型或互联网模型。它是指TCP/IP协议族中的一组协议&…
阅读更多...
Creating Add-in Hooks (C#)

Creating Add-in Hooks (C#)

本文介绍如何使一个文件在添加、检入、检出到库时&#xff0c;让add-in 程序在SOLIDWORKS PDM Professional 中通知到你。 注意&#xff1a; 因为 SOLIDWORKS PDM Professional 无法强制重新加载Add-in程序 &#xff0c;必须重新启动所有客户端计算机&#xff0c;以确保使用最…
阅读更多...
【Python开发】FastAPI 09：middleware 中间件及跨域

【Python开发】FastAPI 09：middleware 中间件及跨域

FastAPI 提供了一些中间件来增强它的功能&#xff0c;类似于 Spring 的切面编程&#xff0c;中间件可以在请求处理前或处理后执行一些操作&#xff0c;例如记录日志、添加请求头、鉴权等&#xff0c;跨域也是 FastAPI 中间件的一部分。 目录 1 中间件 1.1 创建中间件 1.2 使…
阅读更多...
MySQL常见问题

MySQL常见问题

优化慢查询 慢查询可能出现的情况&#xff1a; 聚合查询多表查询表数据量过大深度分页查询 表象&#xff1a;页面加载过慢&#xff0c;接口压测响应时间过长&#xff08;超过1s&#xff09; 如何定位慢查询&#xff1f; 方案一&#xff1a;开源工具 可以使用相应的调试工具&a…
阅读更多...
EMC学习笔记（三）滤波

EMC学习笔记（三）滤波

滤波 1.概述2.滤波器件2.1 电阻2.2 电感2.3 电容2.4 铁氧体磁珠2.5 共模电感 3.滤波电路3.1 滤波电路的形式3.2 滤波电路的布局与布线 4.电容在PCB的EMC设计中的应用4.1 滤波电容的种类4.2 电容自谐振问题4.3 ESR对并联电容幅频特性的影响4.4 ESL对并联电容幅频特性的影响4.5 电…
阅读更多...
LarkXR知识库 | 开发者社区FAQ合集（二）

LarkXR知识库 | 开发者社区FAQ合集（二）

LarkXR是一套基于GPU云化、图形容器、音视频实时编解码、网络传输优化等核心技术的通用型实时云渲染解决方案&#xff0c;帮助XR领域企业级用户及开发者快速搭建XR应用上云通道&#xff0c;使其在各类智能终端上流畅的运行、使用及传播。 平行云开发者社区上线以来&#xff0c…
阅读更多...
【计算机网络复习之路】运输层（谢希仁第八版）万字详解 主打基础

【计算机网络复习之路】运输层（谢希仁第八版）万字详解 主打基础

专栏&#xff1a;计算机网络复习之路 运输层是OSI七层模型中最重要最关键的一层&#xff0c;是唯一负责总体数据传输和控制的一层。运输层要达到两个主要目的&#xff1a;第一&#xff0c;提供可靠的端到端的通信&#xff08;“端到端的通信” 是应用进程之间的通信&#xff09…
阅读更多...
HTML type=“radio“ 不显示按钮

HTML type=“radio“ 不显示按钮

问题 HTML中type&#xff1d;"radio" 但是在界面中不显示按钮。 详细问题 HTML中type&#xff1d;"radio" 但是在界面中不显示按钮。 笔者html核心代码 <div>性别<input type"radio" id"male" name"gender" va…
阅读更多...
Jmeter HTTP Cookie管理器的使用

Jmeter HTTP Cookie管理器的使用

目录 前言&#xff1a; 1、在HTTP信息头管理器组件中添加Cookie信息 &#xff08;1&#xff09;测试计划内包含的元件 &#xff08;2&#xff09;请求取样器内容 &#xff08;3&#xff09;HTTP信息头管理器内容 &#xff08;4&#xff09;查看结果 2、使用HTTP Cookie管…
阅读更多...
年度创新企业奖！移远通信成推动AIoT融合落地关键力量

年度创新企业奖！移远通信成推动AIoT融合落地关键力量

6月8日&#xff0c;由ASPENCORE主办的2023国际AIoT生态发展大会在深圳召开&#xff0c;移远通信受邀出席大会并发表演讲&#xff0c;同时凭借在5G、AIoT等领域的持续创新荣获“年度创新企业”奖&#xff01; 5GAIoT“双引擎” 重塑物联产业 近些年&#xff0c;从互联网、物联网…
阅读更多...
Git-＞分支

Git-＞分支

⭐作者介绍&#xff1a;大二本科网络工程专业在读&#xff0c;持续学习Java&#xff0c;努力输出优质文章 ⭐作者主页&#xff1a;逐梦苍穹 ⭐所属专栏&#xff1a;Git ⭐如果觉得文章写的不错&#xff0c;欢迎点个关注一键三连&#x1f609;有写的不好的地方也欢迎指正&#x…
阅读更多...
11.vue3医疗在线问诊项目 - _药品订单 ==＞ 支付页面、支付详情、支付结果、订单详情、物流信息、高德地图工具

11.vue3医疗在线问诊项目 - _药品订单 ==＞ 支付页面、支付详情、支付结果、订单详情、物流信息、高德地图工具

11.vue3医疗在线问诊项目 - _药品订单 &#xff1e; 支付页面、支付详情、支付结果、订单详情、物流信息、高德地图工具 药品订单-支付页面-路由 目标&#xff1a;配置路由&#xff0c;分析药品支付组件结构 1&#xff09;路由与组件 {path: /medicine/pay,component: () >…
阅读更多...
DHCP是什么？它有什么作用？其工作模式？工作原理？

DHCP是什么？它有什么作用？其工作模式？工作原理？

目录 一、DHCP是什么&#xff1f;二、DHCP的作用&#xff1f;1. 在没有DHCP服务的网络中2. 在有DHCP服务的网络中 三、DHCP的工作模式简介四、DHCP的工作原理五、参考资料 一、DHCP是什么&#xff1f; DHCP是动态主机配置协议&#xff08;Dynamic Host Configuration Protocol…
阅读更多...
ASP.NET Core MVC 从入门到精通之Html辅助标签补充及模型校验基础

ASP.NET Core MVC 从入门到精通之Html辅助标签补充及模型校验基础

随着技术的发展&#xff0c;ASP.NET Core MVC也推出了好长时间&#xff0c;经过不断的版本更新迭代&#xff0c;已经越来越完善&#xff0c;本系列文章主要讲解ASP.NET Core MVC开发B/S系统过程中所涉及到的相关内容&#xff0c;适用于初学者&#xff0c;在校毕业生&#xff0c…
阅读更多...
Oracle免费云设置Multi-factor Authentication

Oracle免费云设置Multi-factor Authentication

申请Oracle免费云账号的时候系统就强迫用户设置Multi-factor Authentication&#xff0c;我选择了OracleMobileAuthenticator作为2次认证工具。刚开始用还顺利&#xff0c;但用了一段时间后Oracle登录页面迟迟未向OracleMobileAuthenticator发送通知&#xff0c;要等非常久App才…
阅读更多...
最新文章

Copyright @ 2022~2023