用TensorFlow训练线性和逻辑回归模型
这一节结合前面介绍的所有TensorFlow概念来训练线性和逻辑回归模型，使用玩具数据集。
用TensorFlow训练模型
假如我们指明了数据点和标签的容器，定义了张量操作的损失函数。添加了优化器节点到计算图，它可以用来计算梯度下降。我们如何重复进行梯度下降来学习数据集呢？
答案是用Python for-循环。代码块 Example 3-10说明这个简单的学习过程。注意为了简化教学我们不使用 minibatches 。后面训练大数据集时会用minibatches。
使用TensorFlow的线性回归
这一节我们用Tensor‐Flow 定义线性回归，并学习它的权重。任务很直接，你可以不用TensorFlow完成。但是，使用TensorFlow 是很好的练习因为它可以将我们学习过的概念一起使用。
用TensorFlow定义和训练线性回归
线性回归模型很简单:
y = wx + b
这里 w 和 b 是我们要学习的权重。我们转换这些权重至tf.Variable对象。然后用张量操作来构建损失函数 L2 loss:
ℒ（ x, y）=（ y − wx − b） 2
List3-24的代码用TensorFlow实现这些数学操作。添加tf.train.AdamOp 优化器来学习以及tf.summary操作来合用TensorBoard。
#List3-24. Defining a linear regression model
#定义模型函数
def model(x,w,b):
return tf.multiply(x,w)+b
def loss_fun(x,y,w,b):
err = model(x,w,b)-y
squared_err = tf.square(err)
return tf.reduce_mean(squared_err)
def grad(x,y,w,b):
with tf.GradientTape() as tape:
loss_ = loss_fun(x,y,w,b)
return tape.gradient(loss_,[w,b])
List3-25 训练模型 (不用 minibatches).
#List3-25. Training the linear regression model
w = tf.Variable(np.random.randn(),tf.float32)
b = tf.Variable(0.0,tf.float32)
#设置迭代次数和学习率
train_epochs = 100
learning_rate = 0.01
loss = []
y_pred=[]
count = 0
display_count = 10 #控制显示粒度的参数,每训练10个样本输出一次损失值
#开始训练，轮数为epoch，采用SGD随机梯度下降优化方法
for epoch in range(train_epochs):
for xs,ys in zip(x_np,y_np):
#计算损失，并保存本次损失计算结果
#rand_index = np.random.choice(100)
#rand_x = tf.cast([x_vals[rand_index]],dtype=tf.float32)
#rand_y = tf.cast([y_vals[rand_index]],dtype=tf.float32)
loss_ =loss_fun(xs,ys,w,b)
loss.append(loss_)
#计算当前[w,b]的梯度
delta_w,delta_b = grad(xs,ys,w,b)
change_w = delta_w * learning_rate
change_b = delta_b * learning_rate
w.assign_sub(change_w)
b.assign_sub(change_b)
#训练步数加1
count = count +1
if count % display_count == 0:
print('train epoch : ','%02d'%(epoch+1),'step:%03d' % (count),'loss= ','{:.9f}'.format(loss_))
为线性回归取梯度
线性回归模型的方程为 y = wx + b
其中 w, b是可学习权重。我们前面提过，这个系统的损失是 ℒ =（ y − wx − b）2。可以用上些矩阵微积分来计算可学习参数的梯度:
以及
这些方程仅给有好奇心读者参考。我们不会系统的教如何求损失函数的微分。