前言
在上一篇中,我简单介绍了一下 Tensorflow 以及在本机及阿里云的 PAI 平台上跑通第一个示例的步骤.在本篇中我将稍微讲解一下几个基本概念以及 Tensorflow 的基础语法.
本文代码都是基于 API 版本 r1.4.本文中本地开发环境为 Pycharm,在文中不再赘述.
名词解释
核心概念
和很多开发语言设计一样,Tensorflow 提供了多个级别的客户端 API,其中最底层叫 Tensorflow Core,使用这一层 API 可以完全控制 Tensorflow,但是使用难度上也相对较大.在 Tensorflow Core 之上创建的更高级别的 API,对开发者更友好,更易于使用,学习起来也更简单.
Tensorflow 中该数据的核心单位是张量(Tensor),张量就是将一组基础数值,组织成形态(Shape)为一个任意维度的数组,张量的阶(Rank)就是维度的数量.概念还是挺拗口的,举个例子就非常明了了:
Tensorflow 其实就是针对张量的计算图,计算图中的每个节点(Node)之间是有向连接的,看起来像张量的流动图(即从输入开始,流过一系列的节点,最终输出结果),Tensorflow 也由此得名.官方原话是:
[1., 2., 3.] # Rank=1, Shape=[3]
[[1., 2., 3.], [4., 5., 6.]] # Rank=2; Shape=[2, 3]: 代表第一层数组里包含2个子数组,每个子数组里包含3个值
[[[1., 2., 3.]], [[7., 8., 9.]]] # Rank=3; Shape=[2, 1, 3] : 代表第一层数组里包含2个数组,每个子数组里又包含1个子数组,子数组里包含3个元素
What is a Data Flow Graph?
Data flow graphs describe mathematical computation with a directed graph of nodes & edges. Nodes typically implement mathematical operations, but can also represent endpoints to feed in data, push out results, or read/write persistent variables. Edges describe the input/output relationships between nodes. These data edges carry dynamically-sized multidimensional data arrays, or tensors. The flow of tensors through the graph is where TensorFlow gets its name. Nodes are assigned to computational devices and execute asynchronously and in parallel once all the tensors on their incoming edges becomes available.
基础语法
Tensorflow Core 编程,有点像
画设计稿(构建流图)
->
按图施工(执行流图)
这样的过程,执行流图必须使用 tf.run() 方法.计算图中的节点将接受 0-N 个张量作为输入值并产生一个输出值.在我的理解中,节点可以分为数值型和运算型两种.
数值型
Constant
常量是一种没有输入,只有一个输出值的节点,常量在定义的时候就将其值存储在 Tensorflow 内部了,一旦定义则无法修改其值.
示例代码:
占位符也是数值型节点的一种定义方式,占位符是一种 Promise,就是承诺在执行 tf.run() 的时候一定会在参数 feed_dict 中提供其值.相比常量,占位符更像是一种参数,使用起来更灵活.
# 定义常量c1,并将其数值类型定义为tf.float32,默认值为1.0
c1 = tf.constant(1., dtype=tf.float32)
# 定义常量c2,并将其数值类型定义为tf.float32,默认值为2.0
c2 = tf.constant(2., dtype=tf.float32)
# 执行流图: c1 + c2
with tf.Session() as sess:
print(sess.run(tf.add(c1, c2)))
Placeholder
用占位符改写上面的示例代码如下:
比起占位符,变量就更灵活了,可以随时赋值,这样就可以将某些节点的输出值赋值到指定的变量中,以便后续节点使用.这种模式在机器学习中是非常必要的,因为机器学习就是一个调参的过程,在运行的时候就希望能随时改变某些值以达到预期.
#定义占位值p1,
并将其数值类型定义为tf.float32 p1 = tf.placeholder(tf.float32)#定义占位值p2,
并将其数值类型定义为tf.float32 p2 = tf.placeholder(tf.float32)#执行流图: p1 + p2 with tf.Session() as sess: #既然承诺过,
因此在run的时候必须提供p1,
p2的值,
否则代码将报错print(sess.run(tf.add(p1, p2), {
p1: 1.,
p2: 2.
})) Variable
变量在使用的时候需要注意的是,在执行 tf.run() 方法之前,必须将变量进行初始化,初始化语句是:
依旧是上述代码用变量改写:
init = tf.global_variables_initializer()
sess.run(init)
运算型
# 定义变量v1,并将其数值类型定义为tf.float32,默认值为1.0
v1 = tf.Variable(1., tf.float32)
# 定义变量v2,并将其数值类型定义为tf.float32,默认值为1.0
v2 = tf.Variable(2., tf.float32)
with tf.Session() as sess:
init = tf.global_variables_initializer()
sess.run(init)
print(sess.run(tf.add(v1, v2)))
其实上面的代码中已经用到了加法 tf.add() 方法,减法是 tf.subtract(),乘法是 tf.multiply(),除法是 tf.divide() 等等.所有的方法可以在官方 API 文档中找到: https://www.tensorflow.org/api_docs/python/tf ,这里就不赘述了.
TensorBoard
这里再简单介绍下 Tensorflow 自带的非常强大的可视化工具 TensorBoard,TensorBoard 完全可以单独写一篇博文,本文先抛砖引玉,主要是为了直观的展示上述代码产生的图.
最简单的 TensorBoard 的使用方法如下:
执行上述代码之后,Tensorflow 会将生成图所需的数据序列化到本地文件中,我指定了生成到当前同级目录 logs 中,生成成功之后,可以在 PyCharm 的控制台(使用快捷键 ALT+F12 可调出)中输入:
# 保存计算图
with tf.summary.FileWriter(logdir='logs', graph=tf.get_default_graph()) as writer:
writer.flush()
tensorboard--logdir = logs
等待几秒钟之后,控制台输出类似于如下内容则表示 TensorBoard 已经启动成功:
TensorBoard 0.4.0rc3 at http://localhost:6006 (Press CTRL+C to quit)
在本地浏览器(推荐使用 Chrome)地址栏中,输入
http://localhost:6006
打开 TensorBoard,大致效果如下:
复杂点的示例——线性模型
真正的机器学习过程中,我们当然是不知道变量的,我们真正的目的就是去习得这些变量,以达到模型能够尽可能准确预测样本的期望,也就是所谓的损失(loss)最小化.Tensorflow 提供了
优化器(optimizers)
来做这个工作.最简单的优化器算法叫梯度下降,这是在线性模型中最常用的一种优化算法.优化器底层会调用 Tensorflow Core 中的 tf.gradients 方法来实现梯度下降.
如上图所示,假设现在已知 4 个蓝色的点 (1,0),(2,-1),(3,-2),(4,-3),我们需要推导出代表红色直线的系数 W 和 b(公式为 y = Wx + b),当然这个例子很简单,用肉眼看一下就知道 W=-1,b=1,用 Tensorflow 实现的完整代码如下:
我本机的输出结果为:
import tensorflow as tf
# y = Wx + b, 初始化的时候随便定义一个初始值
W = tf.Variable([.3], dtype=tf.float32)
b = tf.Variable([-.3], dtype=tf.float32)
# 输入值 x, 定义为占位符, 便于在学习过程中换成不同的值
x = tf.placeholder(tf.float32)
# 定义线性模型
linear_model = W*x + b
# 输出值 y, 定义为占位符, 便于在学习过程中换成不同的值
y = tf.placeholder(tf.float32)
# 损失loss,线性模型中以欧式距离来衡量损失值
loss = tf.reduce_sum(tf.square(linear_model - y))
# 定义优化器optimizer
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)
# 4个蓝色点的训练数据,分解成x和y的数组为
x_train = [1, 2, 3, 4]
y_train = [0, -1, -2, -3]
# 初始化Session
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
# 循环1000次,训练模型
for i in range(1000):
sess.run(train, {x: x_train, y: y_train})
# 评估准确率
curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
print("W: %s b: %s loss: %s"%(curr_W, curr_b, curr_loss))
# 保存计算图
with tf.summary.FileWriter(logdir='logs_linear_regression', graph=tf.get_default_graph()) as writer:
writer.flush()
W: [ - 0.9999969] b: [0.99999082] loss: 5.69997e-11
W 的值无限接近 - 1,b 的值无限接近 1,而 loss 无限接近 0,这个就是我们设计的函数 y=-x+1.
在 TensorBoard 中查看结果如图所示:
这个图就看起来就比较像这么回事了.
在阿里云 PAI 上运行
本系列教程我尽量在阿里云的 PAI 平台上也运行一次,虽然目前公测阶段还是有很多问题,但是也是让很多人对机器学习变得触手可及的一种非常好的方案.
上一篇中,我用 web 版的 OSS 管理工具上传了源代码文件,本用例将使用 OSS Browser 客户端上传和管理文件,下载地址在阿里云后台如下位置:
下载客户端的同时,可以开通阿里云的 Access Key(用来登录 OSS Browser),开通位置如下:
开通之后,在管理界面看到如下内容:
打开并解压缩刚才下载的 OSS Browser,双击打开 oss-browser.exe 文件,使用刚才开通的 Access Key 登录:
我依旧在上一篇相同的目录
oss://danielfu-oss-tf-test/tensorflowtest/
下,创建了一个放 summary 文件夹,并上传了代码文件
tensorflow-demo2.py
:
在阿里云上使用 Tensorflow 需要将上述的 demo 示例代码进行少量的改造,格式基本也都是固定的,改造完之后的完整代码如下:
在 PAI 中,下图中 1 的位置指定为
# 指定文件的编码格式,这个不加在PAI里运行会报错
#!/usr/bin/python
# -*-coding:utf-8 -*-
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import sys
import argparse
import tensorflow as tf
# 定义FLAGS用来传递全局参数
FLAGS = None
def main(_):
# y = Wx + b, 初始化的时候随便定义一个初始值
W = tf.Variable([.3], dtype=tf.float32)
b = tf.Variable([-.3], dtype=tf.float32)
# 输入值 x, 定义为占位符, 便于在学习过程中换成不同的值
x = tf.placeholder(tf.float32)
# 定义线性模型
linear_model = tf.multiply(W, x) + b
# 输出值 y, 定义为占位符, 便于在学习过程中换成不同的值
y = tf.placeholder(tf.float32)
# 损失loss,线性模型中以欧式距离来衡量损失值
loss = tf.reduce_sum(tf.square(linear_model - y))
# 定义优化器optimizer
optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)
# 4个蓝色点的训练数据,分解成x和y的数组为
x_train = [1, 2, 3, 4]
y_train = [0, -1, -2, -3]
# 初始化Session
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
# 循环1000次,训练模型
for i in range(1000):
sess.run(train, {x: x_train, y: y_train})
# 评估准确率
curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
print("W: %s b: %s loss: %s" % (curr_W, curr_b, curr_loss))
# 保存计算图
with tf.summary.FileWriter(FLAGS.summaryDir + 'train', sess.graph) as writer:
writer.flush()
# 在运行main程序的时候,将参数传入执行代码中
# 本例中就指定了summaryDir参数
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('--summaryDir', type=str, default='',
help='Summaries log directory')
FLAGS, unparsed = parser.parse_known_args()
tf.app.run(main=main)
tensorflow-demo2.py
文件,2 的位置指定为 summary 目录,然后点击
3
处的按钮:
可能是 PAI 的 BUG,该示例在执行的时候,输出结果永远是报错,但是在 OSS 中,summary 文件也已经成功生成,而且如果点击查看 Tensorblaord 按钮,其实是可以启动 TensorBoard 的:
如上图所示,可以成功运行 PAI 端的 TensorBoard(URL 是阿里云的,不是本机 localhost 的).而且生成的图和本地运行生成的图也是一模一样的(废话).
参考文档
官方文档: https://www.tensorflow.org/get_started/get_started
本文在 我的博客园 和 我的个人博客
来源: https://www.cnblogs.com/wushangjue/p/8287369.html