1. 首頁 > 生活百科 > >

1 Dive into TensorFlow系列-靜態圖運行原理

生活百科

接觸過TensorFlow v1的朋友都知道，訓練一個TF模型有三個步驟：定義輸入和模型結構，創建tf.Session實例sess，執行sess.run()啟動訓練 。不管是因為歷史遺留代碼或是團隊保守的建模規范，其實很多算法團隊仍在大量使用TF v1進行日常建模 。我相信很多算法工程師執行sess.run()不下100遍 ， 但背后的運行原理大家是否清楚呢？不管你的回答是yes or no，今天讓我們一起來探個究竟 。
學習靜態圖運行原理能干什么？掌握它對我們TF實踐中的錯誤排查、程序定制、性能優化至關重要，是必備的前置知識 。
一、何為靜態圖？眾所周知，TensorFlow程序有兩種運行選擇，即靜態圖模式與動態圖模式 。
1.1 靜態圖靜態圖采用聲明式編程范式（先編譯后執行），根據前端語言（如python）描述的神經網絡結構和參數信息構建固定的靜成計算圖，靜態圖在執行期間不依賴前端語言，而是由TF框架負責調度執行，因此非常適合做神經網絡模型的部署 。用戶定義的靜態圖經序列化后用GraphDef表達，其包含的信息有：網絡連接、參數設置、損失函數、優化器等 。
有了完整的靜態圖定義后，TF編譯器將計算圖轉化成IR（中間表示） 。初始IR會經TF編譯器一系列的轉換和優化策略生成等價的計算圖 。編譯器前端轉換和優化包括：自動微分、常量折疊、公共子表達式消除；編譯器后端與硬件相關，其轉換和優化包括：代碼指令生成和編譯、算子選擇、內存分配、內存復用等 。
綜上所述，靜態圖的生成過程可用下圖簡要概適：

1 Dive into TensorFlow系列-靜態圖運行原理

文章插圖
1.2 動態圖動態圖采用命令式編程范式 ， 即編譯與執行同時發生 。動態圖采用前端語言的解釋器對用戶代碼進行解析，然后利用TF框架的算子分發功能，使得算子立即執行并向前端返回計算結果 。當模型接收輸入數據后，TF開始動態生成圖拓撲結構，添加輸入節點并將數據傳輸給后續節點 。如果動態圖中含有條件控制邏輯，會立即計算邏輯判斷結果并確定后續數據流向，因此動態圖完整的拓撲結構在執行前是未知的 。另外，當模型根據新的batch訓練時，原有的圖結構則失效，必須根據輸入和控制條件重新生成圖結構 。
綜上所述，動態圖生成過程可用下圖簡要概括：
1 Dive into TensorFlow系列-靜態圖運行原理

文章插圖
1.3 比較為了方便大家深入理解動/靜態圖原理及異同點，梳理相關信息如下表：
 靜態圖動態圖即時獲取中間結果否是代碼調試難度難易控制流實現方式TF特定語法可采用前端語言語法性能多種優化策略，性能好優化受限，性能差內存占用內存占用少內存占用多部署情況可直接部署不可直接部署二、Session是干啥的？2.1 Session定義tf.Session代表用戶程序和C++運行時之間的連接 。一個Session類對象session可以用來訪問本機計算設備，也可訪問TF分布式運行時環境中的遠程設備 。session也能緩存tf.Graph信息，使得相同計算邏輯的多次執行得以高效實現 。
tf.Session的構造方法定義如下：
def __init__(self, target='', graph=None, config=None):"""Creates a new TensorFlow session.If no `graph` argument is specified when constructing the session,the default graph will be launched in the session. If you areusing more than one graph (created with `tf.Graph()` in the sameprocess, you will have to use different sessions for each graph,but each graph can be used in multiple sessions. In this case, itis often clearer to pass the graph to be launched explicitly tothe session constructor.Args:target: (Optional.) The execution engine to connect to.Defaults to using an in-process engine. See@{$distributed$Distributed TensorFlow}for more examples.graph: (Optional.) The `Graph` to be launched (described above).config: (Optional.) A [`ConfigProto`](https://www.tensorflow.org/code/tensorflow/core/protobuf/config.proto)protocol buffer with configuration options for the session."""super(Session, self).__init__(target, graph, config=config)# NOTE(mrry): Create these on first `__enter__` to avoid a reference cycle.self._default_graph_context_manager = Noneself._default_session_context_manager = None我們來看一下__init__()方法的三個參數：
?target：默認為空，代表session僅可訪問本機上的計算設備 。如果設置grpc://樣式的URL，則可以訪問TF server對應機器的計算設備 。?graph：默認執行當前default graph中的op算子 。如果用戶程序中包含多個計算圖，則在創建session時必須指定是哪個計算圖 。?config：通過指定tf.ConfigProto來控制session的行為 。常見的配置選項有：設備退化allow_soft_placement、分布式集群配置cluster_def、圖優化策略graph_options.optimizer_options、GPU內存逐步增長gpu_options.allow_growth 。2.2 Session.run()tf.Session.run()實際是調用tf.BaseSession.run()方法，其函數簽名如下：

推薦閱讀