crazzle/dl-tensorflow-serving

Der Beispielcode zum Artikel "Deep Learning Modelle deployen mit TensorFlow Serving"

Deep Learning Modelle deployen mit Keras und TensorFlow Serving

Der Beispielcode zum Artikel "Deep Learning Modelle deployen mit TensorFlow Serving"

Requirements installieren

Das Training, der Client sowie auch TensorFlow-Serving nutzen verschiedene Python Pakete, von Numpy über TensorFlow bin hin zu Keras. Die Pakete können mit

pip install -r requirements.txt --user

installiert werden.

Struktur

Im Ordner code befinden sich die Python Skripte für das Training der Modelle, sowie das Client-Script, dass mit TensorFlow Serving spricht.

Im Ordner notebooks liegen 2 Expemplarische Jupyter Notebooks, die Training und Export inklusive Plots und Grafiken darstellen.

Skripte

Wetterfrosch_V1_Training.py und V2 enthalten den Code für das Training der Modelle. Wetterfrosch_V1_Export.py und V2 enthalten den Code für die Modellexporte als TensorFlow-Graphen.

TensorFlow Serving starten

Damit TensorFlow Serving gestartet werden kann wird Docker benötigt. Um den ModelServer zu starten wird zuerst das Image gebaut:

docker build .

und anschließend der Container gestartet:

docker run -p 9000:9000 -v $(pwd)/models:/tmp/models -it tf_serving bash

Der Ordner models wird beim Start in den Container gemounted.