Graf studierte von 1904 bis 1908 an der Königlich württembergischen Akademie und Kunstgewerbeschule Stuttgart und schloss mit einem Examen als Zeichenlehrer ab. Nach einem Aufenthalt in Florenz und Rom nahm er ein Studium als Schüler von Christian Landenberger, Adolf Hölzelund Heinrich Altherr auf. Auf einer Reise nach Südfrankreich 1913 begegnete er Jacques Villon und Albert Gleizes, zu dem eine intensive Freundschaft entstand. Gleichzeitig entwickelte Graf durch die Auseinandersetzung mit der kubistischen Formensprache seinen eigenen unverwechselbaren Stil. 1919 kam es zur Gründung der „Üecht-Gruppe“ und 1921 zur Berufung zum Professor und Leiter an die Holzschnittschule der Württembergischen Kunstakademie. Graf wurde zum Wegebreiter des modernen Holzschnitts und der neuen Kunst in Stuttgart. Nach Auflösung der „Üecht-Gruppe“ 1924 erfolgte fünf Jahre später die Gründung der „Gruppe 1929“. Ende der 1920er Jahre widmete Graf sich wieder vollkommen der gegenständlichen Kunst. Während des Nazi-Regimes wurden viele seiner Werke als „Entartete Kunst“ erklärt, aus Museen entfernt, vernichtet und er selbst aus dem Lehramt entlassen. Seine Arbeiten befinden sich in vielen deutschen Privatsammlungen: 50 Gemälde von Graf aus dem Besitz der Stadt Mengen werden in einem eigenen Museum aufbewahrt.