Deutsches Kaiserreich (1875 bis 1918)

Nach dem Besuch der Volksschule verdiente Graupe seinen Lebensunterhalt als Arbeiter. Von 1895 bis 1897 gehörte Graupe dem 2. Grenadier-Regiment Nr. 101 in Dresden an. Um die Jahrhundertwende wurde Graupe Mitglied der Sozialdemokratischen Partei Deutschlands (SPD). 1906 übernahm er eine Stellung als Gewerkschaftssekretär im Deutschen Textilarbeiterverband in Zwickau, die er bis 1933 beibehalten sollte. Später wurde er zudem Vorsitzender des Genossenschaftsrates im Konsumverein Zwickau und Umgebung sowie Vorsitzender des Ortsausschusses des Allgemeinen Deutschen Gewerkschaftsbundes.

Von 1914 bis 1918 nahm Graupe am Ersten Weltkrieg teil, in dem er als Unteroffizier in einem Maschinengewehr-Regiment kämpfte.

Weimarer Republik (1919 bis 1933)

Nach dem Krieg betätigte Graupe sich zunächst in der Kommunalpolitik. Von 1919 bis 1923 war er Stadtverordneter in Zwickau.

Vom 1. April bis Ende Oktober 1923 amtierte Graupe als Arbeitsminister im Freistaat Sachsen. Von 1919 bis 1930 saß Graupe im Sächsischen Landtag.

Im Februar 1930 zog Graupe im Nachrückverfahren für den verstorbenen Abgeordneten Paul Levi in den im April 1928 gewählten vierten Reichstag der Weimarer Republik ein. Nachdem er bei den folgenden vier Reichstagswahlen wiedergewählt wurde, gehörte er dem Reichstag etwas über drei Jahre lang, bis zum Sommer 1933, als Vertreter des Wahlkreises 30 (Chemnitz-Zwickau) an.

NS-Zeit und Nachkriegszeit (1933 bis 1959)

Im März 1933 war Graupe einer von 94 Reichstagsabgeordneten, die gegen die Annahme des Ermächtigungsgesetzes stimmten, das die juristische Grundlage für die Errichtung der NS-Diktatur bildete, und das schließlich mit einer Mehrheit von 444 zu 94 Stimmen angenommen wurde.

Graupe war ferner Vertreter der Arbeitnehmerschaft im Verwaltungsausschuss beim Landesarbeitsamt in Dresden und beim Arbeitsamt Zwickau sowie Beisitzer im Schlichtungsausschuss der Zweigkammer Zwickau.

1933 und 1935 wurde Graupe jeweils für mehrere Monate von den Nationalsozialisten in Haft gehalten.

Nach 1946 amtierte Graupe als Bürgermeister der Ortschaft Dommitzsch.