Deutsches Kaiserreich (1881 bis 1918)

Nach dem Besuch der Volksschule ergriff Weiser den kaufmännischen Beruf. Am 1. August 1908 machte er sich mit einem eigenen Textilgeschäft in Buer in Westfalen auf der Essener Straße (heute Horster Straße) selbständig.

Von 1915 bis 1916 nahm Weiser mit dem Landsturm am Ersten Weltkrieg teil. Anschließend wurde er bis Kriegsende in der Stadtverwaltung beschäftigt.

Weimarer Republik (1918 bis 1933)

Spätestens nach dem Krieg wurde Weiser Mitglied der katholischen Zentrumspartei. 1918 zog er in die Stadtverordnetenversammlung von Gelsenkirchen ein. 1921 wurde Weiser Mitglied der Handelskammer Münster beziehungsweise Bochum. 1925 übernahm er sein erstes politisches Amt als Abgeordneter des westfälischen Provinziallandtages. Ferner saß Weiser im Kirchenvorstand der Gemeinde St. Urbanus. Als Textilhändler gründete er die Fachvereinigung der Textilhändler Buer. Außerdem wurde er Vorsitzender der Kaufmannschaft.

Mit der Wahl vom September 1930 wurde Weiser erstmals in den Reichstag gewählt, dem er vier Legislaturperioden lang, bis ins Jahr 1933 als Vertreter des Wahlkreises 18 (Buer) angehörte. Während seiner Abgeordnetenzeit stimmte er unter anderem für die Annahme des Ermächtigungsgesetzes vom März 1933, das die juristische Grundlage für die Errichtung der NS-Diktatur bildete.

Zeit des Nationalsozialismus (1933 bis 1945)

Seit 1933 sah Weiser sich beständigen Anfeindungen und Schikanen durch die nationalsozialistischen Machthaber ausgesetzt: bereits am 18. März 1933 rief die Nationalzeitung in Buer dazu auf, das Kaufhaus der Familie Weiser zu boykottieren. Später wurde er kurzzeitig in Haft genommen.

Trotz seiner Distanz zum Nationalsozialismus konnte Weiser 1937 Vorsitzender des katholischen Kaufvereins in Buer werden. Als Betriebsführer gehörte er zudem automatisch der Deutschen Arbeitsfront (DAF) an.

Auf wiederholte Kritik nach der NS-Zeit stieß die von Weiser in den späten 1930er Jahren vorgenommene Expansion seines Unternehmens: Zu diesem Zweck kaufte er zahlreiche Betriebe (vor allem in Bochum Recklinghausen) auf, darunter auch Kaufhäuser jüdischer Unternehmer, die im Rahmen der „Arisierung“ dazu genötigt wurden ihren Betrieb zum Verkauf anzubieten. Der Historiker Stefan Goch urteilte über Weisers Geschäftserweiterung zwischen 1933 und 1938, das Weiser zwar von der Arisierung profitiert habe, er sich aber dennoch „anders“ [verhalten habe] als viele „Arisierungsgewinner“: „[Er] zahlte korrekte Preise und versuchte [den zum Verkauf Gezwungenen], bei der Flucht zu helfen.“ Nach dem Krieg zahlte Weiser zudem noch zwei Ausgleichszahlungen an die vormaligen Besitzer seiner Häuser.

Vom 11. bis zum 25. März 1942 wurde Weiser fünfzehn Tage lang von der Gestapo im Buerer Polizeipräsidium gefangen gehalten. Er selbst gab später an, die Verhaftung sei wegen der Verbreitung eines Flugblattes erfolgt.

Die 1943 im Zuge der sogenannten Geschäftsschließungsaktion, die die Schließung aller nicht kriegswichtigen Betriebe und die Überführung ihrer Arbeitskräfte in die Rüstungsindustrie bezweckte, von der NSDAP-Ortsgruppenleitung in Gelsenkirchen angestrengte Schließung von Weisers Kaufhaus kam schließlich nicht mehr zustande. Ein Gutachten über Weiser aus dieser Zeit bemerkt, dass seine Kunden zwar zufriedenstellend bedient würden, stellt aber im gleichen Atemzug seine politische Unzuverlässigkeit hervor: „Um die Bewegung kümmert er sich keineswegs. Beim Hitlergruß erhebt er gezwungenermaßen eben die Hand — aber kaum in Schulterhöhe.“

Im Zusammenhang mit der Aktion Gitter erging im August 1944 Befehl an die Gelsenkirchener Gestapo, Weiser zu verhaften und in ein Konzentrationslager zu verbringen. Die örtlichen Beamten weigerten sich jedoch zunächst mit der Begründung, dass Weiser zwei Söhne im Krieg verloren habe, die Anweisung umzusetzen. Durch einen Vertrauten bei der Gestapo wurde Weiser über die ihm drohende Gefahr informiert. Er nahm diesen Hinweis zum Anlass, um sich für den Rest des Krieges versteckt zu halten.

Nachkriegszeit (1945 bis 1964)

Nach 1945 war Weiser 2. Vorsitzender der Industrie- und Handelskammer zu Bochum. Von 1946 bis 1956 gehörte er zudem für das neugegründete Zentrum wieder dem Rat der Stadt an. 1949 und von 1954 bis 1956 amtierte er als Bürgermeister. Seit 1946 fungierte er zudem als Herausgeber des Westfälischen Kuriers.

Die Räumlichkeiten seiner Kaufhäuser stellte Weiser in den ersten Nachkriegsjahren kommunalen Behörden und für die Lagerung von Textilien zur Verfügung. Im April 1949 gründete er schließlich mit seinen vier überlebenden Söhnen (Theo, Franz, Josef und Karl) eine Familien-GmbH zur Führung seiner Kaufhäuser. Während Josef Weiser die Geschäftsleitung übernahm, wurden die Söhne Leiter der vier Einzelfilialen: Theo übernahm das Haus in Recklinghausen, Franz das in Bochum, Josef das Haus am Stern und Karl den Marktbau. 1956 wurde Weiser von der Stadt Gelsenkirchen zum Ehrenbürger von Gelsenkirchen ernannt.

Die im Besitz von Weisers Familie verbliebenen Kaufhäuser (Buer, Bochum, Recklinghausen) wurden schließlich 1984 von der Firma Sinn-Leffers übernommen. Heute erinnert unter anderem der nach ihm benannte Josef-Weiser-Weg in Gelsenkirchen und die Gedenktafel am Kaufhaus in Buer an Weisers Leben und Tätigkeit.