Pierre Weiss est né en 1865 à Mulhouse. Il est diplômé ingénieur à l'Institut Polytechnique Fédéral de Zurich en 1887, puis entre à l'ENS Ulm l'année suivante. Agrégé en 1893 puis agrégé préparateur à l'ENS en 1894, il est nommé Maître de conférences à la Faculté des Sciences de Rennes en 1895 (jusqu'en 1899). Il obtient son doctorat en 1896 ; celui-ci est intitulé "Recherches sur l'aimantation de la magnétite cristallisée et de quelques alliages de fer et d'antimoine". Il enseignera à la Faculté des Sciences de Lyon de 1899 à 1902, puis à l'Institut Polytechnique Fédéral de Zurich de 1902 à 1918. 

C'est à Zurich que Weiss, spécialiste de magnétisme, devient une référence mondiale dans le domaine des électroaimants. Durant sa carrière, il a cherché à savoir pourquoi et comment une substance comme le fer peut s'aimanter de façon forte et permanente alors que la plupart des autres matériaux restent inertes ou s'aimantent faiblement et transitoirement quand ils sont mis en présence d'un champ magnétique. En 1907, il émet l'hypothèse du champ moléculaire et rend compte ainsi à la fois du comportement paramagnétique et de l'aimantation spontanée des substances ferromagnétiques, devenant ainsi le créateur de la théorie du ferromagnétisme (nommée loi Curie-Weiss).

Aimé Cotton et Pierre Weiss ont fait connaissance et sont devenus de très proches amis. Quand le projet de grand électroaimant naît au tournant des années 1900-1910, quatre équipes en France (plus une en Allemagne et une autre aux Pays-Bas) se créent : l'une d'entre elles est celle formée par Cotton et Weiss. C'est le projet présenté par eux qui est choisi par l'Académie des Sciences, mais la Première Guerre Mondiale éclate quelques mois plus tard.

Ils mettent ensemble au point un système de repérage des batteries d'artillerie par le son, connu sous le nom de "système Cotton-Weiss". Pierre Weiss est nommé à l'Institut de Physique de Strasbourg en 1918, où il entreprend de mettre en place un grand laboratoire pour ses travaux sur le magnétisme, réunissant autour de lui une équipe contribuant largement à la physique française non-nucléaire ; il y enseignera jusqu'en 1936.

Il participe au Congrès Solvay en 1930, consacré au magnétisme, lors duquel Aimé Cotton présente les résultats obtenus grâce au grand électroaimant. Il organise, en mai 1939 à Strasbourg, un congrès international de magnétisme, auquel participent des collègues allemands et français, dont Aimé Cotton ; cet événement est le couronnement de son oeuvre, au moment où la théorie du magnétisme doit se plier aux lois récentes de la physique quantique. Malade d'un cancer, il meurt l'année suivante, à Lyon.