En dépit de son origine latine castrum, la ville n'a pas été fondée par les Romains, bien que la découverte d'une villa gallo-romaine à Gourjade atteste une présence aux Ier et IIe siècles de notre ère. Le site est occupé dès l'âge de fer, au VIIIe siècle avant J.C, mais l'origine de la ville remonte au début du IXe siècle (810) avec la fondation d'une abbaye bénédictine. Les moines ramènent les reliques de Saint-Vincent de Saragosse (patron de la ville) pour lesquelles est édifiée une basilique. Castres devient une étape sur l'une des voies vers St-Jacques de-Compostelle : le chemin d'Arles. Au coeur de l'hérésie cathare, la cité ne s'engage pas ouvertement et se soumet à Simon de Montfort. En 1317, elle est érigée en évêché et le reste jusqu'en 1790. Durant les Guerres de Religion, Castres, bastion huguenot, devient place forte ; de nombreux monuments conventuels sont détruits.

En 1595, Henri IV établit à Castres la Chambre de l'Edit, tribunal composé de juges catholiques et protestants afin de rendre une justice équitable. C'est le début de l'une des périodes les plus fastes. De beaux hôtels particuliers sont construits et participent à la renaissance de Castres (à voir : rues Gabriel-Guy, Chambre de l'Edit, Victor-Hugo, Montlédier, Sabaterie, Boursiers, Frédéric-Thomas …). Une Académie Littéraire est créée par un collectif d'érudits locaux. A l'essor culturel s'ajoute la prospérité : par le travail des artisans de la laine, du cuir et du papier, Castres affirme savocation textile. Le XVIIe siècle lègue de remarquables ensembles, en particulier le Palais Épiscopal, oeuvre de Jules Hardouin-Mansart, qui abrite aujourd'hui l'Hôtel de Ville et le Musée Goya. Il est prolongé par un jardin à la française dessiné selon les plans d’André Le Nôtre.

Toutes ces maisons ont des bases médiévales dont les ouvertures sont en berceau ou en ogive. Les caves appelées «caoussino» en occitan (littéralement cela signifie usine à chaux) ouvrent sur la rivière et possédaient des lavoirs. Après avoir nettoyé et rincé les peaux dans l'Agout, on les déposait dans les cuves emplies de chaux. Au rez-de-chaussée étaient situés les appartements des ouvriers puis ceux des maîtres. Cependant, il n'était pas systématique de trouver sous le même toit l'habitat et l'activité professionnelle de l'artisan. Dès l'époque de Louis XIV, les documents cadastraux indiquent fréquemment des propriétaires différents pour les «caoussino» et les étages supérieurs.

Aux deux derniers étages, se trouvaient les séchoirs, l'un plus haut que les pièces d'habitation elles-mêmes afin que les cuirs ne traînent pas par terre. Ces pièces sont pourvues de petites ouvertures qu'il devait être aisé de fermer avec des volets de bois pour, en été, défendre les cuirs des ardeurs du soleil et en hiver de la force de la gelée. Sous les toits, le deuxième séchoir portait le nom de « soleiller », largement ouvert pour laisser pénétrer la lumière et l'air.

Ces maisons, appelées aussi «la petite Venise» ont conservé leurs encorbellements de bois et leurs balcons. 

Depuis les années 1980, ces maisons ont été restaurées et sont entrées dans la catégorie HLM, dans le cadre d'une réhabilitation du centre ville.

A ne pas manquer: Chaque année le Carnaval Vénitien de Castres