Dès 1895, Alexandre Varenne collabore à plusieurs journaux comme Le Petit Clermontois ou Le Stéphanois.

 
A Paris, en 1898, il écrit dans La Revue Blanche, La Volonté, L'Action puis La Lanterne de Briand, dont il fut le secrétaire de rédaction. En 1904, il entre à L'Humanité aux côtés de Jean Jaurès et, le 2 octobre de la même année, il crée, à Clermont-Ferrand, L'Ami du Peuple (dont la parution cesse le 2 août 1914). En septembre 1916, il écrit dans L'Action socialiste puis en 1918, dans La France libre. Enfin, de février à octobre 1919, Alexandre Varenne dirige le quotidien La Politique.

 
En 1919 sa carrière journalistique et politique prend un tournant décisif, avec la création du quotidien La Montagne, à Clermont-Ferrand. Il choisit le titre « La Montagne » en référence aux idées révolutionnaires de 1793 des Montagnards, les amis de Robespierre et de Danton. La Montagne se veut le «Quotidien de la démocratie socialiste du centre», avant de devenir en 1931, le «Quotidien régional des Gauches».

 
Proche de Jean Jaurès, Alexandre Varenne est avant tout un homme de gauche libre. Dans son esprit, le mot d'ordre est simple,«travailler au bien public» son but est de s'adresser au plus grand nombre, à tous les courants de pensée et en informant le lecteur le plus rapidement et le plus honnêtement possible.

La première rédaction de "La Montagne"

La Une de "La Montagne", le jour de sa première parution