La Compagnie du Midi était la seule grande compagnie ferroviaire française à ne pas atteindre Paris. Elle devait donc avoir son siège dans la plus grande ville du sud-ouest : Bordeaux.
On commença a imaginer une gare maritime en plein milieu des quais, afin de faciliter la connexion avec les lignes maritimes. L’empereur Napoléon III s’y opposa : « Nulle part je ne permettrais que les gares de chemin de fer s’interposent entre les façades des villes et les fleuves (…) la gare de chemin de fer du Midi s’arrêtera à l’alignement de la façade de la ville, telle qu’elle a été construite par M. Tourny ».
Le premier projet de gare de la Compagnie du Midi prévoyait une gare parallèle au fleuve, à l’emplacement de l’ancien Hôpital des Enfants trouvés face à l’église Sainte-Croix. Vu sa dimension, la gare aurait aussi pris la place du Château Descas qui n’aurait alors jamais été construit.
Ce projet timoré eut été périmé en moins de trente ans. Dans le même temps on prévoyait une solution beaucoup plus ambitieuse consistant à traverser le fleuve avec un nouveau pont en amont, là où on avait déjà imaginé un pont routier. C’est ainsi que la Gare du Midi prit place perpendiculairement à la Garonne, entre les lieux-dits Paludate et La Bombe, en plein vignoble.
Afin de parer au plus pressé, décision fut prise d’établir des bâtiments provisoires en bois. Deux lignes sont ouvertes en 1855, l’une en direction de Dax, l’autre de Langon. Le 16 janvier 1869 la voie routière menant à la Gare prit officiellement le nom de « cours St-Jean » (futur cours de la Marne), et si la raison de ce choix est mal connue, toujours est-il que les bordelais se mirent également à désigner la gare par ce même nom.
Pendant quarante ans les bâtiments provisoires en bois remplirent une fonction pour laquelle ils n’étaient pas faits. En 1884 ils écoulent deux millions de voyageurs. Le bâtiment du Départ était accessible par la rue des Terres de Bordes, et tout le monde se plaignait de l’incommodité générale de la gare. Elle restera pourtant en l’état pendant 30 ans.
La construction du bâtiment définitif, conçu par l’architecte Marius Toudoire, commence en 1889, et les façades de l’aile Arrivée (au sud) commencent à s’élever en 1891. Cette partie sera achevée en 1894, alors que l’aile Départ (au nord) ne sera achevée qu’en 1897. Cette année, l’Hotel-Terminus, au centre du bâtiment, offre 36 chambres.
La Gare St-Jean était alors en avance sur son temps, par l’accès aux quais grâce à trois passages souterrains (qui furent l’objet d’une polémique) et l’éclairage électrique. Lorsque le bâtiment fut terminé, il avait coûté près de 5 millions de francs or.
La verrière métallique a été construite en 1898, à l’aide d’un gigantesque échafaudage roulant en bois. Cette verrière était conçue pour abriter simultanément les trains au départ vers le sud et vers le nord sur une même voie, ce qui se fait encore aujourd’hui avec les TER. A l’époque de sa construction elle fut la plus vaste du monde, avec ses 296,96 m. de long, 57,70 m. de largeur, 26 mètres à sa plus grande hauteur. Le poids du métal est de 1.450 tonnes. Mais elle fut rapidement dépassée, en 1901, par la verrière de Pittsburg (Pennsylvanie). Elle fut pourvue des deux énormes horloges. Ses couleurs d’origine furent le blanc pour les lambris et voliges (fabriqués par Carde à la Bastide) et le bleu pour les parties métalliques.
Au début de la Seconde Guerre mondiale, la gare est fermée pendant quinze jours par l’occupant. La verrière est peinte intégralement en bleu pour la rendre moins visible des bombardiers. Le sous-chef de gare Charles Domercq, chef du réseau « Résistance fer » de Bordeaux, mourra sous les coups de bourreaux après avoir, notamment, sauvé le quartier des bombardement alliés. La mémoire de cette période héroïque sera gâchée, dans les années 90, par deux intox : le « tunnel de la déportation » (qui est en réalité un passage vers un abri anti-aérien), et une pièce située sous la culée du « pont en U », présentée comme criblée d’impacts de balles (alors qu’un examen un peu sérieux montre qu’il s’agit de trous de fixations). Ces deux légendes ont été propagées par des auteurs fantaisistes et ont été reprises sans aucune vérification par plusieurs journaux.
En 1987 la bâtiment et la grande verrière furent inscrits à l’inventaire supplémentaire des Monuments Historiques. Cette inscription sans ambition fut en quelque sorte expliquée récemment par les nouveaux aménagements de la cour, une faute de goût à la fois inexplicable et inexpliquée, qui n’auraient pu être réalisée si le bâtiment avait été classé Monument Historique.
En 1996 les nombre de voies de la gare est augmenté. On disposait des voies 1 à 9 ainsi que 11 (il n’y pas de voie 10). Les voies 12 et 14 sont alors pourvues d’un quai qui prend la place de la voie 13. Ce qui donne au final, les voies 1 à 9, 11, 12 et 14. Soit 12 voies au total.