Im Gegensatz zum Gehirn befindet sich die nervenzellreiche graue Substanz (Substantia grisea) innen und die die nervenzellfortsätze enthaltende weiße Substanz (Substantia alba) außen.
Die graue Substanz hat im Rückenmarksquerschnitt die Form eines Schmetterlings. Den vorderen, breiteren Flügelteil nennt man Vorderhorn (Cornu anterius, bei Tieren Cornu ventrale), den hinteren, schmaleren Teil Hinterhorn (Cornu posterius bzw. dorsale). Im Bereich des Thorakal- und Lumbalmarks befindet sich zwischen Vorder- und Hinterhorn das kleinere Seitenhorn (Cornu laterale). Die beiden Schmetterlingsflügel werden durch eine Querverbindung (Commissura grisea) miteinander verbunden. In der Mitte der Commissura grisea verläuft der Canalis centralis, der mit Liquor gefüllt ist und den inneren Liquorraum des Rückenmarks darstellt. Die graue Substanz kann in zehn Schichten (lateinisch laminae) eingeteilt werden. Die Laminae I-VII befinden sich im Hinterhorn, die Laminae VIII und IX im Vorderhorn. Die Lamina X bildet die Commissura grisea.
In der weißen Substanz des Rückenmarks verlaufen aufsteigende (meist sensible) Bahnen, die zum Gehirn ziehen und absteigende (meist motorische) Bahnen, die vom Gehirn kommen. Ursache für die weiße Farbe ist die Myelinisierung der Neuronen.
Man unterscheidet eine schmale Hintersäule (Columna posterior), in der vor allem die aufsteigenden (afferenten) Systeme liegen. Die Vordersäule (Columna anterior) enthält in erster Linie die Nervenzellen für die Willkürmotorik. In der Seitensäule (Columna lateralis) liegen vegetative Nervenzellen. Außerdem existieren noch Binnenzellen des Rückenmarks. Die Spinalganglien liegen seitlich der Hintersäule segmental im Zwischenwirbelloch und besitzen hauptsächlich Nervenzellen des aufsteigenden Systems.
Die weiße Substanz unterteilt sich in einen Hinterstrang (Fasciculus posterior) mit aufsteigenden Bahnen, einen Seitenstrang (Fasciculus lateralis) mit auf- und absteigenden Systemen und einen Vorderstrang (Fasciculus anterior) mit einem hohen Anteil absteigender Fasern.
Die Bandscheibe (Discus intervertebralis) ist eine flexible, faserknorplige Verbindung zwischen den Wirbeln und gehört damit zu den knorpligen Knochenverbindungen (sog. Symphyse, Symphysis). Da Körpergewebe stets aus dem Material besteht, das für seine Aufgaben besonders geeignet ist, kann man aus der Beschaffenheit der Wirbelsäulenbandscheiben schließen, dass diese, entgegen allgemeiner Meinung, hauptsächlich Zugbelastung und weniger Druckbelastungen standhalten müssen. Beim Beugen der Wirbelsäule oder einer gebeugten Körperhaltung entsteht auf der Gegenseite der Bandscheiben eine enorme Zugkraft, so dass man daraus schließen kann, dass die Dauer der gekrümmten Körperhaltung entscheidend für die Schwächung der Wirbelsäulenbandscheiben sein könnte.
Beim Bandscheibenvorfall (Prolapsus nuclei pulposi, Discusprolaps) handelt es sich um eine Erkrankung der Wirbelsäule, bei der Teile der Bandscheibe in den Spinalnerven- oder Rückenmarkskanal vortreten. Im Gegensatz zur Bandscheibenprotrusion (Vorwölbung) wird beim Prolaps der Faserring der Bandscheibe (Anulus fibrosus) ganz oder teilweise durchgerissen, während das hintere Längsband intakt bleiben kann (so genannter subligamentärer Bandscheibenvorfall). Symptome des Bandscheibenvorfalls sind starke, häufig in die Extremitäten ausstrahlende Schmerzen, oft mit einem Taubheitsgefühl im Versorgungsgebiet der eingeklemmten Nervenwurzel.