Il Pelmo è una montagna molto particolare, perchè si articola in due cime principali che sono il Pelmo vero e proprio, a nord, e il Pelmetto (2.990 m) a sud. Altra caratteristica della montagna si può riscontrare dal versante est dove, essendo in vista l'ampio circo glaciale, appare simile ad un sedile, motivo per cui viene localmente soprannominato al Caregon de 'l Padreterno (il Trono del Padreterno).
Alla sua base sorgono tre rifugi alpini: il Rifugio Venezia-Alba Maria De Luca (m 1.947, a est), il Rifugio Città di Fiume (m 1.918, a nord-ovest) e il Rifugio Passo Staulanza (m 1.766, a ovest).
Il monte Pelmo è noto anche dal punto di vista paleontologico: ai piedi del Pelmetto, a quota 2.050 m, non lontano dal rifugio Staulanza, è stato rinvenuto un masso con impronte di dinosauri, ora il calco è visibile nel nuovo museo civico di Selva di Cadore^.