Al loro ritorno dalla stagione londinese a Downton Abbey, i Crowley dovranno affrontare una serie di "cambi della guardia": il maggiordomo Carson passerà le consegne a Parker, mentre la fidanzata di Parker, Daisy Mason, prenderà il posto della cuoca Mrs. Patmore. Ma mentre la transizione fra Daisy e Mrs. Patmore è armoniosa, quella fra Carson e Parker è problematica perché il primo rifiuta di abbandonare il ruolo con il quale ha retto Downton Abbey per decenni. In realtà il passaggio di autorità più delicato rischia di essere quello fra Robert Crawley e sua figlia Mary, pronta a prendere le redini della sontuosa proprietà nello Yorkshire, ma ostacolata da un padre fieramente tradizionalista (benché spalleggiata dalla madre americana Cora), e funestata dall'ostracismo della comunità aristocratica perché ha appena divorziato dal marito, diventando pietra dello scandalo e "paria sociale".
Inoltre il fratello di Lady Cora, Harold, ha sperperato quasi tutto il patrimonio di famiglia, e Sir Robert rischia di dover vendere l'amata Grantham House. Su tutti aleggia il fantasma della matriarca Violet Crawley, la cui morte nel film precedente ha anticipato di poco quella reale della sua interprete, Dame Maggie Smith.
La parola chiave in questo terzo episodio cinematografico della serie Downton Abbey è "cambiamento": tutto si sta modificando nella vita degli abitanti del maniero, e anche i confini fra quei "piani alti e sottoscala" che ha costituito l'ossatura narrativa non solo di questa serie, ma appunto della celebre Upstairs Downstairs del 1971 e del film Gosford Park di Robert Altman, sono diventati permeabili.