Roku 1817

byl upraven volební řád v souladu s ústavní chartou, byl uveden do pořádku rozpočet a proběhla reforma armády. Vládě se podařilo dosáhnout odvolání okupačních posádek a obnovit postavení Francie mezi evropskými mocnostmi. V doplňovacích volbách roku 1818 zesílil vliv liberálů. Zároveň však sílili doktrináři a rostl vliv republikánských radikálů.
Tlak reakce zesílil, když byl roku 1820 zavražděn vévoda z Berry, synovec krále. Naneštěstí pro Francii se tak politika smíření, o kterou vláda usilovala, stala nemožnou. Ultras ihned obvinili Decazese. Ludvík XVIII. byl vystaven hněvu a slzám své rodiny a nemohl už udržet Decazese u moci. Vrátil se vévoda de Richelieu, tentokrát podporovaný krajními, což ho odsuzovalo k tomu, aby dělal jejich politiku. Nastalo období nového „bílého teroru“, období tzv. třetí restaurace. Nepřijatelné výjimečné zákony postihly svobodu tisku a svobodu osobní.