Впервые Карл Палмер стал известен в возрасте 16 лет в качестве барабанщика группы THUNDERBIRDS одного из основателей британского R&B Криса Фарлоу. Затем он вошел в состав самой крутой психоделической команды из Лондона CRAZY WORLD OF ARTHUR BROWN, протаранившей хит-парады по обе стороны Атлантики своим синглом «Fire» в 1968 (2-е место в чарте Биллборд и 1-е в Британии). Сам же альбом поднялся до 7-й позиции в США и занял 2-ю строчку в Британии. После ее распада Палмер вместе с автором «Fire» Винсентом Крэйном основали в 1970 легенду британского хард-рока ATOMIC ROOSTER. Когда их дебютный альбом штурмовал чарты, Палмер получил приглашение войти в состав одной из первых в мире супергрупп EMERSON, LAKE & PALMER.

Первый же альбом E.L.P. занял в Англии 4-е место, а в Штатах обосновался на 18-м. За три месяца до этого, в августе 1970 E.L.P. произвели фурор на знаменитом фестивале «Isle of Wight», выступая вместе с Хендриксом, The WHO и FREE. Поговаривали о возможном присоединении Хендрикса к группе и даже придумали новое название H.E.L.P., но 18 сентября Джимми умер от передоза. В 1971 E.L.P. возглавили хит-парад с альбомом «Tarkus», поднявшись в Америке до 9-й позиции. В тот же год группа поразила мир живым альбомом «Pictures at an Exhibition» (№3 в Англии, № 10 в США) содержащего классику Мусоргского. Диск стал «золотым» в США, как и следующий опус «Trilogy» (1972): №2 в Англии и №5 в США. Давая по 180 концертов в год, E.L.P. удостоились титула «лучшая группа 1972 года», а после выхода «Brain Salad Surgery» (1973), №2 в Англии и №11 в США, шоу E.L.P. приобрело невероятный размах: 35 тонн квадроаппаратуры, гидравлический подъемник органа, суперсвет и акробатические трюки на сцене с метанием ножей. Апогеем славы стало выступление на фестивале «California Jam» вместе с DEEP PURPLE и The EAGLES перед полумиллионной аудиторией. После выхода живого диска «Welcome Back My Friends» (1974), попавшего в Top5 по обе стороны Атлантики, группа взяла отпуск. Выпустив сразу два концептуальных альбома «Works Vol.1» и «Works Vol.2» и совершив мировое турне в 1977, команда распалась.

Палмер собрал свою группу P.M., записал сольный альбом и в январе 1981 вместе с басистом/вокалистом Джоном Уэттоном (U.K., KING CRIMSON), органистом Джеоффом Даунсом (The BUGGLES, YES) и гитаристом Стивом Хау (YES) стал основателем еще одной супергруппы ASIA, дебютный альбом которой разошелся в количестве девяти миллионов экземпляров и держался в Америке на первом месте три месяца. В дальнейшем Палмер участвовал в записи еще шести альбомов ASIA, а в 1987 вместе с Эмерсоном и Робертом Бери собрали THREE, записавшую альбом «To The Power». В 1989 Палмер опять оказался в составе ASIA и гастролировали вместе с BEACH BOYS по стадионам, но к 1991 Уэттон решает уйти и Палмер получает шанс вновь объединиться со старыми друзьями Китом Эмерсоном и Грегом Лейком. В 1991 состоялся реюнион E.L.P., подаривший поклонникам новый альбом «Black Moon» (1992) и двухлетнее мировое турне. После выхода альбома «In The Hot Seat» (1994), группа поехала в тур только в 1996 и следующие три года провела в совместных гастролях с DEEP PURPLE, DREAM THEATRE, KANSAS и JETHRO TULL. В 1999, после распада ASIA, Палмер вместе с гитаристом Дэйвом Килминстером и органистом Джоном Янгом превратились в группу QANGO, к которой иногда на сцене присоединялся Кит Эмерсон.
После серии туров Палмер вместе с басистом Стюартом Клэйтоном из LEVEL 42 и гитаристом из группы Нила Морза (SPOCK’S BEARD) Полом Беилатовичем создал прогрессив - трио CARL PALMER BAND, исполняющую классику E.L.P., ASIA и KING CRIMSON и собирающую на своих концертах многотысячные аудитории фанов по всему миру.