Компания Castle Acoustic была основана 3 сентября 1973, после того как группа директоров и менеджеров покинула Wharfedale. Компания Wharfedale Wireless, основанная в 1932 году, является одной из старейших и до сих пор активных аудиокомпаний. В значительной степени компания Wharfedale ответственна за становление британского аудиорынка, его развитие и расцвет. В 60-х и 70-х годах компания показала необычайный рост, который изменил методы производства с ручного на массовое. Это отразилось на качестве и внешнем виде акустических систем и стало причиной для основания новой компании Castle Acoustic, получившей свое название и логотип от замка 11-го века, расположенного на севере от компании Wharfedale в Скиптоне.
Соучредители Castle Acoustics, Джон Коллинсон (Quad) и Уильям Эскотт (Wharfedale) решили придерживаться традиций мастерства и квалифицированного конструирования, которые, по их мнению, находились в упадке у других компаний. Уникальность компании Castle в том, что они на своей фабрике производили полный спектр комплектующих для своих акустических систем, разрабатывая и производя все свои динамики, кроссоверы и корпуса. При изготовлении корпусов компания использовала девять различных типов деревянного шпона с собственных плантаций, хранящихся при определенных температуре и влажности. Другие производители часто заказывали у них корпуса для своих динамиков.
Первые акустические системы в 1973 году были представлены серией Richmond, Kendal, Conway и Howard