Основание города Дадли датируется 11 веком, когда здесь на возвышенности появился одноименный замок, следом в окрестностях появляются все новые и новые деревенский дома. Остатки монастыря Святого Джеймса построенного в 12 веке, до сих пор можно увидеть на территории нынешнего города Дадли.
Пик развития города отмечен в 18-19 веках, когда здесь особенно быстро росла промышленность, выбросы дыма и гари в атмосферу превратило город в центр области, которую называли тогда Black Country, британцы считали это город едва ли не самым пагубным в стране, что было вызвано отсутствием хорошей системы канализации и постоянным недостатком пресной воды. Главными отраслями промышленности Дадли были угольная, сталелитейная и металлургическая, текстильная и кожевенная. В 1712 году именно здесь установлен первый паровой двигатель в угледобывающей шахте.
Главным культурным событием конца 19 века было открытие Дома оперы в 1899 году, это здание пострадало от пожара в декабре 1936 году. Позднее в бывшем Доме оперы открыт кинотеатр, в 1990 году пришедший в упадок и закрыт. В конце же 19 века в городе открыт Театр Хипподроум, в 1966 году закрыт, и в основном предназначался для общественных игр в бинго. В 1900 году напротив Дома оперы была построена гостиница Стейшн Хотел.
Город был очень сильно разрушен во время Второй Мировой войны.
Сегодня центр Дадли совмещает в себе современные строения в сочетании с некоторыми сохранившимися домами 18 века, а также постройками второй половины 20 века.
В 2002 году неподалеку от Дадли в соседней деревне Лоувер Джорнал произошло самой сильное за последнее десятилетие землетрясение.
Наиболее интересной сегодня достопримечательностью города считается музей под открытым небом Black Country Living Museum, в котором восстановлено историческое наследие Дадли, а именно инсталирована жизнь шахтерского города конца 19 века. На место музея были привезены исторические здания, в том числе и небольшие коттеджи шахтеров, промышленные здания из красного кирпича.
Ко всему прочему в музее проводятся показы немого кино, есть кузница, паб и старинная трамвайная дорога, здесь можно прокатиться по каналу на катере с паровым двигателем.