Первые укрепления на местности, занимаемой нынче городом и замком Карнарвон, были отстроены римлянами и называлось это поселение Сегонций. Оно располагалось на берегу в месте впадения реки Сенай в пролив Менай. Сведения о Сегонции заканчиваются 5 веком н.э., когда римлян в Британии уже не было.
В конце XI столетия, во время нормандского завоевания, на месте Сегонция был построен деревянный замок, который в 1115 году захватили валлийцы и вокруг него начало образовываться поселение. В марте 1282 года вновь развязалась война между Англией и Уэльсом, закончившаяся поражением последнего. И в 1283 году по велению английского короля Эдуарда I, валлийское поселение было уничтожено и на его месте начинается строительство каменного замка, проект которого был подготовлен архитектором Мастером Джеймсом из Сен-Джорджа. В период строительства сооружения ему были дарованы городские права и присвоен статус административного центра. Это произошло 3 марта 1284 года, а 25 апреля здесь рождается сын короля – Эдуард II. К 1285 году было закончено строительство городских стен, в самом же замке работы продолжались. Спустя 4 года, финансирование строительства было крайне низким и совсем прекратилось к 1292 году.
В 1294 году против Англии восстали валлийцы, во главе которых стоял Мадог ап Лливелин. Во время этого восстания замок был захвачен и поврежден. Через 11 лет он вновь перешел под власть англичан, которые активно начали его восстанавливать под предводительством архитектора Уолтера из Херефорда. 1300-1304 годы замечены приостановкой строительства, но в 1304 году здесь снова начинаются работы. После смерти Уолтера, строительство было возложено на его преемника Генри Эллертона. Окончательно возведение Карнарвона было закончено в 1330 году, и в таком виде он сохранился до наших дней.
В период с XIV по вторую половину XV веков Карнарвон являлся столицей северного Уэльса. С приходом к власти династии Тюдоров в 1485 году замок теряет свою функцию, что в последующие времена приводит его к запустению, которое продлилось до конца XIX века. С этого времени начинаются восстановительные работы, и сегодня это прекрасное сооружение входит в состав Всемирного наследия ЮНЕСКО.