Город Каспи находится у южных склонов Большого Кавказа (у юго-западного подножия горы Тхони), там, где речушка Лехура, стекая с гор, впадает в Куру. От Куры Каспи отделён полукилометровой полосой полей. Через город проходит главная железнодорожная ветка Грузии Самтредиа - Тбилиси.
Каспи считается одним из старейших поселений Грузии. Он упомянут ещё в документах 327 года - тогда, по преданию, на горе Тхони царь Мириан решил принять христианство. Далее поселение совершенно затерялось и практически не фигурировало на исторической арене. Разве что в 15 веке Каспи упомянут как владение князей Амилахвари. В советское время поселение получило статус города (1959 год) в связи с постройкой цементного завода.
Каспи - индустриальный городок. Их достопримечательностей здесь есть только церковь 4 века, памятник Георгию Саакадзе - грузинскому полководцу 17 века, и краеведческий музей. В окрестностях находятся старинный храм Эртацминда (село Ахалкалаки) и руины крепости Амилахвари и замка Схвило (село Квемо-Чала).