Йыхви располагается на северо-востоке страны, в 160 километрах от Таллина. На юге граничит с частью Кохтла-Ярве. До сих пор точно не выяснено, откуда произошло название города. Существуют несколько гипотез, по ним название переводится и как «клюква», и «речная вода», и как «конский волос», и даже – «волосатик».
Первое поселение возникло на этой земле в первом тысячелетии нашей эры. Появилось оно на исконном пересечении дорог. О бойкой торговле свидетельствуют доисторические ценности, раскопанные археологами из Йыхвиской возвышенности.
Впервые город упоминается в 1241 году, в датской оценочной книге. Записан он под названием Геви и принадлежал датскому королю.
В 1367 году, после битвы между русскими и немцами была разрушена первая городская церковь. Новую церковь уже построили из камня, а когда в 14 веке к ней пристроили башню с амбразурами, она стала крепостью. Йыхвиская церковь-крепость сыграла важнейшую роль в обороне Эстонии.
1491 год – впервые упоминается мыза (усадьба) Йыхви, с 1617 году она становится частным владением.
В 1782 году город получил очень ощутимый толчок для развития – именно через его территорию стал проходить почтовый тракт Петербург – Таллин. В этом же году в городе построили почтовую станцию, после чего он стал самым важным узловым пунктом, соединяющим Петербург с Европой.
В 19 веке по желанию владельца Йыхви - Игельстрёма, была построена железнодорожная станция (нынче станция Тойла).
В 1918 году город попал под оккупацию германских войск. Длилась она более полугода. За это время в городе проложили тротуары, пронумеровали дома и высадили декоративные деревья.
В 1938 году поселок Йыхви получает статус города.
В 1941 году город был занят немецкими войсками, но оставался практически цел. В 1943 году в Йыхви вспыхнул пожар, уничтоживший практически треть города. После бомбардировки Красной армией появились новые разрушения, но больше всего город изуродовали немцы, при отступлении в 1944 году. Они взорвали здание школы, вокзала, завод, мызу. Подожгли жилые дома в районе железнодорожной станции. В день вступления советской армии взорам солдат предстал практически полностью уничтоженный город, в котором осталось только около ста домов. Из населения в две с половиной тысячи человек в городе остались лишь 800.
В 1948 году открыта первая шахта, проработавшая лишь до 1973 года.
В городе можно посетить Храм Богоявления Господня (1895). В разные годы в храме настоятелями были Роман Танг (впоследствии епископ Таллиннский и Эстонский) и Алексий Ридигер (впоследствии Патриарх Московский и всея Руси). Перед главным входом Йыхвиской церкви еще с давних времен стоит крест покаяния, на котором стояли провинившиеся, не имевшие права приходить на богослужение.
Одна из главных достопримечательностей города – ручные белки-попрошайки, живущие в парке.
А недалеко от Йыхви находится единственный в Эстонии женский монастырь.