Поселок Ольховатка был основан в 1702 году как хутор. В 1721 году упоминается как слобода с церковью. По ревизской сказке 1747 года в Ольховатке, принадлежащей полковнику И. И. Тевяшову, насчитывалось 1048 душ мужского пола. В 1779 году слобода имела 286 дворов и каменную Введенскую церковь. Планировочная структура слободы сложилась под влиянием рельефа и основных транспортных магистралей, т.к. располагалась «на тракте из г. Острогожска на г. Старобельск Харьковской губернии». Ядром слободы являлась обширная торговая площадь с церковью Преображения (построена в 1777 г., перестраивалась в конце XIX-начале XX вв., в середине XX в. перестроена в Дом культуры).
Застройка центра Ольховатки сформировалась в конце XIX - начале XX в. Вокруг главной площади с церковью были сконцентрированы в основном жилые купеческие дома с лавками, в северо-восточной части площади было волостное правление (пер. М. Горького,13). Советская власть в Ольховатке была установлена в октябре 1917 года. В 1928 году Ольховатка стала райцентром.
В 1937 году было начато строительство второго сахарного завода, которое прервала война. С июля 1942 по январь 1943 г. Ольховатка была в оккупации. После освобождения в числе первых объектов был восстановлен старый сахарный завод. 3 февраля 1943 года он дал первую продукцию. Новый завод запустил производство в 1949 году. В его восстановлении принимали участие чешские специалисты.
В 1952 году слобода Ольховатка стала поселком городского типа. В 1982 г. институтом Воронежгражданпроект был разработан генеральный план Ольховатки.
