История памятника такова. В 1960-е годы в посёлке Шолоховский, что по соседству с городом, образовался кружок юных краеведов, которым руководил педагог-историк Пётр Иосифович Ковешников. Более двух лет ребята трудились над эскизами и чертежами памятника (как в переписке с ними советовал Д. С. Лихачёв – он должен быть простым, из дикого камня). Свои работы они отправили бандеролью в Ленинград. Проекты рассматривались на специальной выставке в Пушкинском Доме; жюри остановилось на таком варианте: трёхметровый откол «степного» камня, который должен стоять на вершине кургана.
Из онежского посёлка Рыбозеро (места, где в 1943-м Ковешников служил разведчиком 88-й гвардейской стрелковой дивизии) в Белую Калитву была доставлена 17-тонная гранитная глыба. В строительстве памятника принимали участие рабочие металлургического, горняки треста «Шолоховскуголь», строители участка «Южтехмонтаж», ленинградские архитекторы. В памятник на вечное хранение замуровали экземпляр «Слова о полку Игореве». Открытие состоялось 6 мая 1970 года.
С Караул-горы открывается панорама восточной части города, широкого, уходящего за поворот Северского Донца и неоглядные заречные дали.

