潜山二中前身为潜山初级师范学校，创办于1956年1月。后因师范停办，1961年8月至1968年7月改为潜山中学高中部。文革期间停办，校舍充作县电机厂和百货公司仓库。1977年7月辟原址为“潜山县第二中学”。1984年学校改制为安徽省天柱高级职业中学。1993年5月，恢复普通高中建制，校名为“潜山县第二中学”。
学校坚持以“以科学的教育震撼心灵，以顽强的学习铸就人生，以民主的管理谋求发展，以骄人的业绩回报社会”为办学理念，以“砺志、修身、博学、笃行”为办学宗旨，以“团结、文明、开拓、创新”为校园文化精髓，坚持“以人为本”的发展观，最大程度地营造发展环境，最大限度地发挥教育资源，最大效益地满足社会需要，凭着敢为人先的气魄，饱经沧桑的智慧，不甘后人的意志，博爱平等的力量，精心雕琢着自己的品牌。
潜山二中2001年率先在全县建造全市一流的科技馆，并添置达到国家一类标准的电化教学设备和先进的物理、化学、生物、信息、天文、艺体等教学设置，为学校的发展奠定了基础。2002年率先在全县实施远程教育，与北大附中共同建成远程教育示范学校，填补了全县远程教育的空白。2003年率先在全县提出申办市示范中学并成功晋升，从而带动全县普通高中办学水平实现了跨越式发展。2004年教学成绩取得历史性突破，率先在全县教育系统走出国门，实现了“内强素质，外树形象”的办学阶段性目标。
学校为教师的全面发展和事业成长搭建宽阔轻松的平台，鼓励教师走出校门、走向各地，教育教研蔚然成风。在县、市、省、全国各地都有二中老师取经的足迹，学习的身影，交流的声音；在市、省、国家级刊物上都有二中老师新颖的观点，独到的见解，智慧的经验。学校形成了一支以中青年骨干老师为主体、教育教学艺术精湛的师资队伍，现有国家级骨干教师1人，省级骨干教师3人，高级教师61人，一级教师28人，并有省、市、县级教坛新星和省市优质课奖获得者20余人。教师在国家级、省级教学刊物上发表论文200余篇。
学校教学成果斐然。高考成绩稳步上升，应届生高考达线率连续五年名列前茅，其中1997年、1998年应届本科达线率均为全县普通完中第一，2000年居全县第二。2004年高考本科达线人数首次突破百人大关。有大批学生被北京大学、中国科技大学、中国人民大学、南开大学、同济大学、复旦大学、上海交通大学等名校录取。中考成绩连年上台阶：1999年进入县十强；2000年中考达线率跃居全县第二，完中第一，其中桂玢同学以671分获“中考状元”；2002、2003年中考综合评比均获全县第二名。学生参加国家、省、市级学科竞赛获奖有520人次，其中国家一等获1人，省级特等奖1人、一等奖2人、二等奖4人，在报刊上公开发表习作200余篇。学校获得“优秀教学成果奖”。
潜山县第二中学坐落于梅城镇后东街，校园占地面积33037平方米，校舍建筑面积18000平方米，绿化面积5000平方米。现有初、高中教学班32个，师生员工2200余人，图书馆藏书达50000册。学校教学区、生活区、运动区布局合理，有男、女生公寓3幢，标准水泥篮球场2个，体育司令台1个。2003年12月晋升为安庆市市级示范性普通高中。
现学校占地面积33037平方米，建筑面积20000平方米，绿化面积达3000平方米。图书5万册。现有教学班28个，其中初中班5个，高中班23个，学生1851人，106名教职员工（其中专任教师82人）。中学高级教师43人，中学一级教师47人。
几年来，该校专任教师中，有一人评为省级教坛新星，2人评为市级教坛新星，12人评为县级教坛新星，1人获省优质课三等奖，5人获市级优质课一等奖，69人获国家、省、市、县级学生竞赛指导奖，有12人为省、市、县优秀教师，1人为县劳模，市人大代表2人，县人大代表1人，县政协委员3人，其中常委1人。
目前，该校受市级表彰的班级体有6个，受省级、市、县表彰的学生有93人。在1999年、2002年省、市、县读书活动中，有一名学生获省演讲比赛一等奖，有3名学生荣获市演讲比赛二等奖，有8名学生荣获县演讲比赛二等奖，有10名同学获县征文比赛一、二、三等奖。
几年来有6个被评为市级先进集体，2人评为省“三好学生”，1人评为省级优秀共青团员，50人评为市级“三好学生”，40人评为市优秀干部。