祁门县位于安徽省南部，东北邻黟县，东南接休宁县，西南与江西省相邻，西北与石台县、东至县相连。
祁门县总面积2257平方千米。是安徽省林业重点县，祁门红茶、凫峰绿茶主要产地，境内还有号称“华东最后的原始森林”的国家4a级景区牯牛降景区。
祁门县南北长74.8公里，东西宽59.9公里，呈枫叶形状。地势北高南低，地貌呈中山、低山、丘陵，山间盆地和狭窄的河谷平畈相交织的特征，是一个“九山半水半分田”的山区县。最高峰牯牛降，海拔1728米。
祁门县原为歙州黟县和饶州鄱阳二县地。唐武德五年（627年），析鄱阳县地置新平县，后改新昌，天宝元年（724年）又改浮梁县。永泰元年（765 年），方清起义，于黟县西乡赤山镇设阊门县。
永泰二年（766年），析黟县和浮梁县地，置祁门县。