Huyện Sông Mã nằm kéo dài dọc sông Mã.

Huyện có địa hình bị chia cắt mạnh và phức tạp, có độ cao trung bình 600 m so với mặt biển. Nằm trên khối núi giữa Thuận Châu và Sốp Cộp và dãy núi biên giới Việt - Lào, dãy núi chạy dài theo hướng Tây Bắc - Đông Nam địa hình chia cắt phức tạp, có nhiều dãy núi cao tạo nên hình khe suối khá sâu và hẹp, cố độ cao trung bình từ 1.000 m đến 1.500 m. Độ dốc bình quân 200-300 địa hình hiểm trở, đi lại khó khăn, có độ nghiêng dồn theo hướng Nam xuôi theo dòng Sông Mã, dọc Sông Mã theo hướng Tây Bắc có các khe suối Nậm Sọi, Nặm Công, Nậm Mừ, Nậm Con và Nậm Huổi Tinh; dọc sông theo hướng Đông Bắc có suối Nậm Lẹ, Nậm Ty, Nậm Và, Nậm Phống chảy đổ ra Sông Mã. Như vậy, ngoài ý nghĩa cảnh quan, môi trường sinh thái, quốc phòng, an ninh khu vực, huyện Sông Mã còn đóng vai trò quan trọng trong việc phòng hộ đầu nguồn.

Diện tích đất thuận lợi cho sản xuất nông nghiệp là: 22.545ha chiếm 13,82% tổng diện tích tự nhiên, trong đó đất để canh tác ruộng nước 1.700 ha chiếm 0,9% diện tích đấtnông nghiệp, còn lại hầu hết là đất dốc.

Đất có rừng có 55.814ha chiếm 34%, đất chưa sử dụng 93.364 ha chiếm 57,23% tổng diện tích đất tự nhiên.