小山是枥木县南部、东京都市圈铁路走廊以北的重要铁路枢纽。该市只有一个主要城际火车站——小山站,所有主要客运服务均由JR东日本运营。小山的铁路地位来自东北新干线与宇都宫线、水户线和两毛线在此交会。
从小山出发的列车包括用于长距离南北旅行的东北新干线列车、宇都宫线上的JR东日本区域列车、向东前往西茨城各地的水户线列车,以及向西前往关东地区群马一侧的两毛线列车。小山站是该市高铁和区域列车车票的主要火车站。
从小山出发的铁路线向南通往东京、上野和大宫,向北通往宇都宫、福岛、仙台和东北地区,向东通往结城、下馆和水户,向西通往栃木、佐野、足利和前桥。可在Rail Monsters在线预订往返小山的列车。