上山は、JR東日本ネットワークにある山形県南部の鉄道停車駅です。市の主要な旅客駅は上山温泉駅で、山形新幹線と奥羽本線の両方が乗り入れています。役割は都市部というより地域輸送向けで、上山と山形市、福島、東京、そして山形内陸回廊沿いの町を結んでいます。
上山発の列車には、山形新幹線のつばさ号と、奥羽本線のJR東日本普通列車があります。上山温泉駅では、長距離の指定席サービスと、山形県内の短距離移動向けの普通列車の両方を利用できます。上山には空港連絡鉄道はないため、鉄道利用者は通常、山形や他の地域駅で乗り継いで陸路の移動を続けます。
上山からの鉄道路線は南へ米沢、福島、宇都宮、大宮、東京方面へ伸び、北行きの列車は山形、天童、村山、新庄方面へ向かいます。上山の列車チケットは、山形県内のローカル移動にも、東京方面へのJR東日本の長距離移動にも便利です。上山発着の列車はRail Monstersでオンライン予約できます。