村山は、山形と新庄の間にある山形県内陸部を通るJR東日本の鉄道回廊上に位置しています。市内の主要な旅客駅は村山駅で、山形新幹線つばさ号と奥羽本線の普通列車の両方が発着し、地元では山形線として案内されています。
村山を発着する列車には、山形県内の在来線を改良して走るミニ新幹線と、県内の短距離移動向けの普通列車があります。村山駅は、福島を経由して東京方面へ向かう都市間移動の鉄道アクセス拠点であり、地元の列車は最上地域周辺や山形盆地中央部の近隣地域を結んでいます。
村山からの鉄道路線は、南方面では山形、天童、かみのやま温泉、福島、東京へ、北方面では大石田、新庄、そして山形新幹線区間の北端へと延びています。村山の列車チケットは主にJR東日本のきっぷで、つばさ号の多くでは指定席が必要であり、地元の山形線の列車はよりシンプルなきっぷ体系です。村山発着の列車はRail Monstersでオンライン予約できます。