No cristianismo das origens, esse era um problema que não existia. Não havia casais separados como hoje e quando alguém se convertia, toda a casa era batizada, inclusive as crianças (veja aqui).

O problema que você põe é uma questão pastoral para as igrejas de hoje, principalmente em ambiente católico, onde o batismo das crianças é uma prática comum. O ensinamento católico sobre o batismo é muito claro e explicado no Catecismo da Igreja Católica.

A práxis no mundo católico é de batizar também as crianças de pais separados, pois se julga que ela tem o direito de crescer dentro da comunidade. Todavia cabe sempre ao pároco o juízo sobre a idoneidade de tal batismo, pois, como diz o Direito Canônico (Cânome 868), para uma criança ser batizada na igreja, é necessário que exista a esperança que ela seja educada na religião católica. Se tal certeza fosse completamente ausente, é melhor deixar o batismo para uma data sucessiva, conforme os costumes do lugar (nesse link encontra o Códico de Direito Canônico, que a partir do Cânone 849 fala do Batismo).