Esta é uma reflexão e uma busca muito importante. É verdade que podemos tranquilamente ler os textos bíblicos sem buscar os significados dos nomes, os contextos que rodeiam o texto que estamos lendo. Todavia a busca desses elementos enriquece muito a nossa leitura e nos aproxima mais à mensagem que o Autor Sagrado quis trasmitir. É muito importante nos informar sobre o texto, não para permanecer no texto, mas para conseguir entender toda a mensagem que ele pode transmitir. Esse é o sujeito do estudo bíblico.

Você fala particularmente dos nomes próprios, sejam eles nomes de cidades ou nomes de pessoas. Os nomes, em si, revelam uma mensagem. O significado de Israel, por exemplo, deve ser buscado em Gênesis 32, no episódio que conta como Jacó lutou com um anjo de Deus (ou com o próprio Deus). Depois da luta Jacó tem o seu nome mudado em Israel, que é uma palavra formada por outras duas, pelo verbo "combater" e o substntivo "Deus".

Nabucodonosor é, invés, o nome do rei da Babilônia, grande inimigo de Israel, que conquistou Jerusalém e conduziu o povo para o exílio.

Você pergunta como fazer para conhecer o significado de cada nome. Não há uma regra, exceto aquela de procurar nos diferentes meios existentes. Sem dúvida internet representa uma riqueza muito grande. Se você digita "Israel" em Google vai encontrar muitas informações. Com uma leitura crítica, na rede podemos aprender muito. Se, invés, quiser fontes mais seguras, há bíblias muito bem editadas, com notas de rodapé, que ajudam muito. O passo mais radical é ler um comentário exegético a cada particular livro bíblico.

Nós também temos aqui no site um instrumento útil, um dicionário de nomes. Infelizmente é em inglês. Mas você pode se ajudar com um tradutor On  Line, como google translator.