Você faz menção a duas passagens bíblicas: Deuteronômio 2,20 e 1Samuel 17.

A primeira passagem que você cita, fala dos refains, que Jerônimo, na Vulgata, traduz como "gigante". A maioria das versões não usa o termo "gigante"(a Almeida normalmente usa "gigante", mas não a "Revista Atualizada", que utiliza "refains"). O mesmo termo é repetido outras 20 vezes (Gênesis 14,5; Deuteronômio 3,13; Josué 15,8; etc).
Passagem significativa para entender quem eram esses gigantes encontramos em 2Samuel 5,18: Os filisteus vieram, e se estabeleceram no vale de Refaim. Desse texto podemos deduzir que os refains eram os habitantes do Vale de Refaim. É interessante notar que o mesmo vocábulo hebraico, em Isaías (14,9; 26,14 e 26,19), em Provérbios (2,18; 9,28 e 21,16) e nos Salmos (88,11) quer dizer "mortos".
Quem habitava o vale de Refaim eram os Filisteus, os que ocupavam a terra de Israel, sobretudo a região de Israel próxima ao Mediterrâneo, quando os hebreus chegaram na Terra Prometida.

A segunda passagem que você cita tem uma ligação com os filisteus. Davi luta com um gigante. Esse gigante nada mais era do que um filisteu, provavelmente um dos seus guerreiros forte. O texto diz: Saiu do acampamento filisteu um grande guerreiro. Chamava-se Golias, de Gat. A sua estautra era de seis côvados e um palmo.
Essas medidas podem ser traduzidas em números atuais. Existem duas versões para a medida de um côvado: uma diz que é igual 52,2 centímetros e outra diz que equivale a 46 centímetros. Um palmo é igual a um sexto de côvado, fazendo as contas, Golias podia ter 3,2 metros ou 2,85 metros.

Provavelmente, como já dito acima, os "gigantes" em questão são apenas gente desconhecida, que metia medo. Pode ser que tinham uma altura acima da média, mas com certeza eram homens como os próprios hebreus.