A Arca da Aliança, muitas vezes mencionada no Antigo Testamento, era uma caixa de madeira de acácia, sobre a qual se colocava o "propiciatório" (Kapporet): uma tampa constituída por uma placa de ouro com dois querubins voltados um para o outro e colocados nas suas extremidades.
A arca continha as "tábuas do testemunho" ou "da lei" que Deus tinha dado a Moisés (Êxodo 25,16; 40,20; 2Crônicas 5,10). Desse modo recorda a presença de Deus no meio do seu povo; Ele se faz presente através da Palavra que deu ao povo eleito, que, ao escutá-la, vive em comunhão pessoal com Deus.
A Arca da Aliança no Templo
A Arca, depois que o Templo foi construído por Salomão, foi colocada no Santo dos Santos (Êxodo 26,34), lugar mais sagrado do Templo, onde, conforme você menciona na pergunta, entrava somente o Sumo Sacerdote, no dia do Kippur.
As andanças da Arca se referem ao período anterior à construção do Templo. Portanto, uma vez que Davi trouxe a Arca para Jerusalém e, tendo seu filho construído o Templo, ela não saiu mais dali.
Antes disso, em Números, a Bíblia conta como a Arca garantia que Deus, no meio do povo, o guiava em direção da Terra Prometida. De fato, ela precedia os hebreus durante a caminhada e quando o povo gridava, a Arca se levantava ou parava (Números 10,33-36):
Partiram, então, da montanha de Javé e andaram durante três dias. Durante todo o tempo, a arca da aliança de Javé ia na frente, providenciando um local onde eles pudessem descansar. 34 Durante o dia a nuvem de Javé ficava sobre eles, desde quando partiram. 35 Quando a arca partia, Moisés falava: «Levanta-te, Javé! Que teus inimigos se dispersem e os que te odeiam fujam da tua presença». 36 Quando a arca estava em repouso, Moisés dizia: «Descansa, Javé, entre as multidões de Israel».
Quando o povo se fixou na Terra Prometida, a Arca foi roubada de Israel (veja 1Samuel 4), até que o Rei Davi a levou para Jerusalém, construindo para ela uma tenda especial, esperando a construção do Templo de Salomão.
2Macabeus 2,4-8 (só na bíblia católica) conta que a Arca, no período em que o Templo de Salomão foi destruído pela Babilônia, foi escondida por Jeremias no Monte Sinai. Não sabemos se essa informação seja correta, mas é verdade que desde o período da invasão dos babiloneses, não se tem mais notícia da Arca.
No Novo Testamento
Na história do cristianismo a Arca se tornou um símbolo. Lucas evoca essa simbologia através da figura de Maria; a sua viagem para encontrar a prima Isabel é uma evocação da viagem que fez a Arca para Jerusalém, sob a liderança de Davi. Maria é a "Arca" que traz Deus ao mundo.
Paulo, na sua carta aos Romanos, faz menção à arca através da recordação daquilo que acontecia no dia do Kippur, dia da expiação, quando o Sumo Sacerdonte entrava no Santo dos Santos e ungia a tampa da arca (propiciatório) com o sangue da vítima. Jesus é o instrumento de propiação através do qual nos chega a redenção (Romanos 3,23-25):
Todos pecaram e estão privados da glória de Deus, mas se tornam justos gratuitamente pela sua graça, mediante a libertação realizada por meio de Jesus Cristo. Deus o destinou a ser vítima que, mediante seu próprio sangue, nos consegue o perdão, contanto que nós acreditemos.