Lengst nord i Klevavatnet, eit par hundre meter frå Klevabrui, kryssar Rallarvegen eit nes før han svingar opp mot vegtunnelen under jernbanelina. Her er framleis spor å sjå etter rallarane – fleire grunnmurar etter bygningar der dei budde, nokre av dei som bygde Klevabrui i åra 1902-06. Andre heldt til i ein bygning ovafor vegen, nærare jernbanelina. Den vart seinare banevaktarbustad.
På den eine tufta stod ei brakke der det budde 16 mann – og ei kokke. Her var også ein butikk som forsynte anleggskarane med varer, både dei som budde i Kleven og dei som heldt til i andre brakker i denne delen av fjellet.
Då brua var ferdig og skjenegangen lagd, vart bygningane rivne, men vaktarbustaden stod til i 1978. Han låg ikkje langt frå fylkesgrensa. Her budde to banevaktarar med koner og born. Han som budde i nordenden hadde ansvar for nokre kilometer av linestrekninga nedover mot Myrdal og skatta til Aurland. Den andre, som budde i sørenden, kontrollerte lina oppover mot Hallingskeid og skatta til Ulvik.