Efter detta förblev kopparberget i en mans ägo ända till bondens död, då det övertogs av hans söner. Dessa arbetade gemensamt i gruvan, men den malm, som hade blivit upptagen under ett år, delade de i högar, kastade lott om dem och smälte sedan fram kopparn i var sina ugnar. De blev alla mäktiga bergsmän och byggde sig stora och ansenliga gårdar. Och efter dem tog deras arvingar fatt på arbetet, öppnade nya gruvschakt och ökade malmbrytningen. År för år växte gruvan i betydenhet, och allt flera bergsmän fick del i den. Somliga bodde helt nära den, andra hade sina gårdar och hyttor runt om i trakten. En mäktig bygd uppstod, och denna kallades Stora Kopparbergs bergslag.
Nu är att märka, att den malm, som låg så till, att den kunde brytas oppifrån, som man bryter sten ur ett stenbrott, började ta slut, och gruvarbetarna blev tvungna att söka malmen djupt under jorden. De måste genom trånga schakt och långa, slingrande gångar arbeta sig in i jordens mörka innandömen för att lägga sina eldar och spränga sönder berget. Det är alltid ett tungt och svårt arbete att bryta berg, men därtill kom pinan av röken, som inte kunde leta sig ut i luften, och svårigheten att frakta malmen på branta stegar opp till jordytan. Och ju längre neråt djupet de trängde, desto farligare blev brytningen. Ibland kom starka vattenströmmar frambrusande ur en vrå av gruvan, ibland hände det, att taket i gruvgångarna störtade in över gruvdrängarna. Detta gjorde, att arbetet i den stora gruvan blev så fruktat, att ingen ville ägna sig däråt av fri vilja. Då erbjöds livdömda förbrytare och män, som strök omkring fredlösa i skogarna, att de skulle få tillgift för sina brott, om de ville bli gruvarbetare i Falun.
Under långa tider hade ingen tänkt på att söka efter brorslotten. Men bland de laglösa männen, som kom till Stora Kopparberget, fanns flera, som inte aktade sitt liv så högt som ett äventyr, och dessa började genomströva trakten i hopp att finna den.