JFA's halvbror Heinrich Scharffscher er kommet fra Tyskland til Bergen, han er blitt ansatt og jobber nå som dreng. Det  er meget mulig at JFA eller Johan Philip har hatt kontakt med hjemtraktene etter at de flyttet til Norge.

Alt i 1821 ble Johan Friedrich Albrecht valgt til "Oldgesell". Det vil si at han ledet gesellauget og var deres representant utad. Han ble da også valgt til å styre laugkassen. Kassen var i underskudd, om han ordnet opp i de økonomiske forholdene er foreløbig uvisst.

Skipene som ankommer Bergen har ofte med seg mye “krydder” som de
bytter mot tørrfisk. JFA  er en av dem som administrerer varene på Bryggen
og får derfor klengenavnet “Peppersvenn”. Å gifte seg var bannlyst, ville han
satse på en karriere i handelshuset, burde han leve i sølibat.
Det hanseatiske kontor hadde riktignok, allerede mot slutten av 1600 tallet,
opphevet forbudet mot at kjøpmenn og andre ansatte skulle ha noe som helst
fast forhold til en kvinne, men holdningene levde videre.
Dette er nok forklaringen på hvorfor Johan Friedrich Albrecht ikke ble gift i
denne perioden.

Halvbroren Heinrich Scharfscher tar geselleksamen i 1835.

Det hanseatiske kontor som etter 1754 ble endret til Det norske kontor, hadde sin egen grunnlov. Den kom ikke inn under by eller landslov. Oppstod det en konflikt dem i mellom, feks. i handelshuset Gullskogården, var det naboretten som dømte. JFA var nok også involvert i slike saker siden naboretten besto av tre oldgeseller. Var det en konflikt som involverte et eller flere handelshus, måtte også to av huseierne på Bryggen være med itillegg til de tre oldgesellene, som domsmenn.

Det som er sikkert er at innbetalingene til Gesellauget ble kraftig redusert i årene som fulgte. Laugskassen tjente, frem til 1837, blant annet som sykekasse for gesellene.
Dårlig inntjening gjorde at denne goden falt bort, og lauget ble mer som en selskapsklubb, med festlige sammenkomster en gang i måneden, men kun når det var mørkt og kaldt ute, dvs. i løpet av vinterhalvåret. De har med seg alt de trenger, mat, drikke, ved til peisen, lys til lysekronene og stakene.
Møtestedet var skjøtstuen i Dramshusen. Der drakk de øl, og underholdt seg med høytlesning fra Snorresaga og Holbergs komedier, som ble lest av flere personer, hver i sin rolle. De sang til handorgel eller munnspill. Kortspill hørte også med til underholdningen.

Johan Friedrich Albrecht ble i lauget frem til 1842.