Har man rätt att använda privata bryggor till följd av allemansrätten?

Vi har en egen brygga vid vår sommarstuga. Det har hänt flera gånger att folk stannat och badat vid bryggan eller lagt till med båt vid bryggan. När vi säger till dem att bryggan är privat svarar de att de ändå har rätt att vara där enligt allemansrätten. Vad gäller?