Схема из википедии поможет понять:
Через ваше отверстие приходит не один луч, а множество лучей от башни (от источника света падают на башню и отражаются) под разными углами.
Когда отвестие слишком большое, то на стенку в итоге попадает слишком много отраженных лучей (не только от башни, но от всего вокруг) и получается просто светлое пятно. Когда вы делаете ответстие меньшим, то множество лучей отсекается и изображение становится четче. Но если сделать отверстие слишком узким, то из за дифракции изображение опять начнет расплываться.
Кстати, когда люди прищуривают глаза или смотрят через образованное пальцами узкое отверстие и изображение лучше видно, это работает тот же эффект -- отсекаются лишние лучи.