a czy mogę zatrzymać wadium wykonawcy którego oferty nie wybrano

Możesz, przecież ta sankcja nie dotyczy tylko i wyłącznie wykonawców którzy składają oferty najkorzystniejsze.

Analogiczne stanowisko zostało również zaprezentowane w wyroku Sądu Najwyższego z  7 listopada 2012 r. (IV CSK 121/12). Sąd wskazał, że ?w świetle art. 46 ust. 4a przez niezłożenie dokumentów (lub oświadczeń) należy rozumieć nie tylko bierność wezwanego wykonawcy, czyli sytuację, w której wykonawca w ogóle nie składa żadnego dokumentu, ale również sytuację, w której wykonawca składa dokument (oświadczenie), z którego jednak nie wynika potwierdzenie spełnienia warunków udziału w postępowaniu lub spełnienia przez oferowane przez niego dostawy, usługi lub roboty budowlane wymagań określonych przez zamawiającego. Do innego rozumienia tego  przepisu nie prowadzi również jej sankcyjny charakter, a także cel, którym się kierował ustawodawca, wprowadzając tę regulację. Wykładnia powołanego przepisu przez przyjęcie, że chodzi wyłącznie o stan bierności wezwanego wykonawcy, w niczym nie zapobiegnie zmowom cenowym".