Futbola İstanbul Amatör Kümesi'nde başlayan Şen Yaylaspor'da ünlü oldu. 1962 yılında İstanbulspor'a, 1965 yılında da, Fenerbahçe'ye transfer oldu.

Oynadığı futbolun sertliği ile dikkatleri çeken Şen, bu oyunu nedeniyle, "Jilet" lakabıyla tanınırdı. Fenerbahçe'de beş kez lig, iki kez kupa şampiyonluğu kazanmasında, oynadığı güzel futbolla pay sahibi olmuştur. Fenerbahçe'nin Milli Takım'a da kazandırdığı sayılı isimlerden biri olan Yılmaz Şen, 18 kez A milli formayı giymiştir.