No quiero salir con los amigos de mi novio

Quiero saber su opinion. Tengo una relacion de 4 años con mi novio, en la que normalmente va bien; sólo podemos vernos los fines de semana. El problema que tengo es que el quiere que me lleve bien con sus amigos, aunque yo no me siento del todo comoda estando con ellos. No es que me caigan mal, y los conozco de la escuela; pero simplemente no tengo deseos de estar con ellos. No me molesto por que salga con ellos en lugar de estar conmigo. Pero él se molesta cuando me niego a salir con sus amigos; y cuando llego a ir no tengo tema de conversacion y solo me quedo callada. Le he dicho que yo tengo mis propios amigos y que no necesito los suyos, a lo que él contesta que no quiere tener dos vidas y combinar el mundo de sus amigos y su novia. No se si sentirme asi esta mal, o si deberia salir con ellos para darle gusto.