Duvida sobre mesh colider

Boa tarde gente
estou voltando agora mexer no unity depois de um tempo e muitos falam pra mim "correr" do mesh collider por ser muito pesado

porem estou com uma duvida que ainda assim pode ate ajudar dependendo se eu estiver certo

o mesh collider so começa "pesar" se ele estiver ativo na cena ou so de colocar no objeto e ate deitar desativado ele ja pesa?

porque se ao colocar e ele não pesar estando desativado faria um mapa inteiro praticamente e o manteria desativado mas em um script no player com um circulo de distancia (radius) poderia ativa-lo somente quando player estiver proximo e ao se afastar desativa-lo de novo assim não causando problemas na performance  

mas como eu disse minha duvida é ... ele pesa so estando em cena desativado ou somente ativado?

Se algo está desativado, não tem porque entrar no pipeline de cálculos da FixedUpdate, logo, em teoria nao deve pesar.
E sobre o que te disseram, nada é conclusivo. Faça testes pra ter certeza se usar mesh collider na sua cena vai causar algum impacto negativo ou não. 
As vezes o cara ouviu de um cara que um componente x é pesado, ele demoniza o componente e não usa acreditando que vai ferrar com o jogo, e ainda passa o medo pra frente...

Comentário do Fagner:

Concordo com o Fagner sobre seu ponto de vista: se um objeto está desativado, não tem porquê ele pesar no processamento. Sobre o Mesh Collider, ele deve ser mais pesado que um Box Collider se o objeto em questão tiver muitos "Triângulos". O ideal seria você estudar a melhor opção de colisor para cada objeto: se for um jogador, usar o Capsule Collider pois não vai ter erros com degraus e a estrutura ficará perfeita, se for um cubo, usar o Box Collider e por aí vai..

Mas o melhor mesmo é você cuidar de todas as áreas que possam atrapalhar na performance, como os Scripts: havia um projeto que quando peguei, rodava à 120~200FPS quando eu atualizei os scripts (otimizei), a gameplay começou à rodar à +-2000FPS..

O Mesh collider é pesado em 2 situações:

1 - Com malhas muito complexas onde ele assume muitos triangulos
2 - Quando você fica ativando e desativando um objeto que possui MeshCollider (que é o que você quer fazer).

O ideal é: Se da pra usar BoxCollider ou SphereCollider, use... Se não der, ou se o meshCollider ficar muito melhor, então parta para o MeshCollider.

Ele é leve de modo geral, só não fique ativando e desativando ele, por que ai vai pesar.