Eu mesmo tenho um bocado de conhecimento linguístico por conta do tempo que estudei Letras e outros idiomas (como espanhol, esperanto, francês), mas, quando me pedem para falar sobre esse tema, eu muitas vezes incluo esses sons de preenchimento por não consiguir encontrar as palavras certas e uma boa organização do meu pensamento. Eu tenho profundidade sobre a coisa, tenho vocabulário, mas ainda assim me é um desafio falar sobre ela.
Além de que há os casos em que não usamos como sons de preenchimento, como conectivos propriamente, pois já começamos a frase com eles, como quando vamos ao mercado e pedimos alguma coisa:
"Ehhhhhh, eu queria o produto tal"...
"Ehhh, vou pagar com o cartão". Isso sim é um vício. Isso sim merece ser cortado, porque nada acrescenta ao discurso.