O porte da planta de erva-mate faz lembrar a laranjeira. O caule é um tronco de cor acinzentada, geralmente com 20 a 25 centímetros de diâmetro, podendo chegar aos 50 centímetros.

A altura é variável, dependendo da idade e do tipo de sítio. Podem atingir 15 metros de altura,mas geralmente, quando podadas, não passam de 7 metros.

As folhas (parte mais importante do vegetal) são colocadas de forma alternada nos ramos, sendo do tipo sucoriáceo até coriáceo. Mostram-se estreitas na base e ligeiramente obtusas no vértice. Suas bordas são providas de pequenos dentes, visíveis principalmente da metade do limbo para a extremidade.

O pecíolo é relativamente curto, medindo mais ou menos 15 milímetros de comprimento, e mostra-se um tanto retorcido. A folha inteira mede de oito a dez centímetros de comprimento por quatro ou cinco de largura.

As flores são pequenas e dispostas na axila das 7 folhas superiores. Em relação ao comportamento das flores, a erva-mate é uma planta dióica (ou seja, tem 2 casas ou ambos os sexos).

O fruto é uma baga-dupla globular muito pequena, medindo somente 6 a 8 milímetros. É de cor verde quando novo, passando a vermelho-arroxeado em sua maturidade.

Nesta fase os frutinhos atraem os pássaros que deles se alimentam, expelindo depois as sementes envolvidas em dejeções, o que favorece a disseminação das plantas. O fruto bem maduro compõe-se de quatro sementes pequeninas, apresentando tegumento (casca) áspero e duro.