Né en 1933 à Shanghai, le physicien obtient un doctorat en génie électrique à l'Imperial College de Londres en 1965. À cette époque, il travaille déjà avec George Hockham pour le Standard Telecommunication Laboratories où il étudie la fibre.

En 1966, ils montrent que les impuretés dans le verre réduisent considérablement l'efficacité des fibres optiques, entraînant d'importantes pertes sur une distance de quelques mètres seulement. Pour les deux scientifiques, un matériau pur permettrait de passer à de (très) longue distance. L'avenir leur donnera raison.

« La communication en réseau haut débit fait désormais partie intégrante de notre vie, et nous le devons en grande partie aux découvertes révolutionnaires du professeur Charles Kao dans ce domaine » expliquait le recteur de l'université chinoise de Hong Kong en 2009. La situation est la même 10 ans plus tard.

En 2009 justement, il a été récompensé par la plus haute distinction en physique : un prix Nobel « pour ses découvertes révolutionnaires sur la transmission de la lumière dans les fibres utilisées pour la communication optique ».

Il partage pour moitié cette prestigieuse récompense avec Willard S. Boyle (¼) et George E. Smith (¼) « pour l'invention d'un circuit d'imagerie à semi-conducteur, le capteur DCC [dispositif à couplage de charge] ».

Son décès le 23 septembre a été annoncé par la fondation portant son nom sur la maladie d'Alzheimer, dont il était atteint. Il avait 84 ans. Un hommage lui est rendu par le magazine IEEE Spectrum édité par l'institut des ingénieurs en électricité et électronique (IEEE).