这个问题，要从演义和正史分开来解释。
第一，按《三国演义》来看，黄忠年轻时不出名，是因为英雄无用武之地。《三国演义》第八十三回“战猇亭先主得仇人守江口书生拜大将”中的说法，黄忠在章武二年中箭阵亡，其年75岁。章武二年为公元222年，以此而论，黄忠当生于公元147年。而黄巾之乱发生于公元184年，此时黄忠已经37岁，年近不惑。但黄巾之乱时主要战场并非荆州襄阳一带，反而相对于中原来说比较安全，当时许多人前往荆州避难。故而在汉末群雄割据的时代，黄忠没有崭露头角的机会。而且，以演义描述的黄忠在长沙城破后的表现来看，他的性格较为忠直，刘表又是和袁绍一路货色，外宽内忌，有才而不能用。所以，黄忠也不可能得到刘表的重用。
第二，按《三国志》来看，黄忠可能并不是老将，也就不存在年轻时不出名的问题。《三国志·黄忠传》中并未记录黄忠年龄，只说明了黄忠是在刘备进位汉中王的第二年去世的，即公元220年，演义明显于此不符。跟随刘备前，黄忠在刘表账下为中郎将，与刘表从子刘磐共同守卫长沙。而刘磐在正史中根本没有详细记录，只在《三国志·太史慈》传中有一条记录，“刘表从子磐为寇骁勇，数为寇於艾、西安诸县。策於是分海昬、建昌左右六县，以慈为建昌都尉，治海昬，并督诸将拒磐。磐绝迹不复为寇。”但此处又无明确的时间点。而《三国志·黄忠传》又记载，“忠常先登陷陈，勇毅冠三军”，参考《三国志》其他有类似冲锋陷阵的将领，如典韦、许褚、乐进等，相关记录皆为壮年之时，且正史中关羽压根没说过“大丈夫不与老卒为伍”的话，只是刘备加封前后左右将军时，诸葛亮说过：“忠之名望，素非镭、马之伦也。”所以，在正史中，黄忠可能不是年龄名显高出关张等人的老将。
黄忠在后世多以勇猛的老将形象出现于各类文学艺术作品中。《三国演义》里，刘备称汉中王后，将其封为“五虎上将”之一，而黄忠的名字在中国也逐渐成为了老当益壮的代名词。
人物生平
早年经历
初平三年（192年），荆州刺史刘表出任荆州牧。黄忠被刘表任命为中郎将，随从其侄刘磐驻军长沙攸县（今湖南攸县）。黄忠像
建安十三年（208年），曹操挥师南下，刘表病死。曹操降下荆州后，以黄忠代理裨将军，仍然在长沙郡仕官，归长沙太守韩玄统属。
建安十四年（209年），刘备与孙权组成联军大败曹操军，曹操北归。刘备趁机占领荆州，率领赵云等南征长沙四郡。黄忠跟随韩玄向刘备投降。
收川立功
建安十六年（211年），刘备经益州牧刘璋部下法正作向导，进驻葭萌关（今四川广元），黄忠随军行进。
建安十八年（213年），刘备与刘璋决裂，黄忠与卓膺率兵自葭萌关向成都进兵。刘备先引兵到关中，后与黄忠军队会合。黄忠在战斗中，常冲锋陷阵，勇毅冠绝三军，一路攻到涪城。刘璋派遣部将刘璝、冷苞、张任、邓贤等前来阻挡，都被击败。黄忠追随刘备进攻绵竹，绵竹守将李严、费诗等先后投降。
建安十九年（214年），黄忠随同刘备率军进围成都。数十日后，刘璋投降。刘备进入成都后，论功行赏，任命黄忠为讨虏将军。
定军扬威
建安二十三年（218年），刘备进驻阳平关（今陕西阳平关），在汉中与曹操军队对峙。黄忠随同刘备出征。
黄忠像
建安二十四年（219年），刘备率军与夏侯渊交战。当时，夏侯渊派张郃去守护东围鹿角，自己率兵守护南围鹿角。张郃的军队在东围鹿角遭遇刘备的进攻而作战不利，夏侯渊便派兵去救张郃，以至于跟随夏侯渊在南围鹿角的曹军将士仅剩四百人，但这四百人都是曹军精锐。黄忠推锋必进，劝率士卒，金鼓振天，欢声动谷，将夏侯渊斩杀于南围鹿角。曹军失去主帅，军中扰扰，三军皆失色。黄忠趁机进攻曹军大营，大败曹军。同年，刘备称汉中王，任命黄忠为后将军，赐爵关内侯。