早在4万多年以前，住在塔岛上的塔斯马尼亚人和分布于整个大陆的澳大利亚人，就已成为澳大利亚大陆最早的主人。
在没有高等哺乳动物的澳洲大陆上，人类是不可能从当地繁衍发展而来，那么这些远古的澳洲土著人是从哪里来的呢？这个问题，学者们长期以来一直在探索，并提出种种设想。有人认为土著居民是非洲黑人的后代，有人认为是大洋洲古代居民的残余，也有人认为澳大利亚土著居民来自亚洲。
1884年在澳洲东部的塔尔盖地方，发现第一个澳大利亚的人类头骨；1925年在南部的柯赫那城附近，发现了第二个人类头骨；1940年在墨尔本城西北的凯洛尔地方又发现两具距今1万多年的人类头骨。这些头骨的主人同现代澳洲土著人有着亲缘关系。考古学家还发现，凯洛尔人的头骨同1889年在印度尼西亚爪哇岛上发现的瓦贾克人头骨有许多相似之处。在体型特征上，澳洲土著人同东南亚的维达人种类型较为接近。从牙齿的大小变异来看，澳洲土著人同亚洲居民的也很密切。这一切似乎表明，澳大利亚土著居民同亚洲，特别是和东南亚地区，有着密切的历史渊源！
距今100万年的新生代第四纪更新世晚期，全球曾进入冰期气候。当冰期达到高峰时，地表堆积大量冰雪，导致海面下降，加上激烈的地壳运动，引起一些岛屿暂时的连接和分离。当时，在亚洲大陆和澳洲大陆之间，出现了一片断续的陆桥，它从马来半岛，经苏门答腊、爪哇、加里曼丹和帝汶岛，一直延伸到澳洲西北部沿海地区，这就为远古时亚洲居民向澳洲迁徙创造了有利条件。大约4万年前，亚洲人驾着木筏，趁西北季风之便，一程一程地、陆陆续续地从东南亚来到了新畿内亚岛和澳洲大陆沿岸。以后又沿着东西海滨地区和河道，由北向南辗转流浪，逐渐扩散到了整个澳洲大陆，直至塔斯马尼亚岛。但也有学者认为，塔斯马尼亚人在人种类型上更接近大洋洲的美拉尼西亚人，因此塔岛土著人可能不是经由澳洲大陆，而是从美拉尼西亚群岛的新喀里多尼亚岛漂流到塔岛上去的。冰期过后，海面重新上升，新畿内亚岛被海水切断，澳大利亚土著人就和其它人类断绝了联系，独立繁衍，同时塔岛上的土著人也被巴斯海峡所阻断。
澳洲土著居民定居后，虽然经历了数万年的漫长岁月，但其社会生产方式和社会制度都没有多大变化，基本上仍处于原始社会的状态。与世界其它文明民族相比，落后很多。这是由于澳洲孤悬于大洋之中，同具有较高科技文明的其它民族和周围世界完全隔绝，难以吸取世界先进国家的科技文化。加上澳洲气候温和，资源充沛，又无猛兽之虞，依靠简单的狩猎采集活动即能维持生存，这就限制了他们发展生产力的迫切性。但他们在生产斗争和适应自然环境的过程中，还是开拓了这块幅员辽阔的疆土，形成了自己的种族类型和语言，创造了独特的土著文化。
在18世纪欧洲人到来之前，澳洲土著居民约有30万，分为500多个部落，过着相当于中石器时代原始人的生活。有许多部落现已不复存在，有的也已濒临绝迹；塔岛土著居民约4-5千人，迄今已全部灭绝。。
殖民者在开拓与发展过程，曾经伴随着对澳洲土著人的排挤和屠杀。当澳洲大陆还只是英国罪犯流放地时，欧洲人和土著人之间还未发生剧烈的冲突。随着养羊业的发展，为了扩大牧场，欧洲人不断侵占土著人的狩猎区，将他们从肥沃的沿海地区赶向荒凉的贫瘠地。当时土著居民还不懂畜牧，也还没有私有观念。因此常把殖民者的绵羊作，有时还故意抛撒一些有毒食物，让饥饿的土著人吃了中毒死去。于是矛盾升级，群殴械斗事件不断地发生。直到19世纪30-40年代，英国政府在人道主义者的呼吁和压力下，曾采取措施对土著居民加以适当的保护。1838年英国政府下令新南威尔士总督吉普斯将菲利普港地区划为4个区，每区任命一名传教士担任土著居民保护人，保护他们不受白人的欺压。但是这一措施并没有能够挽救土著居民的厄运。直到19世纪末，整个澳洲大陆仅剩下约6万名土著人，其中不少是混血种。
1901年联邦成立后，殖民当局名义上对土著居民实行“保护”政策，建立保护机构，拨款帮助土著居民，宗教团体也向他们提供粮食和衣物，接纳部分儿童上学，其实土著居民并未享受到土地主人应有的地位和权利。按联邦宪法规定，联邦或各州的土著居民，均不计入人口统计总数以内，他们不属于澳大利亚联邦公民，没有选举权。土著工人比白人的工资低很多，而且被禁入大城市。在种族歧视政策下，纯种的土著居民不断减少，到20世纪20年代下降到6万人，40年代只剩下4万余人。与此同时，混血种的土著居民人数则有上升的趋势。
20世纪30年代起，澳洲政府开始对土著居民实行“同化”政策，其实质是要他们放弃传统文化和生活方式。但是，土著居民仍坚持自己的宗教信仰和生活方式，并成立各种团体抗议政府的“同化”政策，他们的行动得到进步人士和人道主义者的同情和支持。
二战后，澳大利亚政府的土著政策有了某些改进。1949年3月，联邦议会通过新选举法，允许新州、维州、南澳和塔岛四州的土著居民参加联邦议会的选举。1962年3月，这一权利又扩大到昆土兰、西澳州和北领地。同时对土著居民的医疗、保健、住房、教育和技能培训等方面的开支也不断增加。
从50年代起，土著居民人口开始回升，到60年代已达10万人，其中不少人移居城市。随着就业和受教育机会的增加，土著居民的自强意识大大增强，他们要求改善劳动条件、增加工资、消除种族偏见和归还部落领土。1969年，澳洲土著代表团向联大秘书长递交澳洲土著状况的报告。在国际民权运动特别是美国黑人民权运动的影响下，澳洲白人的种族偏见到60年代也有所削弱，越来越多的人批评无视土著居民自己选择生活方式的权利的同化政策。1967年，联邦的民族政策又有进一步的发展，从原先的歧视和“同化”政策转为“一体化”政策，其要点是承认土著居民有权保留自己的种族特征和生活方式，有权决定自己的未来。其政治地位进一步改善，虽然他们在各级议会中没有代表，但能享受澳大利亚公民应有的权利和各种社会福利。
目前，澳大利亚土著居民约有20万，占全国人口不及1%，其中约60%住在城市，许多人当上了“白领工人”，与澳大利亚社会已融为一体。为了让土著居民获得更大的自治权，澳大利亚政府设立了土著事务部，由土著人任秘书和副秘书，下设全国土著大会，36名会员均为土著居民，它是政府制定土著政策的咨询机构。政府还成立了“澳大利亚土著研究所”，对土著历史、文化、语言等进行调查、整理和研究。
多年来，土著居民一直要求政府归还他们的土地。政府试图通过立法归还或让予一部分公有土地。1976年政府颁布了澳北区的“土著居民土地法”，决定在荒凉的澳北区拨给土著居民部分土地。到1981年，土著居民拥有的土地已占全澳总面积的10%。
为了扩大就业，政府制订了全国土著人就业战略规划，1980年成立了由10名土著人代表组成的“就业发展委员会”。同时，政府每年拨巨款帮助土著建造居所，发展卫生保健和文教事业。到80年代初，全澳已有18所由政府资助的土著居民医疗机构，400多名土著医生、500多名土著教员、3000多名土著大学生。还在不少学校推行双语言、双文化教育，鼓励土著儿童学母语。在社会福利方面，土著居民也享有与其他公民同样的退休金和失业金等待遇。
政府还成立土著人艺术局，积极发展土著传统文化艺术和手工艺品。土著音乐家、舞蹈家受到保护，还经常应邀出国演出。土著图案被应用于家具装饰和流行服装上。土著作家、诗人和剧作家已成为一支为繁荣澳大利亚文化的新生力量。