根据资料，我国最先成立五金同业组织是在霹雳州；据知，在1936年，霹雳华人五金公会即成立筹委会，并于1939年正式成立。其中，在筹委会成立不久，曾捐献”抗日基金”予当时饱受日本仅略的中国。
随后成立的是马六甲五金磁商联合会（1940 年）、雪隆五金商公会（1943年成立；前身为雪隆五金旧货商公会）及诗巫五金同业则在1955年成立诗巫五金入口商公会。紧随之后，柔佛州新山、亚庇、 吉兰丹、槟州与彭亨等地也宣告成立，并获得各地同业的支持，积极发挥作为各地同业领导的功效。
在1991年8月31日，来自全国各地五金同业应邀出席霹雳华人五金公会的成立五十二周年联欢晚宴之际，多位五金机械建材同业区域领导同桌畅谈同业的前景与困境时，成立全国同业总会的概念与议就这提出来！当时，参与讨论的同业主要来自霹雳、雪隆与槟州的同业。
当时，参与讨论的同业皆认为有必要成立全国性的同业组织，以提升国内同业的素质，同时，以更强的组织来争取与维护同业的权益。
四团体发起筹组总会运动
随后，四个州属五金机械建材组织，即霹雳华人五金公会、雪隆五金商公会、槟州五金机械商公会与新山五金机械建材商公会（柔佛州五金机械建材商公会之前身）发起了筹组全国五金机械建材商总会的运动，在全国同业之间掀起了一股热潮。
在遍放全马各地五金机械建材同业的过程中，获得了 同业们的热烈与积极的反应，激励了发起人正式筹组全国五金机械建材商总会的信心与信念。过后，全国总会的筹委会宣告成立，由陈建铭担任筹委会主席、陈隆丰 任财政的筹委会开始了一系列的筹划工作。负责起早总会章程，并向社团注册官申请注册的则是身兼总务职的郭玷源。
随后，在同年12月8日，在当时的国际贸易与工业部副部长拿督蔡锐明律师的主持监誓下，马来西亚五金机械建材商总会首届理事会宣告正式成立。在创会总会长陈隆丰的带领下，为全国五金机械建材商总会打下了基础。
创会会长着重内部团结
根据参与陈隆丰领导班子的前辈透露，由于当时总务处于初创时期，总会长陈隆丰的领导重心，较偏重于内部的团结与系统；就是在陈隆丰的强化内部团结的首要理念下，全国总会的会务基础可说是非常的扎实。
有鉴于会务的发展需要，加上陈隆丰的领导理念获得认同，他在1996年6月22日召开的第二届理事会改选中，再次受到委托领导全国同业，拿督方天兴任署理总会长、叶惠光任副会长，梁百迪与陈维融则分别担任总务与财政。
受章程所限，陈隆丰在担任两届总会长之后卸下职 务，由雪隆五金商公会会长林建南接下领导棒子。总会会务在陈隆丰领导之时，内部主旨已打下极扎实的基础，因此，林建南在领导总与国外同业的组织建立起了非 常强实的联系。同时，林建南更带领总会与菲律宾铁商公会成为”姐妹会”，从此加强两国五金同业的联系。
马来西亚五金机械建材商总会在成立之时，共有七个成员，除了四个创始会员，即霹雳华人五金公会、雪隆五金商公会、槟州五金机械商公会与新山五金机械建材商公会（即柔佛州五金机械建材商公会）之外，尚有雪隆机械五金商公会、马六甲五金磁商联合会与彭亨五金机械商公会。
吉兰丹五金商公会与东马的诗巫五金入口商公会和亚庇五金商公会也分别在1996年与1997年加入总会，成为会员，而此刻的总会，会员范围经已扩延至南中国海的另一端。古晋五金商公会是目前总会十一个会员之中最后一个加入的团体。
十一属会偏布全马
总会的十一个团体会员，代表着逾两千名五金、机械与建材同业业者，会员偏布东西马，使总会的代表性获得进一步的加强与认同。
虽然说，总会的影响力与代表性经已偏布全国，或是，至今为止，丁加奴、森美兰、吉打及玻璃市尚未有同业的团体组织，使到有关州属的同业在面对问题时，无法直接的向所属的团体传达，再通过总会向各有关方面陈情解决。
有鉴于此，在总会长拿督方天兴的领导下，总会刻正 顷全力协助丁、森、吉与玻四州的同业筹组公会。有关各州筹组工作进展顺利，有关州属同业皆认同总会长拿督方天兴的目标，他相信尚未有同业组织的四个州属将 很快拥有本身的团体，并成为总会的第十二、第十三、第十四与第十五个会员，不但使总会的全国性概念完整化，同时，也促进每一个州属都有同业的组织，并共同 在总会的旗帜下，共同捍卫与维护同业的利益及权益。
马来西亚五金机械建材商总会的成立，始于霹雳州华 人五金公会，首任总会长也是由该州的会长担任，因此，当初的总会注册地点及会所，也落在霹雳州。但是，随着时局的需要，加上会务的扩展与提升，因此，总会 理事会于1998年决定将总会迁至首都吉隆坡，并与雪隆五金商公会共用会所。
在拿督方天兴接下林建南的棒子，领导第四届理事会后，总会的会务更进一步的提升。据知，创会会长陈隆丰的领导模式，主要是强化内部组织；其接任者则充份展现其极佳的外交手腕，使总会与国外的同业组织建立了非常强而实的联系。
而在拿督方天兴续任总会长后，总会的会务方针则内 外兼顾，延续其前任，即陈隆丰与林建南原有的会务方针，与此同时，他也开始落实酝酿多时的 “自置会所” 目标，并在短短两年内，筹获超过一百五十万零吉的建 所基金，并购下雪州斯里肯邦安的三层楼店屋作为会所，同时在2003年12月7日正式开幕与启用。
新会所正式起用后，拿督方天兴已完成”自置会所” 任务；总会终于在全国属会的努力下，有了属于自己的家。拿督方天兴不但继续推动尚未成立属会之州属尽快成立五金同业公会并加入总会这个大家庭；而且还组团 拜访尚未取得联系的海外同业公会如暹罗五金公会，越南工商联合会之五金组等。总会的海外联络网愈扩愈大，将让总会的前进符合地球村的发展趋势。
拿督方天兴在任时，将引用了十年的总会章程重新修改，主要因为部分条规不符合时事的变迁。总会章程获得批准后，总会长任期期限已由两届四年改为两届六年，以便总会长有充足的时间领导总会。虽然任期延长但拿督方天兴依然坚持退位让贤；并在随后的改选中受委执行会务顾问。
2006年6月12日的改选，谢国培正式热门当选第六届理事会总会长；拿督林权兴则当选署理会长，总会历史正式掀开新的一页。甫上任的谢国培，继续南下北上的走访尚未成立属会的州属并大力推动成立个别属会以完成总会真正”全国性”的概念。
总会东西马十一个属会于2006年8月25日的第 六届理事会第五次会议上正式通过接纳吉玻五金机械建材商公会成为总会第十二个属会，西马北部已呈现出完整性结构。至于东海岸的登嘉楼与中马的森美兰，已在 各方面的努力下成立同业公会筹委会，相信加入总会这个大家庭已指日可待。
总会长拿督谢国培不但努力不懈发展国内属会联络网，海外的同业公会同样不会被忽略。继上任会长丹斯里拿督方天兴率团拜访泰国与越南后，拿督谢国培则将拜访对象定于印尼这个邻国，总会在此访问团行程中前后与当地六个相关同业公会进行交流，总会的海外联络网再次扩大一步。
2008年，总会再次以行动完成全国性概念的工作，山打根五金机械建材商公会正式加入总会成为第十三个属会。同年，总会更在热烈庆祝成立十五周年时与中华民国五金商业同业公会全国联合会结为”姐妹会”，主要为加强双边五金商之间的关系。
总会于2009年常年会员大会上正式将中文名称改为”马来西亚五金机械建材总商会”以提升自身的形象。
标志
(1) 描述
本会的标志是由中央一粒金球，及三个金色机械形状围绕着该金球，三个红、黄与蓝色连接交叉带有白色内衬部里圆圈所组成。
(2) 解释
(a) 该金球代表本会的会员。
(b) 该三个机械形状代表个别的五金、机械和建材商。
(c) 该三个圆圈代表马来西亚国旗的颜色。
宗旨
- 促进和维持高水准之五金、机械和建材之服务。
- 捍卫本会会员之权利和利益。
- 建立和维护介于会员社会人士之间的良好关系，以及在事先获得有关当局的批准下，出版会员有关上述买卖与产品之资讯。
- 在和政府部门、地方和公共当局、商业团体、国内外供应商、报界、电台、电视台及任何其他团体进行陈请、洽商、贸易及联系中，扮演会员正式代表的角色，并在立法、条例、法令或其他直接、间接关系到会员利益之事务上，为会员提供协商利便及促使当局了解其看法。
- 在获得有关方面的书面要求和同意下，为会员提供仲裁服务。
- 和其他合法团体、外国专业团体或具有相同宗旨的公会建立合作关系与联系，或成为其会员。
- 为会员提供教育训练，提升彼此之商业技巧和兴趣，促进会员友好关系与谅解。
- 接受捐赠与赠品，或对爱国、教育、宗教、慈善或其他应受支持的捐助。
- 展开社会活动、社交和其他计划以促进会员之互相了解和良好关系。
- 可向和本会宗旨一致的团体，购买、出租、租用、收购或拥有产业以供本会使用。
- 可向整个社会募捐，但须事先获取社团注册官及其他有关当局之批准。