2003年公司力捧的Xelibri系列手机导致了一场彻底的“滑铁卢”。Xelibri被很多行家批评为在时尚化上走得太远，而作为手机的功能实现得太差。仅仅依靠一些花里胡哨的如化妆镜等等功能就把价位定在2 000～3 500元，这种前卫得能当装饰品但是只有基本电话功能的手机实在难以赢得消费者的欢心。尽管西门子从未公布过Xelibri手机的具体销售数字，不过据消息人士称该系列手机的全球总销量在100万以下。一年后，西门子不得不宣布停产Xelibri。
当以三星、索爱、LG为代表的新一代手机厂商，日益强调手机设计的轻和薄、软件的娱乐化、智能化，拍照功能，甚至折叠旋转都成为流行趋势之时，西门子只单方面强调个性设计或简单耐用的做法已经宣告落伍——这段时间也是西门子市场份额下跌最快的时期。
在轻和薄方面，由于西门子历来采用德国设计的传统思维，无法做出满足消费者的产品。据SSMC研发部门的一位不愿透露姓名的负责人介绍，西门子手机一般内部整体芯片厚度为1.5毫米，再加上盖子的3毫米，厚度都在4.5毫米左右，而诺基亚、摩托罗拉很多产品总共也就只有3毫米。在折叠手机上，由于西门子要求严格控制质量，在出厂前的控制测试，需要实验开上下盖数万次不能损坏才能生产，而这又大大增加了研发的成本，因此一直没有大规模地推出折叠手机。
公司内部的中方研究人员对西门子产品非议最多的是其超长的生产周期。由于质量把关过于严格，一些细节之处都要花费很长时间。在M55推出前，其外壳颜色的涂料就反复测试了数百次，再加上其他测试，这款手机研发周期拖了9个多月，终于推向市场后，不仅一面市就落后于其他公司的同类产品，而且相应成本还没有降下来，以至于中方人员都戏称，自己在研究开发一年前的产品。正因为这个原因，2005年西门子在华仅仅推出过15款产品，而诺基亚、摩托罗拉仅一季度就可以达到甚至超过这个数量。
要命的是，连西门子产品最引为自豪的质量也出了问题。西门子为了试图扭转局势，一度把希望寄托在曾经赢得许多设计大奖、单项销量最好的SL55这款滑盖产品上。但在推出后不久，德国总部的实验室在跟踪测试时却意外地发现，该手机传话声音比较响，可能对用户的听力有所影响。当时技术部门建议在中国市场实施召回，却没有得到总部同意，最终被中国媒体察觉后，不得不为中国消费者免费升级软件，仅在此一项上的投入就达到了数百万美元。和该手机挣的利润相比，投入显然更大。“在公司内部，本来是准备当做成功案例的，但突然成了失败的典型产品。”SSMC研发部门的这位负责人无可奈何地说。
进入2005年以来的这几个月是西门子移动（中国）最难熬的时期，一方面中国公司要着急地等待总部最后的“发落”——按照年初西门子全球股东大会的决定，先对全球各区域市场业务表现和市场潜力进行综合打分评估，分出A、B、C 3个等级，获评A级区域的手机业务将保留，B级将进行整顿，而C级则将卖掉或关闭手机业务，而中国区得分是B，这意味着还要运营一段时间观察效果。当然公司已经终止对中超联赛的赞助。
另一方面，由于西门子在全球又推出了两款新品SK65和SF65，公司又不得不在已经混乱的销售体系中，让中国消费者了解这两种产品。
但这项任务已经没有多少人愿意执行了，除了西门子在全国不到百人的销售队伍，其各级代理商，以及渠道终端国美、苏宁等，都在象征性地完成配合工作，比如公司在全国各地的办事处至少有一半因为各种原因没有让这两款机型上柜，而国美的销售人员也对新产品不看好，“在西门子真正要把销售网络和渠道改造好之前，我们不会考虑重点向消费者推荐。”国美采销中心总监姜雪梅说。
无情的市场是变脸最快的。在最辉煌的2000年，西门子在各地分公司以及办事处的负责人在地方上的吃香程度不亚于诺基亚、摩托罗拉，被请客吃饭的地方都是当地最高档的酒楼饭店，而现在分销商们提到西门子，态度都相当冷漠。“他们只会做低端手机，没有什么利润。”湖北的一家省级代理商说，这家公司也在2004年终止了和西门子的合作，改而代理韩国唯开（VK）手机，后者手机平均售价在2 500～3 500元之间。在中邮普泰等几家西门子手机的全国总代理中，有一些已经开始有选择性地进货，即代理商认为有销量的产品才会逐级层层往下代理，而国美、苏宁这样的零售终端则干脆要求西门子先提交新品资料，在和TCL、夏新这些国产品牌——而不是诺基亚、摩托罗拉这些国外品牌——对比后，再提出进货要求。
据业内人士估计，由于西门子手机价格大多集中在800～2 000元之间，其毛利润不到10％，而现在最热的智能手机，售价在8 000多元，其毛利润可以达到50％以上，分给销售商的收入也相当高，“这种情况下，任何代理商都不会对西门子有兴趣。”摩根大通的分析师马克·戴维斯（Mark Davies）直言。
2004年年初，西门子也尝试与国产手机的老大波导合作，虽然业内普遍认为这是中德政府之间友好商贸往来带来的“附属产品”，但无论波导的董事长徐立华还是当时西门子的CEO冯必乐（Heinrichvon Pierer）都对合作寄予厚望。当时徐立华希望能通过合作解决知识产权问题，以及进入欧洲市场，而冯必乐则也希望借助波导的渠道。
西门子的设想是，在2004年年底之前投入超过500万欧元，对波导在全国的16 000个销售网点进行产品和店面准备，并计划再投入500万欧元对波导的其他140 000个销售网点进行产品及店面准备，所有工作将在2005年年中完成。
然而到现在，西门子已经投入了相当数量的资金，依然很少在波导的销售网点看到西门子手机，即使摆上了的，其效果也远非最初预计的乐观。“后来过程发生了偏差，波导被西门子当成了国包商。”波导负责销售的副总经理戴茂余有一次私下承认。按照西门子公司内部人士估计，由于投入过多而产出过少，按照单个机型算下来，每销售一部手机，公司要亏损数十元。当然，波导也没有得到自己想要的东西。
如果翻看2004财年西门子中国的业绩，可以发现，在超过400亿元人民币的销售业绩中，增长最快、利润贡献最大的业务，如自动化与控制、电力、医疗器械等板块，是人事变动最少的部门；相反，在增长为负数的手机业务中，近两年却是管理结构和高层人员变化最大的地方。
2002年7月，西门子亚太区总部从香港迁到上海陆家嘴办公，同时任命原诺基亚中国市场总监任伟光为西门子亚太区高级副总裁，负责中国、印度、日本、韩国以及澳大利亚等地的销售工作。随后在新加坡的亚洲通信展上，西门子移动通信全球总裁 Peter Zapf 又高调地为亚太区高层打气，表示将施行“全球概念，地区风格”（think global，act local）的领导特色，并一口气发布4款新品助阵。