在万王之王东征印度途中，葡萄牙人继续在印度洋海岸建设殖民帝国，副王在给曼努埃尔的报告中对于无法立即执行计划的现状进行解释：“出兵红海也是我最想进行之事，可出于安全，我还是决定先在马拉巴尔海岸的各贸易点修筑堡垒，卡利卡特的扎莫林是个棘手的麻烦。”
阿尔梅达在骄傲地展示建设成果之后略带谄媚地建议道：“从大海一端的基尔瓦、马林迪、蒙巴萨和索法拉到另一端的马拉巴尔海岸都承认您的权威，无数坚固安宁的王家要塞坐落于富裕的港口，任何船只想要航行于水面之上，都必须要得到您的许可和保护。所以，在我看来，陛下应当采用东印度皇帝的称号，以您的权势来看，这是理所应当、实至名归的。”
葡萄牙宫廷在收到和香料一同送回的报告后举办了全国性庆典，还委托艺术家以殖民帝国在印度洋的扩张为题材制作纪念壁毯。
不过副王不知道的是，曼努埃尔秘密将增援舰队的司令官阿尔布克尔克任命为印度总督，不过是在副王卸任之后履职，阿尔梅达只知道这个新下属是来分割他的辖区的。
阿尔布克尔克的首要任务就是在索科特拉岛建立据点以威胁红海航运，阿尔梅达为此提前派遣人员前去勘测和建设前哨站以便援军抵达后开展活动。
葡萄牙人试图抢占索科特拉岛的行为威胁到亚丁至霍尔木兹之间的航运，当商船的失事率让人感到反常之时，驻亚丁港的舰队便前去最有嫌疑的索科特拉岛，由于此岛贫困，萨法维海军在控制亚丁后便放弃对其的控制和建设计划。
卡拉克和卡拉维尔的靠近让葡萄牙瞭望员一开始误认为是副王派来的援军，这让萨法维舰队轻易地靠近至海岸附近，登岸的伊朗水兵和舰炮炮击告诉误判的瞭望台他错了。
岸边的葡萄牙人显然对于突遭袭击没有任何准备，临时营地的损毁让葡萄牙水兵不知所措，恰好登岸的伊朗水兵端着火绳枪已经靠近此地，对着还在混乱中的人群射击，幸存者全都忙不迭地丢下一切向内陆逃去。
这支舰队的指挥官见战斗结束便命令全军停下休整，清点战果和损失。此次突袭击杀击伤数十葡萄牙人，俘虏一艘葡萄牙卡拉克，自身仅因为意外受伤数人，无人死亡。
试图逃入内陆以求活路的葡萄牙人发现这其实是绝路，生活在内陆的原住民将这些狼狈的外来者驱逐回海岸，葡萄牙舰长不得不率领剩下的不到四十人向突袭者投降。
这些葡萄牙俘虏经过筛查甄别，除去领航员、工匠和炮手这些技术人员，其他人被认为“毫无价值”被当场处决，并找来尖木桩将砍下的头颅一一立在营地废墟上，搁浅的小艇装载着死尸，其上盖着一面缴获的葡萄牙王旗。
幸存者先被载回亚丁，又被押送到霍尔木兹，为了求生和重获自由，多数人选择变节为异教君主效力。
在索科特拉岛的失败无法被副王知晓，但比贾布尔苏丹对在安贾迪普岛的葡萄牙要塞十分不满，驻扎于此的葡军强迫来往商船去葡萄牙控制下的港口交税，让穆斯林商人怨声载道。
一些拒绝与外来者合作的穆斯林商人不仅向安贾迪普岛的名义统治者优素福汗求助，还尝试绕开屈服于副王淫威的港口，洛伦索在堡垒建设完毕后留下少量守军就奉命南下去切断穆斯林商人的锡兰航线，还登岸在锡兰岛上立碑纪念。
比贾布尔宫廷在得知有人入犯安贾迪普岛后便打算组织一次进攻将其驱逐，优素福汗在进行周密计划的同时向果阿的萨法维驻军求助。
船队自果阿出发，直奔安贾迪普岛，打头的卡拉克被巡逻的葡萄牙卡拉维尔发现，伊朗战舰率先开火，炮弹对葡萄牙战舰的船体造成严重损伤，队中的桨帆船趁机靠近，先用船首炮施加攻击，并在跳帮前通过侧舷火力清扫敌甲板。
清除外围的巡逻船只之后，港内停泊的战舰在稍晚时刻遭受伊朗战舰的袭击，为防止蒙受不必要的风险，比贾布尔苏丹为船队准备大量的纵火武器，两艘卡拉克在战事最开始就遭火船焚毁。
运输船只运载的比贾布尔军与萨法维水兵一同上岸围困堡垒，守军使用火炮还击，却没能击退已经上岸的敌军，敌舰队还继续漂浮在水面上。
而堡垒外墙上的垛墙则因炮击遭受严重破坏，难以为守军提供良好的掩护，上岸的海军火枪手在对射中逐渐占据上风。
这样的战斗一连持续数日，等到守军不再射击之时，比贾布尔士兵使用长梯通过前几日被填平的壕沟，爬上堡垒墙体入内与守军搏斗。
堡垒内的战斗比先前更加激烈，比贾布尔士兵多次攻入堡垒主楼却被赶出，葡萄牙射手此时敢于透过主楼的窗口对外射击，让被攻占的外墙也不安全。
为了粉碎残余守军抵抗，指挥官下令将全部载来的纵火物搬上岸，比贾布尔士兵将这些纵火武器全部施加给堡垒主楼，海军火枪兵端枪对准门窗，向所有的疑似人影射击防止内里有人逃出。
火势持续近一日，负责指挥此次围攻的军官们认为堡垒不会再有幸存者，着手组织撤退。
安贾迪普岛的葡萄牙守军全军覆没的消息直到半个月之后才被路过的商船带到科钦，这让副王和其他葡萄牙军官大为惊骇。
阿尔梅达深知葡萄牙在印度洋的地位和威望建立在无法反抗的武力之上，他必须采取反制措施以稳定附庸和盟友的信心。
葡萄牙堡垒被比贾布尔军摧毁的消息让反葡萄牙的穆斯林商人和印度港口收到鼓舞，这些法兰克人并非不是不可战胜的。
卡利卡特扎莫林还为此遣使前去比贾布尔为优素福汗祝贺，并希望能与他就对付这些葡萄牙人一事上达成共识并进行合作。
印度洋的1506年就在葡萄牙的两次受挫中度过。