在明朝人的眼中，这些人“俱名黑白异形，身材长大。”可见，除葡萄牙白人外，其中还有充当他们奴隶打仗的黑人俘虏。明朝人当时很少见黑人，看见这样的人种，自然视为异形“黑番鬼”。但所谓的“佛郎机国王”和“倭王”，不过是海盗高级头目。同时，被杀海盗中还有数十名中国人。
嘉靖三十二年(1553年)，有一伙葡萄牙人在澳门靠泊，佯称是外国贡使，由于海水打湿上贡物品，希望当地官员允许他们上岸晾晒。当时在澳门有管辖权的是明朝海道副使汪柏，他收受异宝贿银后，就答应了这些人的请求。
由此，葡萄牙人在此上岸，先是搭帆布帐蓬，逐渐得寸进尺，运砖搬瓦，聚屋成落，慢慢扩大规模。临时帐蓬，逐渐成为永久居所。
其实，当时汪柏正是奉命剿海贼驻军于附近，他明明知道这伙人就是朝廷最最痛恨的“倭寇”佛郎哥人，但受人钱财要办事，便告诫他们千万别称自己是“佛郎哥”。只要有利可图，自己称作“大狗哥”或“大鸡哥”也无不可，葡萄牙人当然乐呵呵地一口应承，当时他们真的还挺低调。
不久，这些贼洋人又把中国人同伙何亚八等一伙海盗出卖了，向明军通风报信，使得汪柏一举镇压了何亚八海盗组织。为此，汪柏更觉自己离间分化得计，下令完全允许葡萄牙人留住当地。
另外一方面，这些葡国人能进献嘉靖帝拜道所用的龙涎香，平时还按照规矩缴纳税银，皆使明朝地方当局认定他们“有用”。要是得罪了佛郎哥人，佛郎哥人一怒不进贡龙涎香了，这些用龙涎香哄嘉靖高兴的官员就找不到龙涎香了。因为龙涎香产于西洋，不进行海外贸易就无法获得龙涎香。葡人个个都是行贿高手，洋烟、洋酒、甚至是洋妞，以及海外奇珍异宝不停往当地官员衙门里送，明朝地方官员们不能不睁一只眼闭一只眼。
佛郎哥人是在大明土地行凶最狠的“倭寇”，但他们太会钻营了，而且一直低调行事，不象一些受到不公平待遇的日本武士那样气势汹汹地反击。他们反而是最大的赢家！
佛郎哥人看着日本海商在大明土地获利，眼红并嫉妒，也派出船只商队进入大明沿海寻找商机。王婆留这些海盗利用他们站在当时最前沿通商口岸的地理便利，近水楼台先得月，他们当然先于内陆人和大明官员与当时被广东人称作番鬼佬的佛郎哥人取得联系。