徐继畲任福建巡抚期间，与林则徐有过一场冲突。
　　当时，林在福州养病，听说有两名英国传教士租赁了神光寺的房屋，马上向徐发难，让他将传教士赶走。徐在家信里，诉说了事件原委。
　　他说，有两个传教士租住了城内寺屋，本来是件小事，由侯官县令一时疏忽造成，慢慢地劝说他们，本来也可以了结，可林却突然发作起来。
　　他说林，一会儿出绅士公启，以示驱逐；一会儿又写生童告白，遍城粘贴；还要劝绅士捐资雇募水勇，准备动武。可他和总督刘韵珂都以为，这样慌里慌张准备打仗，是召敌来攻，大为失计，因此，不肯附和林的倡议。
　　林怒而投信京中，鼓动群僚来攻，攻之者，有一学士、两御史，一旬之内，连奉寄谕三次，先参他抚谕无方，继而参他袒护属员、包庇汉奸。
　　于是，当年曾支持过林的刘总督，愤而乞疾，旋被开缺。而林则以老迈之身，走马上任，抱病而行，远赴广西，去镇压太平军，可怜身先死。
　　
　　徐向朝廷报告了林的死讯，咸丰帝召见他时，“询及林则徐为人”，他说，林为人很忠正，可惜不明外情，而贻误了国事。文宗以足顿地叹息。
　　在林、徐之争中，那些攻击徐的人，在就事论事上没占着理，就转而攻击徐的书，他们从徐的书里面发现了一些新的东西，背离了王权主义。
　　在汉语里向来只有天下观，“世界”二字从佛经里来，起用较晚。
　　宋人石介著《中国论》说：天在上，地在下，居天地中者曰中国，居天地之偏者曰四夷。这样的华夷之辨，也就是中国传统人文地理大分野了。
　　在天下观里，宋代的《华夷图》和《广舆图》，都将中国画得很大，而四夷则微乎其微，甚至模糊不清，连汪洋大海都成了中国疆域的护城河。
　　清以前，国人已知天下之外别有舆地，利玛窦一来到中国，就发现中国人不知道地球的大小，而自以为最大，他带来中文版的《山海舆地图》，想奉献给万历皇帝，又怕皇上嫌地图上“大明”不大，而遭斥责，可出乎意料，皇上竟然格外赏识，还命其复制，赏赐皇亲和太子，而“大明”不大，却未提起。
　　在《万国坤舆全图》上，中国不中，大明不大，坤舆为球体，列国居五洲，利玛窦的这些观念，皇帝不以为怪，反而提倡之，岂非怪事？
　　清以后，中国人的思想，又退回到了《中国论》和《华夷图》时代，在天下观里自得其乐，从顾炎武的《天下郡国利病书》到魏源的《海国图志》，一路行来，并未走出天下观和《华夷图》的视野，行到徐继畲，才开始走向世界。
　　徐著《瀛环志略》，是一部列国志。瀛即海，瀛所环者，为列国。
　　“瀛环”，徐以前未见用，可能由他先用，有点海权的意味。
　　魏源《海国图志》没有以海权立国的思想，因为《海国图志》里面没有中国，他所谓“海国”，是环绕神州——中国的岛屿番国，还在天下观里。
　　而徐著《瀛寰志略》，则将“瀛环”分为欧罗巴、亚细亚、阿非利加、阿墨利加四洲，而中国，为亚细亚第一大国，并非“瀛寰”最大国。
　　他说，“瀛寰”之中，最大的国家就是俄罗斯，最强的国家就是英吉利，它们对于中国的威胁最大，而最有希望的国家就是“米利坚”，它打败了英吉利，而自立于世，他希望中国可以向美国学习，能像美国一样，打败英吉利。
　　就这样，一个以主权国家为主体的海权思想萌芽了——联美抗英！虽然有些一厢情愿，但其战略眼光何等高远？今天看来，英国早已衰落，联美依然任重道远。对于一位曾经参与抗英战争的老兵，其思想如水到渠成。
　　他赞美华盛顿：“按华盛顿异人也……开疆万里，乃不僭位号，不传子孙，而创为之推举之法，几於天下为公，骎骎乎三代之遗意。”
　　从孔夫子到孙中山，“天下为公”的理想，还停留在话语，而华盛顿却将它坐实；儒生神往“三代之遗意”，可华盛顿却使它成了国体。
　　他说，美国合众以为国，疆土万里，国事付之民议，此乃华盛顿“创古今未有之局”，“泰西古今人物，能不以华盛顿为称首哉！”
　　这两段按语，于咸丰三年，由浙江宁波府镌刻，教会立石，落款为“合众国传教士识”，赠送美国，镶嵌在华盛顿纪念塔第十级内壁。
　　因此，他不用“天下”、“海国”为其书命名，而用“瀛寰”。
　　“瀛环”是个世界，而非“天下”，列国自有主权，也不属于“王土”，用君君臣臣的眼光来看，这真是匪夷所思。可“世界”就是如此。
　　世界有四个洲，欧罗巴州最强，亚细亚洲最大，而中国仅居其一。
　　因此，这书一问世，就招来了一片非议，政敌攻击他，自不必说了，就连他的好朋友也批评他失了“夷夏之大防”，混淆了内外有别的大义。
　　书未出版以前，他将已刻好的头三卷请好友张穆看，张批评他把“皇清一统舆图”置於亚洲总图下，建议他将本朝舆图放在亚细亚图之上。
　　张穆说：春秋体例，最严的就是内外两字，要从华夷之辨上来谈海外异闻，谈到各国信史时，最好用存疑口气，不要像明朝徐光启、李之藻那样，亦步亦趋，“遂而负谤至今。”可见，时论已将他划入前明徐、李一流。
　　确是如此，有清一代，在对世界的认识上，较之前明徐、李，倒退何止千里！只有徐继畲是个例外，他从天下观里走出来，进入一个地缘政治新世界。
　　前明徐、李对世界认识，集中在学术思想上，还涉及到个人信仰，而徐继畲对世界的认识，主要在地缘政治上，他开始深入了解世界各国情况。
　　可惜的是，他对世界的了解，往往被人误解。政敌断章取义，以他书中论日耳曼联邦有“西方王气方兴未艾”之语，而故意将“西方”二字隐去，欲将其置于死地也就罢了，就连曾国藩，也说他的书“颇张大英夷”。
　　当时所谓“张大英夷”，其实是一顶不小的帽子，虽然谈不上卖国，但也算得上崇洋媚外了。他是怎样“张大英夷”的呢？试与《海国图志》一比。
　　在《海国图志》里，只要谈到外国，统统一“夷”以蔽之。而在《瀛寰志略》里，就没有这种华夷之别，除了引用他人之语，很少用“夷”字。他称英国为英吉利，称英国领事为英官，而不叫英酋，这在当时也是只此一人而已。
　　曾国藩对他的指责，出现在咸丰八年五月三十日“致左宗棠”的信里。
　　那时正是英夷跃跃欲试，准备发动第二次鸦片战争时期，曾国藩断定英夷犯了骄兵、贪兵二忌，必败无疑。可结果究竟如何呢？夷人直捣京师。
　　曾国藩不可谓不知兵，他熟读兵书，久经战阵，可他一肚子兵法，毕竟是天下观里的兵法，逐鹿中原还可以，尊王攘夷也凑合，对付英夷却不灵。
　　战争本是综合国力的较量，可农业文明却喜欢用计和鼓气。
　　曾国藩的必胜无疑说，便出于用计和鼓气。他虽然也提到了富强，但他对富强的理解却基于农业文明：国富者以地大为富，兵强者以人众为强。
　　他不懂得地大不如市场大，国富要靠市场大；他不懂得人多不如船炮多，兵强要靠船炮多。开发市场就要控制海洋，而控制海洋要靠船炮力量。
　　所谓国富，所谓兵强，归根结底，在于取得制海权，当时，中国只有一个人懂得这一点，他就是徐继畲。咸丰帝驾崩之年，曾国藩痛定思痛，阅《瀛寰志略》，他把目光放在南洋诸国和诸岛上，可能他认为，中国的危险就来自那里。
　　受了林则徐的影响，中国士大夫的目光只盯着英夷和俄夷。可只有一个人注意到了日本，他发现“倭奴”正在悄悄地撕开天朝的附属国体系。
　　此人就是徐继畲。老谋如曾国藩者，从未注意到“倭奴”兴起。
　　咸丰帝驾崩前，要扭转乾坤，他不能扭转夷人，只好扭转自己，使自己来了个一百八十度的大转弯，他一转，臣下跟着都转，从主战转向主和。
　　此后，曾氏守定了“和”字，并将这“和”字，传给了李鸿章。
　　当他重读《瀛寰志略》时，他再也不说徐继畲夸张夷势了，而是老老实实地承认自己对于各国之名都茫然无知，更别说各国的国情了。