低维纳米结构的可控生长和新奇量子效应是纳米科学与技术的核心研究内容之一。在本篇博士论文中,我们用分子束外延方法制备了形状规则的纳米岛以及高质量的拓扑绝缘体薄膜,利用扫描隧道显微镜和角分辨光电子能谱分别对应变岛的形状变化以及拓扑绝缘体薄膜的能带结构进行了系统研究。在分子束外延生长中,生长材料和衬底之间的晶格失配或者衬底表面的应力各向异性都会导致外延纳米结构发生应变。对于应力调控下的外延生长,纳米结构的形貌和所受的应力之间存在着紧密的联系。对这种联系进行深入研究,不仅可以提取表面热力学参量的信息,还对纳米线和量子点等纳米结构的可控制备具有重要的指导意义。我们利用扫描隧道显微镜对在Si（111）-（4×1）-In模板上Ag岛的生长行为进行了观测。发现在低温下沉积的Ag岛全是棒状的,而室温下沉积的Ag岛则存在双稳结构,棒状的银岛和点状的银岛共存。通过对Ag岛尺寸的统计分析和应力分布的第一性原理计算,我们阐明了这种具有双稳态的应变岛的形成机理。拓扑绝缘体是一种新颖的量子物质态。其内部是有能隙的绝缘体,而其表面则有无能隙的金属态。这种表面金属态是由材料的体电子态的拓扑结构所决定,与表面的具体结构无关。理论研究预测,拓扑绝缘体和其他材料相互作用,可以产生磁电效应和超导近邻效应等等,在基础研究和技术应用方面都有重要的研究意义。目前所报道的拓扑绝缘体材料都是三维体相的,而要把这种材料应用到电子器件中,一个重要的途径是制备出拓扑绝缘体薄膜。我们利用分子束外延技术,在Si（111）衬底上制备出了大面积原子级平整的Bi_1-xSb_x合金薄膜和Bi₂Te₃化合物薄膜。原位角分辨光电子能谱测量证实Bi_1-xSb_x和Bi₂Te₃薄膜是拓扑绝缘体。进一步研究发现,呈线性Dirac分布的表面态的简并点的位置相对于薄膜的成分和厚度有明显的依赖关系。该研究表明分子束外延生长薄膜的方法为裁剪拓扑绝缘体的电子结构提供了有效途径。