高温、高压等非常规油藏的发现突破了传统石油地质理论的认识。非常规石油的形成机理比常规石油更为复杂,目前对非常规石油的化学组成,尤其是其中的大分子和强极性、难挥发有机化合物分子组成缺少研究。本文以塔里木盆地超深层石油、渤海湾盆地超高硫石油以及共和盆地烃源岩为主要研究对象,采用选择性分离结合高分辨质谱技术对其中特殊化合物进行了详尽的分子组成表征,并推测了这些化合物的来源以及形成机理。主要内容包括:发现原油含硫化合物分析中小分子烷基苯的甲基化现象。在正离子电喷雾电离源（ESI）模式下,烷基苯的终端甲基化产物可以与Ag⁺发生络合作用生成Ag-阳离子单体、同型-Ag-阳离子倍体、异型-Ag-阳离子倍体络合物,影响石油含硫化合物分子组成的正确解析。阐明了七甲基苯阳离子及银加合离子的形成机理,提出了抑制烷基苯甲基化及加合离子的方法,完善了基于甲基化反应的石油硫化合物分子组成质谱分析方法。采用气相色谱结合硫化学发光检测器（GC-SCD）、气相色谱结合氮化学发光检测器（GC-NCD）、电喷雾电离源质谱（ESI MS）、大气压光致电离源质谱（APPI MS）对塔里木盆地57个不同区块超深层原油中硫、氮杂原子化合物分子组成进行了系统分析。采用Michael加成反应结合傅立叶变换离子回旋共振质谱（FT-ICR MS）和全二维气相色谱-质谱（GC×GC MS）对硫醇类化合物进行了全面的分子组成表征。在来自高温储层的凝析油中鉴定出了大量的金刚烷硫醇,伴生气中H₂S的³⁴S明显富集以及含量丰富的金刚烷的存在都表明凝析油遭受了严重的热化学还原（TSR）蚀变。在来自低温储层的凝析油中鉴定出了新型多杂原子硫醇类化合物（S₂、S₃、S₁O₁、S₁O₂和S₂O₁类）,较低的储层温度有利于多杂原子硫醇类化合物的保存。将硫醇的生成路径做出如下推断:由TSR作用生成的H₂S与石油烃反应生成。该研究结果为TSR作用提供了新的见解,有助于勘探前评估TSR蚀变程度。采用甲基化/脱甲基化方法分离渤海湾盆地晋县凹陷高硫原油中的硫醚和噻吩组分,并采用FT-ICR MS和GC-MS对其进行了表征,鉴定出C_27-29含硫甾烷和甾烯系列化合物,在硫醚和噻吩组分中还鉴定出了其他结构的有机硫化合物,如类异戊二烯噻吩、类异戊二烯苯并噻吩、长链2,5-2正构烷基硫代环己烷、2,5-2正构烷基硫代环戊烷、双环萜类硫醚等;采用静电场轨道阱质谱（Orbitrap MS）对晋县凹陷和济阳凹陷原油中的强极性酸性硫化物进行了全面表征,发现了新型硫酸酯类化合物。济阳凹陷原油高丰度的有机硫化物主要为DBE=1的S₁系列,硫化程度较低,而晋县凹陷原油中有机硫化物分布复杂且具有明显的生物标志物特征,硫化程度较高。结合GC-MS、FT-ICR MS和Orbitrap MS三种质谱手段分析共和盆地烃源岩中酮类化合物分子组成,鉴定出大量不同结构类型的酮类化合物,认为这些化合物来源于烃类氧化。酮类化合物与Girard T衍生化试剂在弱酸性条件下反应生成强极性的衍生化产物腙,可大幅提高其在ESI MS下的检测限。APPI MS被直接用于酮类化合物的分子组成表征。化学衍生化结合正离子ESI适用于痕量酮的分析,但对于高缩合度（DBE≥9）的酮类化合物有歧视作用。正离子APPI可以分析整个DBE范围内的化合物。根据分析结果提出了基于不同电离方法区分化石燃料中脂肪族酮和芳香族酮的分析方法。