文字的出现,使得人类的思想文化等信息在时间维度上传之久远且在空间维度上传之广远。最近几年,无数的历史文档在历史学家的帮助下被电子化存储。通过研究一个时期的历史文档,人们能够对当时的风土人情、文化、气候等情况获得更加可信的了解。与此同时,随着互联网时代的到临和智能终端设备的普及,人们生活中的方方面面也以照片的形式被记录和保存,尤其是在手写笔记、备忘录、课堂和会议室的白板等场景。自动检测、识别并电子化存储这些场景中的手写文字信息有着丰富的应用场景,而一个鲁棒的文字检测系统是实现这一目标至关重要的第一步。时至今日,自然场景和历史文档中的手写文字检测仍是一个未被完全解决的问题,其面临着诸多困难和挑战。这些挑战可以归于以下几个方面:手写文字本身的多样性,例如不同的笔画宽度、字体大小颜色、较长的拖尾、行间重叠的笔划等;版面的多样性,例如行间批注、同一区域不同朝向的文字等;物理损毁,例如印透的墨迹等;复杂背景和拍照引入的畸变,例如遮挡、噪声、不均匀光照等。本文在深入调研相关领域的发展之后,根据手写文字独有的特性,分别开展了以下三个工作以解决已有方法的不足,从而可以有效检测自然场景和历史文档图像中的手写文字。（1）提出了一种基于连通区域的自然场景中的手写文字检测方法,即通过对候选文字连通区域进行方向估计从而实现多方向文本行检测。在我们这个工作开始之前,基于连通区域的方法多是利用手工设计的特征和规则将候选文字连通区域根据相似性聚集成行。这些算法限制了其对于短行、密集的多行或者朝向不同的多行的处理能力,而这些情况在手写文字的场景中较为常见。为了提高这些情况下的检测能力,我们提出一种基于候选文字连通区域方向的聚行算法。利用神经网络强大的信息抽取能力,我们通过引入丰富的上下文信息对候选文字连通区域进行方向估计和文字非文字分类,在得到方向信息的同时过滤掉困难负样本,从而实现复杂情况下多方向文本行的检测。（2）提出了一种基于文字片段的自然场景中的手写文字检测方法,有效解决了密集文本行的粘连问题,提高了对任意角度文本行检测的鲁棒性。为了使得基于文字片段的方法可以应用到自然场景中的手写文字检测问题上,我们针对手写文字的特性做了两个针对性的改进来解决其中的文本行粘连问题。首先,我们探究了文字边界区域标签定义的作用,将手写文字的标注框进一步收缩得到文字核心区域,通过对文字边界区域的抑制来降低相邻文本行中间出现文字的响应。第二,提出一个基于图的文本行分割算法,进一步分割错误聚集的文本行。经过以上两个改进,我们提出的基于文字片段的文字检测方法在自然场景中的手写文字检测任务上取得优异的性能。（3）提出了文本行基线片段的概念并基于此将历史文档中的文本行基线检测任务转化为了文本行基线框的检测任务。我们首先分析了现有基于深度学习的方法的不足,即错误断行问题和错误聚行问题。为了解决这些问题,我们提出了文本行基线片段框的概念,从而可以利用更丰富的上下文信息来提高候选文字基线点聚集成行步骤的准确性和鲁棒性。具体来说,我们采用一种基于关系网络的框架来检测文本行基线片段框并预测文本行基线片段框对之间的连接关系,通过这两者直接得到最终的文本行基线。我们的方法可以有效解决错误断行和错误聚行的问题,并在两个基准任务cBAD 2017和cBAD 2019上都取得了最好的性能。