画图是最自然的人机交互的方式之一，因此，计算机自动识别手绘的简笔画（sketch）是一种非常新颖热门并且有高度应用价值的问题。但是，由于手绘的简笔画的物体对象的多变性和形状的不确定性，现有的识别简笔画的工作被局限于处理的问题是，识别某一特定范围内的或需要预先定义的物体的类别。在这个工作中，我们的目标是识别任意的手绘简笔画，并且利用大规模的网站插图数据，开发一个简笔画识别系统系统。本文应用一个全新的对查询自适应的形状主题模型（query-adaptive shape topic model）挖掘与简笔画相关的物体和形状。除了用于识别简笔画，利用这个概率模型，我们的系统还能实现更多的应用功能，如简笔画标注、图像数据库标注、基于简笔画的图像搜索等。另外，我们也深入地探究了如何自动将简笔画分割为独立的物体。通过对人类视觉感知中的组合问题的探讨，我们提出了一个实时系统用于在用户手绘简笔画的同时对其进行自动分割。首先，一个基于图模型的简笔画分割算法被用于对线条进行聚类，基于线条间的距离作为分割因素。而后，为了增强对语义上有意义的物体的检测能力，我们提出了一个基于语义的分割方法，即基于检索信息熵的方法，以仿真感知系统对于过往经验的使用过程。最后，其他的重要的因素，例如相似性、对称性、持续性、包含性等等，被用以加强简笔画分割算法的鲁棒性而使其更加实用。丰富的实验证明了提出的形状主题模型（query-adaptive shape topic model和系统在简笔画识别、图像搜索与标注等应用中的高效性能，相比于基准的识别模型，在我们的概率模型中，正确识别的物体标签能被赋予更突出的概率值。我们提出的简笔画分割算法框架可以处理含有重叠物体的复杂简笔画。同样，我们也做了深入而丰富的实验用以证明我们的算法相比现有的其他分割算法有更佳的效果。