随着互联网的快速发展,网络文本呈爆炸性增长,这为自然语言处理与生成提出了巨大的应用需求。通过模拟人脑的学习过程,基于神经网络的深度学习可完成对学习对象的抽象表达;通过将原有高维、稀疏、离散的词汇表示映射为稠密向量表示,深度学习算法可克服传统方法中的一些不足。本文以自然语言处理等相关算法为基础,对基于神经网络的文本表示与应用进行研究与应用。研究具有较大的科学和应用价值。本文完成的主要工作如下:·给出一种基于双向循环神经网络与条件随机场的词法分析方法。基于双向循环神经网络,从正、反两个方向学习文本信息,完成对每个字的向量化表示;使用条件随机场生成最终的字标注序列;通过在bakeoff2005数据集上的实验,测试指标比其他基准模型高出1%～2%,验证了提出算法的有效性。·提出一种针对文本不同部分的基于自我注意力(Self-Attention)模型的文本向量化表达方法。可针对不同的任务、面向文本的不同语义方面,使用不同的自我注意力来生成文本的向量化表达,使文本向量在特定任务中能对不同语义方面有所侧重;通过在Yelp评论数据集、Amazon数据集、自采集的新闻数据集上的多组实验,验证了提出算法的有效性。·给出一种面向无序文本的集合建模与排序方法。使用了基于记忆单元的编码器(Memory Encoder)来完成对无序文本集的建模,提出基于自我注意力的模型来捕获无序集合中某个单词对集合词的注意力权重;使用指针网络(Pointer Network),借助从原文中拷贝相关信息的方式,完成对记忆网络编码器建模的无序集合排序,进而从无序文本集中恢复出正常语序的自然语言语句;通过在英文、中文等多组排序数据集上的实验,针对不同的评测指标,分析了算法的性能,验证了提出算法的有效性。实验结果表明,本文所提出的基于神经网络的方法在词法分析、文本向量化表示、无序集合建模与排序等应用中具有可行性。通过在大数据语义智能平台中的具体应用,也表明了相关方法的有效性。最后,论文也对算法存在的问题及下一步的科研工作进行了说明。