中国吸猫网

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 150|回复: 0

普通人如何理解NLP深度学习

[复制链接]

173

主题

203

帖子

915

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
915
发表于 2018-10-9 11:20:31 | 显示全部楼层 |阅读模式
大家好,吸完猫来看看人工智能,今天看的是NLP领域的深度学习,深度学习,知识地图,nlp学习经验。

普通人如何理解NLP深度学习

普通人如何理解NLP深度学习

获取信息来源:英文论文研究,吴恩达公开课,Hiton公开课,北京大学nlp教材,英文最新学术论文,中国科学院院士技术博客,知识地图专家课程

自学课程:基础理论---专业理论(公开课,讲义,教材,技术博客)---框架原理与用途:sparkMLlib,tensorflow ---最新技术,专业理论改进(英文论文研究,算法)改进)--- NLP、 LSTM(句子相似度,双向LSTM分词,语义分析理解,机器翻译)---追逐机器人技术研究

有关一些研究结果和原创技术博客,请访问我的技术博客:

解决生成的聊天机器人的三个问题:1上下文:引入注意模型2安全性答案:将损失函数更改为MMI3一致性问题(同义敏感性问题):在解码器阶段引入同义语句

Nlp研发经验

一个、的中文分词

实验背景:目前,深度学习和nlp的结合是时代的潮流。深度学习的主导地位是BiLSTM和注意模型成功地改变了IK中文分词,在模拟大容量文本分词时速度提高了30%。在此基础上,我们继续深入研究基于双向LSTM分词和词性标注,并完全取代CRF。

改进了、 Kmeans聚类算法

实验背景:提取文章关键词有很多选项。基于深度学习的语义理解方向是当前的热点。在使用w2v获得单词嵌入之后,执行单词聚类,然后从每个聚类中心提取最高频率的单词作为文章的关键词是一个相对好的解决方案。基于相同上下文中单词含义的w2v非常成功。由于损失函数的非凸性,聚类中心的选择和k值,kmeans聚类算法很容易陷入局部最优解,最优解需要改进。

实验结果:经过长期不懈的努力,我终于取得了成功。改进效果:1可以使聚类中心的选择更加合理,可以确定k值的隐式最优解,聚类结果高且稳定2增加数据归一化处理3增加聚类结果连续存储分类算法。三个、文章摘要改进计划:siamese lstm解决了句子的相似性

实验背景:文章抽象技术用于搜索领域,以提高搜索性能并节省用户的搜索时间。使用依赖知识库方法提取文章的传统关键词是无效的。文章抽象技术,无论使用何种手段,都离不开三个核心问题:1句子相似度计算2抽象句子提取3抽象句子排序。摘要的理想效果是提取文章中的中心句子,而不是特征词的拼凑。因此,从语义理解的角度来看,第一种方案依赖于w2v获取单词嵌入,然后累积嵌入形成一个句子,并继续累积文章的语义表示,并找到最接近句子的语义表示。文章的语义。与传统的统计建模相比,这种方案显然要好得多,但并不是最好的解决方案。将CNN引入nlp也是一种解决方案,但不是最佳解决方案。语义理解的核心是基于句子或文章的高阶特征提取。在垂直搜索领域,Lucene底部的文档非常成功,以便提取SimHash,前提是提取文档的特征声明。现在提出一个更接近理想效果的方案:使用siamese lstm来获取句子的向量(与标准的lstm相比,这些句子的向量具有语义关联),然后加起来的语义表示文章,从中找到文章的最多语义。类似的句子被用作中心句子。所以核心问题是siemese lstm解决了句子的相似性。

深度学习nlp实验

在nlp行业中,语义理解和分析一直很困难。以前,基于word2vector,根据单词vector选择每个单词的候选单词,然后组合成一个语句。时间复杂度高,准确性不够。本实验的目的是探索基于2015年的最新研究成果,暹罗lstm(区别于标准的lstm),句子对或文档对作为输入对象,句子对子exp( -  || h1-h2 | |)对于输出,MSE构建一个损失函数。基于ma结构,实验精度提高到90%以上。如果样本足够科学,则手动分数足够准确且准确度更高。

构建张量流分布式环境,改造暹罗lstm学术论文,主要是张量流代码实现,模型训练

基于句子对儿童siemese lstm的相似性解决方案的成功探索。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|中国吸猫网

GMT+8, 2018-12-10 11:19 , Processed in 0.057642 second(s), 27 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表