互联网文化的兴起，让NLP研究员也是压力山大，不光要搜集传统的语料，新兴的各种梗表达的微妙情绪也只能让机器学习模型直呼看不懂。

继上一篇博客，这篇主要讲一下BERT以及BERT衍生的模型，如RoBERTa ALBERT ERINE等模型的改进与优化效果。

我们平时接触最多的就是各类媒体的新闻报道，他们向读者或观众传输他们的想法，而各个媒体都有他们自己的立场，根据他们自己的偏见，从而对同一件事的报道可能有不同的措辞，从而对观众的想法产生影响。...

Bertfrom transformers import ( BertTokenizer, BertConfig, BertModel,)# clue/roberta_chinese_basebertTokenizer = BertTokenizer.from_pretrained('bert-...

这是我觉得最有趣的技术，这种方式首先使用模型将句子转换为不同的语言，然后将其转换回目标语言。当我们为此使用 ML 模型时，它会生成与原始句子相同但单词不同的句子。Huggingface 的模型中心提供了各种预训练模型，例如 G...

目前，服务提供商通常会以人工的方式编写隐私政策，告知数据被共享、存储和使用的所有方式。在这种背景下，当一个新的服务推出时，隐私政策也要做相应的调整，同时要确保符合相关法律法规。因此许多服务提供商都试图开发一个自...

在之前的博客中有简单讲到Transformer，这篇博客将会专门详细的一起看看内部的计算与实现。

在使用GPT BERT模型输入词语常常会先进行tokenize ，tokenize具体目标与粒度是什么呢？tokenize也有许多类别及优缺点，这篇文章总结一下各个方法及实际案例。...

记不清何时起爱上的数学，在这个世界里，我一直像搜寻宝藏一样收集着人类的智慧精华，无论是解各种谜题，还是各类数学定理的结论，做出来和证明出来它们都让我觉得安全和舒适。而平面几何的题目和各种定理，应该是这其中非常有代...

自 2017 年 6 月谷歌发布论文《Attention is All You Need》后，Transformer 架构为整个 NLP 领域带来了极大的惊喜。在诞生至今仅仅四年的时间里，Transformer 已经成为自然语言处理领域的主流模型，基于 Transformer 的预...