归档 | 杨程的博客

2021

04

02

Pytorch里的CrossEntropyLoss详解

在使用Pytorch时经常碰见这些函数cross_entropy，CrossEntropyLoss, log_softmax, LogSoftmax。看得我头大，所以整理本文以备日后查阅。首先要知道上面提到的这些函数一部分是来自于to

2021-04-02 深度学习

PyTorch

03

29

Focal Loss——从直觉到实现

Focal Loss——从直觉到实现问题（Why？）做机器学习分类问题，难免遇到Biased-Data-Problem，例如 CV的目标检测问题: 绝大多数检测框里都是 backgroud NLP的异常文本检测: 绝大多数文本都是 nor

2021-03-29 深度学习

转载损失函数

27

Extensively Matching for Few-shot Learning Event Detection

Extensively Matching for Few-shot Learning Event Detection 2020 ACL《用于小样本学习事件检测的广泛匹配》(Extensively Matching for Few-shot

2021-03-27 论文阅读笔记

few shot

25

刷爆3路榜单，信息抽取冠军方案分享：嵌套NER+关系抽取+实体标准化

本篇文章，JayJay并不想只是围绕竞赛本身谈策略，而是想和大家一起交流：无论在竞赛还是落地中，信息抽取任务的稳定提升策略有哪些？总的来看就是两点：构建一个强大的baseline，这取决于标注框架的选择；套路化的辅助策略，稳定迭代并提

2021-03-25 NLP

转载信息抽取

22

l1和l2正则化的区别

L1正则化和L2正则化是控制模型复杂度和限制过拟合的常用方法。L1正则化和L2正则化之间有一些有趣的比较。我发现这些视觉上的对比和它们的解释很容易理解。 1. 为什么需要正则化？首先，让我们以线性回归为例。假设Y和一大堆其他Factor之间

2021-03-22 深度学习

面试正则化

22

Animated RNN, LSTM and GRU

RNN是 Vanilla RNN $t$——time step $X$——input $h$——hidden state length of $X$ —size/dimension of input length of $h$ — no

2021-03-22 深度学习

面试 LSTM RNN GRU

02

24

Q&A——Transformer，BERT

Transformer 代码实战：The Annotated Transformer 超级好的动画演示：The Illustrated Transformer 碎碎念：Transformer的细枝末节画Transformer的结构图

2021-02-24 NLP 深度学习

Transformer BERT

22

What is the difference between FP16 and FP32 when doing deep learning?

https://www.quora.com/What-is-the-difference-between-FP16-and-FP32-when-doing-deep-learning This is a well-timed quest

2021-02-22 深度学习tricks

转载

22

warmup_proportion预热学习率的作用

作者：EO_eaf6链接：https://www.jianshu.com/p/19a4abfcd835来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。学习率（learning rate）是神经网络训练中最

2021-02-22 深度学习tricks

转载 warmup_proportion

21

PyTorch中在反向传播前为什么要手动将梯度清零？

作者：Pascal链接：https://www.zhihu.com/question/303070254/answer/573037166来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。这种模式可以让梯度

2021-02-21 深度学习tricks

转载梯度累加

21

跑实验中遇到的Bug

model.to(device)十分缓慢跑eeqa这个项目，运行到model.to(device)这行代码的时候，十分缓慢。按理来说，以往的项目model很快就能加载到GPU上的。后来经过谷歌搜索之后，发现可能的原因是：eeqa这个项目使

2021-02-21 CarlYoung

20

Linux常用命令

sed经常需要将windows下的脚本里面的换行符转变成linux下的换行符，使用下面指令： sed -e 's/.$//' %s > tmp;cat tmp > %s --train_file ../proc/data/ac

2021-02-20 CarlYoung