欢迎来到我的博客(*^▽^*)
Pytorch里的CrossEntropyLoss详解 Pytorch里的CrossEntropyLoss详解
在使用Pytorch时经常碰见这些函数cross_entropy，CrossEntropyLoss, log_softmax, LogSoftmax。看得我头大，所以整理本文以备日后查阅。 首先要知道上面提到的这些函数一部分是来自于to
2021-04-02 深度学习
PyTorch
Focal Loss——从直觉到实现 Focal Loss——从直觉到实现
Focal Loss——从直觉到实现问题（Why？）做机器学习分类问题，难免遇到Biased-Data-Problem，例如 CV的目标检测问题: 绝大多数检测框里都是 backgroud NLP的异常文本检测: 绝大多数文本都是 nor
2021-03-29 深度学习
转载 损失函数
Extensively Matching for Few-shot Learning Event Detection Extensively Matching for Few-shot Learning Event Detection
Extensively Matching for Few-shot Learning Event Detection 2020 ACL《用于小样本学习事件检测的广泛匹配》(Extensively Matching for Few-shot
2021-03-27 论文阅读笔记
few shot
刷爆3路榜单，信息抽取冠军方案分享：嵌套NER+关系抽取+实体标准化 刷爆3路榜单，信息抽取冠军方案分享：嵌套NER+关系抽取+实体标准化
本篇文章，JayJay并不想只是围绕竞赛本身谈策略，而是想和大家一起交流：无论在竞赛还是落地中，信息抽取任务的稳定提升策略有哪些？总的来看就是两点： 构建一个强大的baseline，这取决于标注框架的选择； 套路化的辅助策略，稳定迭代并提
2021-03-25 NLP
转载 信息抽取
l1和l2正则化的区别 l1和l2正则化的区别
L1正则化和L2正则化是控制模型复杂度和限制过拟合的常用方法。L1正则化和L2正则化之间有一些有趣的比较。我发现这些视觉上的对比和它们的解释很容易理解。 1. 为什么需要正则化？首先，让我们以线性回归为例。假设Y和一大堆其他Factor之间
2021-03-22 深度学习
面试 正则化
Animated RNN, LSTM and GRU Animated RNN, LSTM and GRU
RNN是 Vanilla RNN $t$——time step $X$——input $h$——hidden state length of $X$ —size/dimension of input length of $h$ — no
2021-03-22 深度学习
面试 LSTM RNN GRU
Q&A——Transformer，BERT Q&A——Transformer，BERT
Transformer 代码实战：The Annotated Transformer 超级好的动画演示：The Illustrated Transformer 碎碎念：Transformer的细枝末节 画Transformer的结构图
2021-02-24 NLP 深度学习
Transformer BERT
What is the difference between FP16 and FP32 when doing deep learning? What is the difference between FP16 and FP32 when doing deep learning?
https://www.quora.com/What-is-the-difference-between-FP16-and-FP32-when-doing-deep-learning This is a well-timed quest
2021-02-22 深度学习tricks
转载
warmup_proportion预热学习率的作用 warmup_proportion预热学习率的作用
作者：EO_eaf6链接：https://www.jianshu.com/p/19a4abfcd835来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 学习率（learning rate）是神经网络训练中最
2021-02-22 深度学习tricks
转载 warmup_proportion
PyTorch中在反向传播前为什么要手动将梯度清零？ PyTorch中在反向传播前为什么要手动将梯度清零？
作者：Pascal链接：https://www.zhihu.com/question/303070254/answer/573037166来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 这种模式可以让梯度
2021-02-21 深度学习tricks
转载 梯度累加
跑实验中遇到的Bug 跑实验中遇到的Bug
model.to(device)十分缓慢跑eeqa这个项目，运行到model.to(device)这行代码的时候，十分缓慢。按理来说，以往的项目model很快就能加载到GPU上的。 后来经过谷歌搜索之后，发现可能的原因是：eeqa这个项目使
2021-02-21 CarlYoung
Linux常用命令 Linux常用命令
sed经常需要将windows下的脚本里面的换行符转变成linux下的换行符，使用下面指令： sed -e 's/.$//' %s > tmp;cat tmp > %s --train_file ../proc/data/ac
2021-02-20 CarlYoung
4 / 11