GARNET SPACE
  • START
  • 机器学习
    • 神经网络
      • CNN
        • 卷积神经网络技巧总结
        • 卷积核的选择
    • 梯度
      • Softmax与交叉熵求导
      • RNN梯度探索
    • 聚类算法
      • 聚类算法
      • 相似性度量
      • 聚类算法选择速查表
      • 聚类算法的选择
      • Based on partition
        • K-means及相关变种算法
        • K-Medoids算法
        • Affinity Propagation
      • Based on hierarchy
        • 基础的层次聚类算法
        • BIRCH层次聚类算法
        • CURE层次聚类算法
    • 数据预处理
      • 正态化
        • 非正态分布转换成正态分布的原因和方法
    • 训练技巧
      • 提升模型鲁棒性, 训练效率, 模型效果的方法总结
    • 超参数调节
      • 贝叶斯优化
        • 0x01 前置基础 高斯过程
        • 0x02 前置基础 高斯过程回归
        • 0x03 贝叶斯优化
    • 模型集成
      • 论文阅读 SNAPSHOT ENSEMBLES
    • 优化算法
      • 退火算法
        • 模拟退火
      • 遗传算法
        • 遗传算法原理
    • 序列模型
      • 注意力机制
        • 注意力机制总括
      • 论文阅读 Attention Is All You Need-Transformer结构
    • 降维
      • PCA
        • PCA的数学原理
    • 不平衡数据
      • 不平衡数据产生的问题
      • 少数类样本分析方法
      • 不平衡学习算法的评估指标
      • 采样+Ensemble
      • Cost-sensitive
        • Cost-sensitive分类算法
        • Cost-sensitive具体算法
        • Cost-sensitive与损失函数
    • Keras技巧
      • loss函数
        • 自定义损失函数
        • loss为层作为输出
    • 实践问题解决方法
  • MATH
    • EM
      • 0x01 基础知识准备
      • 0x02 期望最大化算法
    • MCMC
      • 0x01 蒙特卡罗与马尔科夫链
      • 0x02 采样实例
      • 0x03 PyMC与MCMC
    • 概率论
      • 分布
        • 0x01 多种分布
        • 0x02 Gamma分布
        • 0x03 Beta分布与共轭
        • 0x04 Dirichlet分布与共轭
      • 统计推断
        • 0x00 统计推断概念
        • 0x01 统计量即抽样分布
          • 0x01 统计量
          • 0x02 分布
          • 0x03 统计量分布
        • 0x02 参数估计
          • 0x01 参数估计基本原理
          • 0x02 单个总体参数的区间估计
          • 0x03 两个总体参数的区间估计
        • 0x03 假设检验
          • 0x01 假设检验基础
          • 0x02 单个总体参数的检验
          • 0x03 两个总体参数的检验
        • 0x04 分类数据分析
          • 0x01 分类数据分析基础
        • 0x05 方差分析
          • 0x01 方差分析基础
          • 0x02 单因素方差分析
          • 0x03 双因素方差分析
        • 0x06 线性回归
          • 0x01 一元线性回归基础
          • 0x02 多元线性回归
  • 时间序列
    • 0x01 时间序列概念
    • 0x02 ARIMA模型
    • 0x03 ACF与PACF
    • 0x04 拟合度量方法
    • 0x05 时间序列中的检验
    • 0x06 简单的时间序列建模例子
    • 0x07 季节性
    • 0x08 SARIMAX
    • 0x09 完整的时间序列SARIMAX建模思路及例子
  • 自然语言处理
    • Task
      • NLP常见任务
      • 序列标注
        • 序列标注的几种方案
        • 命名实体识别
          • 命名实体识别总概
          • 使用BiLSTM-CRF进行NER
      • 文本相似
        • 句子相似性求解总结
        • [论文阅读] A SIMPLE BUT TOUGH-TO-BEAT BASELINE FOR SENTENCE EMBEDDINGS
      • Phrase Mining
        • Phrase Mining Task简介
        • Automated Phrase Mining from Massive Text Corpora
      • 机器翻译
    • 概率相关
      • 单词短语的统计量与评价指标
    • Tricks
      • 数据增强
    • Embeddings
      • Embedding原理
      • word2vec
        • 0x01 word2vec算法原理
        • 0x02 Hierarchical Softmax
        • 0x03 Negative Sampling
      • GloVe
        • GloVe原理
      • 其他Embedding方法
    • 特征抽取器
      • CNN-RNN-TF三种特征抽取器的比较
    • 概率图模型
      • 概率基础
      • 概率图模型概述
      • 概率无向图模型
      • 生成式模型
        • HMM
          • 隐马尔科夫模型
          • 前向算法
          • 后向算法
          • HMM训练学习
          • 维特比算法
      • 判别式模型
        • CRF
          • 条件随机场的定义
          • 条件随机场概率计算
          • 条件随机场的学习算法
          • 条件随机场的预测算法
    • 小样本学习
      • NLP中的小样本学习概述
      • Metric Based
        • [论文阅读]Siamese Neural Networks for One-shot Image Recognition
        • [论文阅读]Matching Networks for One Shot Learning
    • 模型结构
      • DIIN
        • DIIN论文笔记
      • NB-SVM
        • NB-SVM模型原理即应用
    • Seq2seq
      • Pointer Networks
        • Pointer Networks原理
      • Subwords
        • Subwords原理
    • 解码
      • 维特比算法
      • Beam search
    • 模块结构
      • Gate
        • GLU
          • [论文阅读]Language Modeling with Gated Convolutional Networks
    • 主题模型
      • LSA
        • 0x01 LSA
        • 0x02 PLSA
      • LDA
        • LDA
    • 工具使用
      • 同义词工具
      • StandfordNLP
  • 知识图谱
    • 知识表示
      • 知识表示综述
  • 推荐算法
    • Matrix Factorization
      • LightFM
        • 模型原理
        • 使用例子
        • 冷启动推荐
    • 排序算法
      • 排序算法训练数据
      • 排序算法评价指标
      • 排序算法的多种类别
      • 详解Pairwise模型
    • 工程实践
      • 使用Keras实现MF模型的训练
  • Python
    • built-in
      • 借助isinstance判断对象类型
    • pandas
      • Accessors
        • 访问器
        • 特殊数据类型
          • dt
          • str
          • cat
    • keras
      • mask操作
      • Layer层自定义
    • networkx
      • 0x01 networkx基础
      • 0x02 networkx k-core
    • scrapy
      • Scrapy爬虫初级编写方法
      • Items
      • Spiders
    • pip
      • pip使用技巧
    • scipy
      • 稀疏矩阵
        • 稀疏矩阵的类型
      • 线性规划
        • 求解线性规划
      • 使用stats包处理分布和概率问题
    • sklearn
      • 贝叶斯模型
        • sklearn中的朴素贝叶斯模型
      • 特征与目标值相关性的评价方法及对应的检验方法
    • 并发
      • 多线程
        • 0x01 线程基础
        • 0x02 线程池
        • 0x03 线程专有状态
        • 0x04 队列通信
        • 0x05 锁
        • 0x06 同步原语
      • 多进程
        • 0x01 进程基础
        • 0x02 进程池相关
        • 0x03 共享变量
      • 协程
        • 0x00 协程
        • 0x01 yield与生成器
        • 0x02 yield from与生成器
        • 0x03 await和async与协程
  • 分布式
    • Hadoop
      • MapReduce
        • MapReduce架构
      • YARN
        • YARN结构
    • Spark
      • Spark基本架构
      • Spark运行模式
  • 算法
    • Leetcode归类
    • Python中的算法
      • LRU缓存
    • 字符串
      • 字符串总结
      • [3][中等][滑动窗口] 无重复字符的最长子串
      • [5][中等][动态规划] 最长回文子串
      • [14][简单] 最长公共前缀
      • [22][中等][回溯][BFS] 括号生成
      • [32][困难][动态规划][栈] 最长有效括号
      • [43][中等] 字符串相乘
      • [44][困难][动态规划][01背包] 通配符匹配
      • [67][简单] 二进制求和
      • [97][困难][动态规划][DFS][BFS] 交错字符串
      • [139][中等][DFS] 单词拆分
      • [316][困难][贪心][栈] 去除重复字母
      • [415][简单] 字符串相加
      • [402][中等][贪心][栈] 移掉K位数字
      • [459][简单] 重复的子字符串
      • [1081][困难][贪心][栈] 不同字符的最小子序列
      • [1143][中等][动态规划] 最长公共子序列
      • [面试题 16.18][中等] 模式匹配
      • [面试题 17.13][中等][动态规划][前缀树] 恢复空格
      • [剑指Offer-50][简单][哈希表] 第一个只出现一次的字符
    • 数组
      • [1][简单][哈希] 两数之和
      • [15][简单][双指针] 三数之和
      • [18][中等][双指针] 四数之和
      • [41][困难][原地哈希] 缺失的第一个正数
      • [53][简单][动态规划][分治] 最大子序和
      • [54][中等] 螺旋矩阵
      • [167][简单][双指针][二分] 两数之和 II - 输入有序数组
      • [209][中等][滑动数组] 长度最小的子数组
      • [215][中等][堆] 数组中的第K个最大元素
      • [240][中等] 搜索二维矩阵 II
      • [287][中等][双指针][二分] 寻找重复数
      • [300][中等][贪心][二分][动态规划][树状数组] 最长上升子序列
      • [321][困难][贪心][分治] 拼接最大数
      • [354][困难][贪心][动态规划] 俄罗斯套娃信封问题
      • [378][中等][堆][二分] 有序矩阵中第K小的元素
      • [435][中等][贪心][动态规划] 无重叠区间
      • [452][中等][贪心][动态规划] 用最少数量的箭引爆气球
      • [491][中等][DFS] 递增子序列
      • [523][中等][前缀和][哈希] 连续的子数组和
      • [560][中等][前缀和][哈希] 和为K的子数组
      • [646][中等][贪心][动态规划] 最长数对链
      • [673][中等][动态规划][贪心] 最长递增子序列的个数
      • [674][简单][动态规划] 最长连续递增序列
      • [713][中等][二分][双指针] 乘积小于K的子数组
      • [718][中等][动态规划][滑动窗口] 最长重复子数组
      • [873][中等][动态规划] 最长的斐波那契子序列的长度
      • [974][中等][前缀和][哈希] 和可被K整除的子数组
      • [1035][中等][动态规划] 不相交的线
      • [剑指Offer-03][简单] 数组中重复的数字
      • [剑指Offer-04][简单] 二维数组中的查找
      • [剑指Offer-61][简单] 扑克牌中的顺子
      • [剑指Offer-66][中等] 构建乘积数组
    • 链表
      • [23][困难][堆] 合并K个排序链表
      • [109][中等][DFS][双指针] 有序链表转换二叉搜索树
      • [138][中等][哈希表] 复制带随机指针的链表
      • [141][简单][双指针] 环形链表
      • [142][中等][双指针] 环形链表 II
      • [160][简单][双指针] 相交链表
      • [206][简单][递归][双指针] 反转链表
      • [剑指Offer-06][简单] 从尾到头打印链表
      • [剑指Offer-36][中等] 二叉搜索树与双向链表
    • 树
      • 树总结
      • [94][中等] 二叉树的中序遍历
      • [95][中等][递归] 不同的二叉搜索树 II
      • [96][中等][动态规划] 不同的二叉搜索树
      • [100][简单][DFS][递归] 相同的树
      • [102][中等] 二叉树的层序遍历
      • [108][简单][DFS][二分] 将有序数组转换为二叉搜索树
      • [109][中等][DFS][双指针] 有序链表转换二叉搜索树
      • [112][简单][BFS][DFS] 路径总和
      • [113][中等][DFS] 路径总和 II
      • [114][中等][DFS] 二叉树展开为链表
      • [124][困难][DFS] 二叉树中的最大路径和
      • [129][中等][DFS] 求根到叶子节点数字之和
      • [144][中等] 二叉树的前序遍历
      • [145][困难] 二叉树的后序遍历
      • [235][简单] 二叉搜索树的最近公共祖先
      • [236][中等][DFS] 二叉搜索树的最近公共祖先
      • [257][简单][DFS] 二叉树的所有路径
      • [297][困难][BFS] 二叉树的序列化与反序列化
      • [437][中等][DFS][前缀和] 路径总和 III
      • [687][简单][DFS] 最长同值路径
      • [988][中等][DFS] 从叶结点开始的最小字符串
      • [面试题 04.04][简单][DFS] 检查平衡性
      • [面试题 04.05][中等][DFS] 合法二叉搜索树
      • [面试题 04.06][中等][DFS] 后继者
      • [剑指Offer-07][中等][递归] 重建二叉树
      • [剑指Offer-26][中等][递归] 树的子结构
      • [剑指Offer-28][简单][迭代] 对称的二叉树
      • [剑指Offer-33][中等][分治] 二叉搜索树的后序遍历序列
      • [剑指Offer-36][中等] 二叉搜索树与双向链表
      • [剑指Offer-54][简单] 二叉搜索树的第k大节点
    • 图
      • [785][中等][BFS][DFS][并查集] 判断二分图
    • 数学
      • [50][中等][二分] Pow(x, n)
      • [233][困难] 数字1的个数
      • [263][简单][回溯] 丑数
      • [264][中等][动态规划][三指针][堆] 丑数 II
      • [313][中等][堆] 超级丑数
      • [400][中等] 第N个数字
      • [1025][简单][动态规划] 除数博弈
      • [剑指Offer-62][简单] 圆圈中最后剩下的数字
    • 回溯
      • [22][中等][回溯][BFS] 括号生成
      • [263][简单][回溯] 丑数
      • [剑指Offer-38][中等][回溯] 字符串的排列
    • DFS
      • [97][困难][动态规划][DFS][BFS] 交错字符串
      • [100][简单][DFS][递归] 相同的树
      • [108][简单][DFS][二分] 将有序数组转换为二叉搜索树
      • [112][简单][BFS][DFS] 路径总和
      • [113][中等][DFS] 路径总和 II
      • [124][困难][DFS] 二叉树中的最大路径和
      • [129][中等][DFS] 求根到叶子节点数字之和
      • [139][中等][DFS] 单词拆分
      • [200][中等][DFS] 岛屿数量
      • [212][困难][DFS] 单词搜索 II
      • [236][中等][DFS] 二叉搜索树的最近公共祖先
      • [463][简单][DFS] 岛屿的周长
      • [687][简单][DFS] 最长同值路径
      • [695][中等][DFS] 岛屿的最大面积
      • [785][中等][BFS][DFS][并查集] 判断二分图
      • [827][困难][DFS] 最大人工岛
      • [842][中等][DFS] 将数组拆分成斐波那契序列
      • [988][中等][DFS] 从叶结点开始的最小字符串
      • [剑指Offer-12][中等][DFS] 矩阵中的路径
      • [剑指Offer-13][中等][DFS] 机器人的运动范围
    • BFS
      • [22][中等][回溯][BFS] 括号生成
      • [97][困难][动态规划][DFS][BFS] 交错字符串
      • [112][简单][BFS][DFS] 路径总和
      • [297][困难][BFS] 二叉树的序列化与反序列化
      • [785][中等][BFS][DFS][并查集] 判断二分图
    • 并查集
      • [130][中等][并查集][DFS] 被围绕的区域
      • [684][中等][并查集] 冗余连接
      • [685][困难][并查集] 冗余连接 II
      • [765][困难][并查集][贪心] 情侣牵手
      • [785][中等][BFS][DFS][并查集] 判断二分图
      • [990][中等][并查集] 等式方程的可满足性
    • 分治
      • [53][简单][动态规划][分治] 最大子序和
      • [312][困难][分治][递归][动态规划] 戳气球
      • [321][困难][贪心][分治] 拼接最大数
      • [剑指Offer-33][中等][分治] 二叉搜索树的后序遍历序列
    • 二分
      • 二分总结
      • [34][中等][二分] 在排序数组中查找元素的第一个和最后一个位置
      • [35][简单][DFS][二分] 搜索插入位置
      • [108][简单][DFS][二分] 将有序数组转换为二叉搜索树
      • [153][中等][二分] 寻找旋转排序数组中的最小值
      • [154][困难][二分] 寻找旋转排序数组中的最小值 II
      • [167][简单][双指针][二分] 两数之和 II - 输入有序数组
      • [287][中等][双指针][二分] 寻找重复数
      • [295][困难][二分][堆] 数据流的中位数
      • [315][困难][线段树][二分] 计算右侧小于当前元素的个数
      • [378][中等][堆][二分] 有序矩阵中第K小的元素
      • [392][简单][二分] 判断子序列
      • [658][中等][二分] 找到 K 个最接近的元素
      • [704][中等][二分] 二分查找
      • [875][中等][二分] 爱吃香蕉的珂珂
      • [1011][中等][二分] 在D天内送达包裹的能力
      • [剑指Offer-11][简单][二分] 旋转数组的最小数字
      • [剑指Offer-51][困难][线段树][二分] 数组中的逆序对
      • [剑指Offer-53-II][简单][二分] 0～n-1中缺失的数字
    • 递归
      • [95][中等][递归] 不同的二叉搜索树 II
      • [100][简单][DFS][递归] 相同的树
      • [206][简单][递归][双指针] 反转链表
      • [241][中等][递归] 为运算表达式设计优先级
      • [312][困难][分治][递归][动态规划] 戳气球
      • [面试题 16.11][简单] 跳水板
      • [剑指Offer-26][中等][递归] 树的子结构
    • 动态规划
      • [5][中等][动态规划] 最长回文子串
      • [10][困难][动态规划] 正则表达式匹配
      • [32][困难][动态规划][栈] 最长有效括号
      • [44][困难][动态规划][背包] 通配符匹配
      • [62][中等][动态规划] 不同路径
      • [63][中等][动态规划] 不同路径 II
      • [64][中等][动态规划] 最小路径和
      • [72][困难][动态规划] 编辑距离
      • [96][中等][动态规划] 不同的二叉搜索树
      • [97][困难][动态规划][DFS][BFS] 交错字符串
      • [120][中等][动态规划] 三角形最小路径和
      • [121][简单][动态规划] 买卖股票的最佳时机
      • [122][简单][动态规划] 买卖股票的最佳时机 II
      • [123][困难][动态规划] 买卖股票的最佳时机 III
      • [174][困难][动态规划] 地下城游戏
      • [188][困难][动态规划] 买卖股票的最佳时机 IV
      • [264][中等][动态规划][三指针][堆] 丑数 II
      • [279][中等][动态规划][背包][BFS] 完全平方数
      • [309][中等][动态规划] 最佳买卖股票时机含冷冻期
      • [312][困难][分治][递归][动态规划] 戳气球
      • [322][中等][动态规划][背包][DFS] 零钱兑换
      • [343][中等][动态规划][背包] 整数拆分
      • [375][中等][动态规划] 猜数字大小 II
      • [474][中等][动态规划][背包] 一和零
      • [518][中等][动态规划][背包] 零钱兑换 II
      • [714][中等][动态规划] 买卖股票的最佳时机含手续费
      • [718][中等][动态规划][滑动窗口] 最长重复子数组
      • [873][中等][动态规划] 最长的斐波那契子序列的长度
      • [1025][简单][动态规划] 除数博弈
      • [1049][困难][动态规划][背包] 最后一块石头的重量 II
      • [1143][中等][动态规划] 最长公共子序列
      • [面试题 08.11][中等][动态规划][背包] 硬币
      • [面试题 17.13][中等][动态规划][前缀树] 恢复空格
      • [剑指Offer-46][中等][动态规划] 把数字翻译成字符串
      • [剑指Offer-47][中等][动态规划] 礼物的最大价值
      • [剑指Offer-60][简单][动态规划] n个骰子的点数
    • 堆
      • heapq
      • [215][中等][堆] 数组中的第K个最大元素
      • [264][中等][动态规划][三指针][堆] 丑数 II
      • [295][困难][二分][堆] 数据流的中位数
      • [313][中等][堆] 超级丑数
      • [378][中等][堆][二分] 有序矩阵中第K小的元素
    • 栈
      • [155][简单][栈][滑动窗口] 最小栈
      • [316][困难][贪心][栈] 去除重复字母
      • [402][中等][贪心][栈] 移掉K位数字
      • [946][中等][贪心][栈] 验证栈序列
      • [1081][困难][贪心][栈] 不同字符的最小子序列
      • [剑指Offer-09][简单][栈] 用两个栈实现队列
    • 队列
      • [239][困难][队列] 滑动窗口最大值
      • [剑指Offer-59-II][中等][滑动窗口] 队列的最大值
    • 贪心
      • [316][困难][贪心][栈] 去除重复字母
      • [321][困难][贪心][分治] 拼接最大数
      • [402][中等][贪心][栈] 移掉K位数字
      • [765][困难][并查集][贪心] 情侣牵手
      • [1081][困难][贪心][栈] 不同字符的最小子序列
    • 双指针
      • 双指针总结
      • [109][中等][DFS][双指针] 有序链表转换二叉搜索树
      • [141][简单][双指针] 环形链表
      • [142][中等][双指针] 环形链表 II
      • [160][简单][双指针] 相交链表
      • [167][简单][双指针][二分] 两数之和 II - 输入有序数组
      • [202][简单][双指针] 快乐数
      • [287][中等][双指针][二分] 寻找重复数
      • [剑指Offer-21][简单][双指针] 调整数组顺序使奇数位于偶数前面
      • [剑指Offer-57-II][简单][双指针] 和为s的连续正数序列
    • 多指针
      • [15][简单][三指针] 三数之和
      • [264][中等][动态规划][三指针][堆] 丑数 II
    • 滑动窗口
      • [3][中等][滑动窗口] 无重复字符的最长子串
      • [76][困难][滑动窗口] 最小覆盖子串
      • [209][中等][滑动窗口] 长度最小的子数组
      • [239][困难][队列] 滑动窗口最大值
      • [438][中等][滑动窗口] 找到字符串中所有字母异位词
      • [567][中等][滑动窗口] 字符串的排列
      • [713][中等][二分][双指针] 乘积小于K的子数组
      • [718][中等][动态规划][滑动窗口] 最长重复子数组
      • [剑指Offer-59-II][中等][滑动窗口] 队列的最大值
    • 位运算
      • 位运算总结
      • [67][简单] 二进制求和
      • [136][简单] 只出现一次的数字
      • [137][中等] 只出现一次的数字 II
      • [191][简单] 位1的个数
      • [260][中等] 只出现一次的数字 III
      • [268][简单] 缺失数字
      • [剑指Offer-56-I][中等][双指针] 数组中数字出现的次数
      • [剑指Offer-65][简单] 不用加减乘除做加法
    • 逻辑运算
      • [剑指Offer-64][中等] 求1+2+…+n
    • 哈希
      • [41][困难][原地哈希] 缺失的第一个正数
    • 线段树
      • 树状数组原理
      • [300][中等][贪心][二分][动态规划][树状数组] 最长上升子序列
      • [315][困难][线段树][二分] 计算右侧小于当前元素的个数
      • [剑指Offer-51][困难][线段树][二分] 数组中的逆序对
    • 前缀树
      • [面试题 17.13][中等][动态规划][前缀树] 恢复空格
    • 状态机
      • [剑指Offer-20][中等] 表示数值的字符串
    • 排序
      • 排序总结
      • [剑指Offer-45][中等] 把数组排成最小的数
    • Leetcode
      • 栈
        • *155-最小栈
        • *895-最大频率栈
  • TRICK
    • EDA(数据探索)
    • 特征选择
      • 特征筛选方法总结
    • 模型预测质量分析
    • 回归问题技巧
    • 自然语言处理任务技巧
    • 克服过拟合和提高泛化能力的技巧
  • LATEX公式备忘
  • 神经网络
    • 激活函数
      • 激活函数总结
      • Sigmoid
      • tanh
      • ReLU
      • SELU
      • GELU
      • Swish
      • 梯度消失问题
      • 零中心问题
    • 损失函数
      • Softmax Loss
      • Softmax Loss求导
      • Focal Loss
      • Triplet Loss
      • ArcFace, CosFace, and SphereFace
      • Center Loss
    • 优化算法
      • 优化算法总结
      • SGD及其优化算法
      • Adagrad
      • AdaDelta/RMSProp
      • Adam
    • Normalization
      • Normalization综述
      • Batch Normalization
      • Layer Normalization
      • Batch Normalization与Dropout不能共存的原因
      • Conditional Normalization
    • 二阶段模型
      • XLNET
        • XLNET原理
        • XLNET代码分析(一)
        • XLNET代码分析(二)
        • XLNET代码分析(三)
        • XLNET代码分析(四) Fine-tuning部分
  • 网络框架
    • keras
      • 错误和坑
        • fit错误
          • AttributeError: 'ProgbarLogger' object has no attribute 'log_values'
        • 模型构建错误
          • ValueError: An operation has None for gradient
由 GitBook 提供支持
在本页

这有帮助吗？

最后更新于5年前

常见的卷积核边长有3, 5, 7(图像是二维卷积核), 但在绝大部分网络中只会使用长度为3的小卷积核. 小卷积核的优势主要有以下几点:

  • 虽然在单层内, 小卷积核的感受野肯定小于大卷积核, 但小卷积核更容易将网络做深, 而两个大小为3的卷积核的感受野就能够等同于单层大小为5的卷积核, 并且由于网络的层数增加了, 增加了网络的非线性表达能力

  • 使用上面的方法, 用小卷积核代替大卷积核构建神经网络, 神经网络的参数会更少, 但只限于图像中, NLP问题使用的一维卷积核反而会增加. 两个的卷积核参数为18, 一个卷积核的参数为25, 参数的压缩比例很大.

    • 但对于NLP问题中使用的一维卷积核, 两个长度为3的卷积核参数为6, 反而比长度为5的卷积核的参数更多, 这是由于维度导致的, 从而这个优点在NLP场景中不存在

3∗33*33∗3
5∗55*55∗5
上一页卷积神经网络技巧总结下一页梯度
  1. 机器学习
  2. 神经网络
  3. CNN

卷积核的选择