cartride / cartride.github.io Goto Github PK

https://hunlp.com/posts/2591765099.html

Encoder-Decoder所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。 什么是seq2seq呢？简单的说，就是根据一个序列x，来生成另一个输出序列y。seq2seq有很多应用，例如翻译，文档摘要，问答系统等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提出的问题，而输出序列是答案。

https://hunlp.com/posts/2481245056.html

在条件随机场CRF(一)中我们总结了CRF的模型，主要是linear-CRF的模型原理。本文就继续讨论linear-CRF需要解决的三个问题：评估，学习和解码。这三个问题和HMM是非常类似的，本文关注于第一个问题：评估。第二个和第三个问题会在下一篇总结。

https://hunlp.com/posts/51604.html

整数类型 整数类型有无符号(如int)和带符号(如uint)两种,这两种类型的长度相同，但具体长度取决于不同编译器的实现。 int8、int16、int32和int64四种有符号整数类型，分别对应8、16、32、64bit大小的有符号整数，同样uint8、uint16、uint32和uint64对应四种无符号整数类型。

https://hunlp.com/posts/2313.html#more

学习笔记 k值的选择、距离度量及分类决策规则是k近邻法的三要素 三要素在算法之中完整体现出来：

https://hunlp.com/posts/2232347017.html

“惯例”这个词指的是“习惯的做法，常规的办法，一贯的做法”，与这个词对应的英文单词叫“idiom”。由于Python跟其他很多编程语言在语法和使用上还是有比较显著的差别，因此作为一个Python开发者如果不能掌握这些惯例，就无法写出“Pythonic”的代码。下面我们总结了一些在Python开发中的惯用的代码。

https://hunlp.com/posts/47564.html

字符型 Golang 中没有专门的字符类型，如果要存储单个字符(字母)，一般使用 byte 来保存，且使用单引号包裹。 字符类型可以以d%打印为整型。 123456789var c1 byte = 'a'var c2 byte = '0'fmt.Println("c1=", c1) //输出 97fmt.Println(&quot

https://hunlp.com/posts/30752.html

k-armed Bandit Problem，K臂老虎机 问题描述：重复面临有k种选择的情况，每一次选择之后，都会收到一个reward。这个reward服从一个跟你的选择相关的分布。你的目标是，在选择t次后，找到最大的期望reward。 为什么叫K臂老虎机：有K个单臂老虎机，每个时间节点，你可以选择K个中任意一个老虎机选择按下它的臂，然后获得一个奖励。目标自然是多次选择之后的累计奖励最大。

https://www.hunlp.com/posts/51507.html#more

笔记摘要 决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间上的条件概率分布 根据损失函数最小化的原则建立决策树模型 决策树的路径或其对应的if-then规则集合具有一个重要性质：互斥且完备 决策树的学习算法包含特征选择、决策树的生成与决策树的剪枝 决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择

https://hunlp.com/posts/1475683312.html

numpy的属性 shape返回一个元组分别记录着行数与列数 size返回矩阵元素的个数 ndim返回行数 A.T返回矩阵的反向矩阵

https://hunlp.com/posts/61928.html

词表征(Word Representation) 文本数据经过预处理后，需要转化成数值特征，便于后续处理

https://hunlp.com/posts/2830654865.html

在做文本挖掘的时候，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但是也有时候需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为一个词看待。而中文由于没有空格，分词就是一个需要专门去解决的问题了。无论是英文还是中文，分词的原理都是类似的，本文就对文本挖掘时的分词原理做一个总结。

https://hunlp.com/posts/3917903105.html

概述 CNN等传统神经网络的局限在于：将固定大小的向量作为输入（比如一张图片），然后输出一个固定大小的向量（比如不同分类的概率）。不仅如此，CNN还按照固定的计算步骤（比如模型中层的数量）来实现这样的输入输出。这样的神经网络没有持久性：假设你希望对电影中每一帧的事件类型进行分类，传统的神经网络就没有办法使用电影中先前的事件推断后续的事件。

https://hunlp.com/posts/1640691208.html

git配置 优先级：--local > --global > --system 用了--global这个参数，表示你这台机器上所有的Git仓库都会使用这个配置

https://hunlp.com/posts/3316626072.html

利用Python实现自动发送邮件

https://hunlp.com/posts/12171.html

logistic regression是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，推广到分类问题得到最大熵模型(maxium entropy model) 这两种模型都属于对数线性模型

https://hunlp.com/posts/19438.html

接口定义 接口（interface）是调用方和实现方均需要遵守的一种约束，大家按照统一的方法命名、参数类型和数量来协调逻辑处理的过程。实际上，接口就是一组不需实现的方法声明，不能包含任何变量。到某个自定义类型要使用的时候,在根据具体情况把这些方法写出来(实现)。

https://hunlp.com/posts/553.html

HMM生成模型 给定句子 (S)，对应的输出词性序列 (T)，HMM模型的联合概率： [ \begin{align} P(T|S) &= \frac{P(S|T)\cdot P(T)}{P(S)}\ P(S,T) &= P(S|T)\cdot P(T)\ &= \prod_{i=1}^{n}P(w_i|T)\cdot P(T)\

https://hunlp.com/posts/946488787.html

Question lintcode: (125) Backpack II Problem Statement Given n items with size [Ai] and value Vi, and a backpack with size m. What's the maximum value can you put into the backpack?

https://www.hunlp.com/posts/55282.html

笔记摘要 在PAC（概率近似正确(PAC, Probably approximately correct)）学习框架下，一个概念是强可学习的充分必要条件是这个概念是弱可学习的。 提升方法的两个问题 在每一轮如何改变训练数据的权值或概率分布 如何将弱分类器组合成一个强分类器 Adaboost的解决方案： 提高那些被前一轮弱分类器错误分类样本的权值，降低那些被正确分类的样本的权值 加权多

https://hunlp.com/posts/51094.html

CRF原理 条件随机场(conditional_random_field)，是一类判别型算法，特别适合于预测任务，任务中的 上下文信息或临近状态会影响当前状态 。如序列标注任务： >判别式模型(discriminative model)计算条件概率，而生成式模型(generative model)计算联合概率分布

https://hunlp.com/posts/690048963.html

​ 深度神经网络在人工智能的应用中，包括语音识别、计算机视觉、自然语言处理等各方面，在取得巨大成功的同时，这些深度神经网络需要巨大的计算开销和内存开销，严重阻碍了资源受限下的使用。本章总结了模型压缩、加速一般原理和方法，以及在移动端如何部署。

https://www.hunlp.com/posts/2709.html

蒙特卡洛方法简介 使用蒙特卡洛方法不需要像DP一样，对环境要有完整的知识，而是通过经验去学习。所谓经验就是对状态、动作、奖励的采样（sample sequence）。 用sample的均值去近似期望。

https://hunlp.com/posts/19036.html

该笔记摘录自微信公众号“每天进步一点点2015”的文章《Python数据分析之pandas学习（一）》和《Python数据分析之pandas学习（二）》。我对代码和讲解中不够清晰的地方进行了一些改动和补充。

https://hunlp.com/posts/52952.html

12345678910import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport math, copy, timefrom torch.autograd import Variableimport matplotlib.pyplot as pltimport seabornseab

https://hunlp.com/posts/3233011741.html

基本概念神经网络组成？神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。

https://www.hunlp.com/posts/48659.html

DP方法简介 由于其大量的计算损耗，已经不实用，但理论上非常重要。 本书后续的所有方法可以看做想要取得和DP类似的效果；只不过是减少了计算或者假设没有完美的环境模型。 假设解决的问题是有限的MDP，即给定动作a，状态s，和奖励r，可以通过(p(s',r|s,a))描述动态变化。

https://www.hunlp.com/posts/49107.html

笔记摘要 SVM的基本模型是定义在特征空间上的间隔最大的线性分类器 线性可分支持向量机和线性支持向量机假设输入空间和特征空间的元素一一对应，并将输入空间中的输入映射为特征空间的特征向量；非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量 支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数最小化问题 仿射变换是保凸变换 通

https://www.hunlp.com/posts/1796031326.html

在CRF系列的前两篇，我们总结了CRF的模型基础与第一个问题的求解方法，本文我们关注于linear-CRF的第二个问题与第三个问题的求解。第二个问题是模型参数学习的问题，第三个问题是维特比算法解码的问题。

http://hunlp.com/2021/05/23/%E7%AC%AC%E4%B8%80%E7%AF%87-%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0/

https://hunlp.com/posts/4263.html

常见进制 二进制：只有0和1，Go中不能直接使用二进制表示整数 八进制：0-7，以数字0开头 十进制：0-9 十六进制：0-9以及A-F，以0X开头，A-F以及X不区分大小写

https://hunlp.com/posts/6880.html

谈谈go设计** Go语言通过用自定义的方式形成新的类型。Go语言使用结构体和结构体成员来描述真实世界。 Go语言没有类的概念，也不支持类的继承等面向对象**。Go语言的结构体内嵌配合接口比面向对象具有更高的扩展性和灵活性。 Go语言不仅认为结构体能拥有方法，且每种自定义类型也可以拥有自己的方法。

https://hunlp.com/about/

关于 我的足迹 我的足迹 个人简介Cal EECS Phd Candidate

https://hunlp.com/posts/32633.html

Agent和Environment的交互 学习者和决策者称为agent。 agent交互的对象，外部环境，称为Environment。 在时刻t，agent的所处的环境用状态：(S_t \in S)表示，(S)是可能的状态集。假设agent采用了动作(A_t\in A(S_t))，(A(S_t))代表在状态(S_t)下可能的动作集。 到了下一个时刻t+1，agent收到了一个

https://www.hunlp.com/posts/1235119209.html

背景介绍 在上面这幅背景为灰色的图片中（使用turtle绘制），我们看到了4种不同颜色的色块。它们的颜色真的不同吗？ 答案是否定的。

https://hunlp.com/posts/2109189733.html

什么是GloVe？正如论文的标题而言，GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉到了单词之间一些语义特性，比如相似性（similari

https://hunlp.com/posts/3990258621.html

深度学习训练和推理的过程中，会涉及到大量的向量(vector)，矩阵(matrix)和张量(tensor)操作，通常需要大量的浮点计算，包括高精度（在训练的时候）和低精度（在推理和部署的时候）。GPU， 作为一种通用可编程的加速器，最初设计是用来进行图形处理和渲染功能，但是从2007年开始，英伟达(NVIDIA)公司提出了第一个可编程通用计算平台（GPU），同时提出了CUDA框架，从此开启了GPU

https://www.hunlp.com/posts/9305.html

n-step Bootstrapping简介 是MC方法和一步TD方法的结合。 是资格痕迹（eligibility traces，具体见第12章）的基础先验知识。

https://www.hunlp.com/posts/49571.html

时序差分（Temporal-Difference）简介 时序差分是强化学习的核心观点。 时序差分是DP和MC方法的结合。 MC要等一个完整的序列结束，比如玩21点扑克，直到玩完才能知道是胜是负；相反，时序差分每经历一步，都会更新价值函数，因为每一步都会观察到一个新的Reward，比如Grid World，每走一步都知道reward是什么。 TD往往比MC高效；TD和MC都使用经验（experie

http://hunlp.com/2021/05/23/%E7%AC%AC%E4%B8%80%E7%AF%87-%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0/

笔记摘要 统计学习或机器学习一般包括监督学习、无监督学习、强化学习，有时还包括半监督学习、主动学习监督学习 监督学习指从标注数据中学习预测模型的机器学习问题，其本质是学习输入到输出的映射的统计规律。 输入变量$X$和输出变量$Y$有不同的类型，可以是连续或是离散的。根据输入输出变量的不同类型，对预测任务给予不同的名称：输入与输出均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题

https://hunlp.com/posts/17970.html

BERT基本原理 BERT:Bidirectional Encoder Representations from Transformers ## BERT架构 - 自编码语言模型，模型结构为 Transformer 的编码器；由12层或更多的EncoderLayer组成

https://hunlp.com/posts/4152295526.html

介绍   朴素贝叶斯是一种构建分类器的简单方法。该分类器模型会给问题实例分配用特征值表示的类标签，类标签取自有限集合。它不是训练这种分类器的单一算法，而是一系列基于相同原理的算法：所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。 举个例子，如果一种水果其具有红，圆，直径大概3英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些

https://hunlp.com/posts/1852020302.html

简介 word2vec最初是由Tomas Mikolov 2013年在ICLR发表的一篇文章Efficient Estimation of Word Representations in Vector Space， 并且开源了代码，作用是将所有词语投影到K维的向量空间，每个词语都可以用一个K维向量表示。由于它简洁，高效的特点，引起了人们的广泛关注，并应用在很多NLP任务中，用于训练相应的词向量。

https://hunlp.com/posts/40851.html

指针的创建 Go保留了指针，代表某个内存地址，默认值为nil，使用&取变量地址，通过*访问目标对象。 简单示例： 12345v := "3"ptr := &vvalue := *ptrfmt.Printf("指针地址为：%p\n", ptr) // 输出0x.....16进制数fmt.Printf("指针地址内存储的值为：%

https://hunlp.com/posts/14702.html

数据类型和变量 数据类型 Python可以直接表达的数据类型包括：整数，浮点数，复数，字符串，布尔值和空值。

https://hunlp.com/posts/62831.html

笔记摘要 条件概率分布$P(X=x|Y=c_k)$有指数级数量的参数，其实际估计是不可行的 指数级数量的参数 $K\prod_{j=1}^nS_j$，实际估计不可行是实际上没有那么多样本 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法

https://hunlp.com/posts/2735872831.html

在一次抢珠宝店的过程中，抢劫犯只能抢走以下三种珠宝，其重量和价值如下表所述。 Item(jewellery) Weight Value 1 6 23 2 3 13 3 4 11

https://hunlp.com/posts/605.html

笔记摘要 统计学习或机器学习一般包括监督学习、无监督学习、强化学习，有时还包括半监督学习、主动学习监督学习 监督学习指从标注数据中学习预测模型的机器学习问题，其本质是学习输入到输出的映射的统计规律。 输入变量$X$和输出变量$Y$有不同的类型，可以是连续或是离散的。根据输入输出变量的不同类型，对预测任务给予不同的名称：输入与输出均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题

https://hunlp.com/posts/16175.html

关于Python中的深拷贝和浅拷贝，有一篇很好的文章：图解Python深拷贝和浅拷贝，这篇文章用示例代码和图解很好地阐释了两者的区别。这里自己简单地归纳一下。

看看

https://hunlp.com/posts/2466014920.html

包 Package 包的声明 Declare 使用package关键字声明当前源文件所在的包 包声明语句是所有源文件的第一行非注释语句 包名称中不能包含空白字符 包名推荐与源文件所在的目录名称保持一致 每个目录中只能定义一个package