.jpeg?width=800)
学习笔记
未读
【机器学习】决策树算法详解(ID3, C4.5)
1前言 在这里主要介绍决策树中的ID3算法以及C4.5算法的原理，由于代码比较多，我将代码放在Github中了，ID3的代码点击此处，C4.5的代码点击此处。 2 决策树简介 决策树顾名思义就是一个基于树形结构进行决策的过程。例如，我们要对 明天是否出去玩？作一个决策，我们通常会作一系列判断
学习笔记
未读
【机器学习】信息熵的理解
信息量的理解 信息量是对信息的度量，是指某个事件发生时我们所接收到的信息量的多少。信息的大小跟随机事件的概率有关。越小概率的事件发生了产生的信息量越大，越大概率发生事件发生了产生的信息量越小。 “太阳从东边升起”，是一个必然事件，其概率为1，当它发生时，我们不能从其中提取出对我们有什么用的信
学习笔记
未读
【信息论】离散信息源
一、基本概念 1、离散信息源定义 一类信源输出的消息常常以一个个符号的形式，例如文字、字母等，这些符号的取值是有限个的或可数的，这样的信源称为离散信源。 2、离散信息源 \begin{Bmatrix} a_{1},a_{2},\cdots,a_{n} \end{Bmatrix} 3、单符号离散信源数
学习笔记
未读
【机器学习】KNN算法详解
KNN算法概述 KNN(k-nearest neighbor)算法属于机器学习中的有监督分类算法，主要用于分类，是最简单的机器学习算法之一顾名思义，其算法主体思想就是根据距离相近的邻居类别，来判定自己的所属类别。 KNN算法思路 1、计算测试对象与训练集中所有对象的距离，一般采用欧式距离。 2、找出
