数据结构与算法这一分类的文章，将采用严蔚敏《数据结构与算法》一书的顺序结合leetcode题目Go实现，实践与理论相结合的方式记录学习过程。
数据结构与算法这一分类的文章，将采用严蔚敏《数据结构与算法》一书的顺序结合leetcode题目Go实现，实践与理论相结合的方式记录学习过程。
动态规划的套路一般可以分为三个步骤，跟多维数组数组元素按规则变换有点类似，本质都是找到对应的数学方程式：
数据结构与算法这一分类的文章，将采用严蔚敏《数据结构与算法》一书的顺序结合leetcode题目Go实现，实践与理论相结合的方式记录学习过程。
数据结构与算法这一分类的文章，将采用严蔚敏《数据结构与算法》一书的顺序结合leetcode题目Go实现，实践与理论相结合的方式记录学习过程。
如果只需要读一个字，内存比磁盘方位快百万数量级
磁盘组织成柱面，每个柱面包含若干磁道，磁道数与垂直堆叠的磁头个数相同，磁道分成若干扇区
IPC问题
每个程序有自己的地址空间，被分割成多个快，即页面，每一页有连续的地址范围。这些页被映射到物理内存，不一定需要在内存中才能运行，
当程序引用到一部分不在物理内存中的地址空间时，操作系统负责将缺失的部分装入物理内存并重新执行失败指令。当程序等待它的一部分读入内存时，可以让出CPU
1 | sudo apt install libssl-dev |
1 | server { |
配置nginx接受代理协议，则nginx将真实客户端ip和端口存储在变量$proxy_protocol_addr，$proxy_protocol_port
1 | http { |
http修改当前server ip为当前实际客户端的ip
1 | http { |
将ip地址传递给上游服务
1 | http { |
将$proxy_protocol_addr添加到log_format中
安全地协商出一份对称加密秘钥
RSA算法流程
1 | http { |
MIME：Multipurpose Internet Mail Extension，电子邮件系统和HTTP用于描述标记多媒体内容
URI：统一资源标识符，可以有URL和URN两种形式
URL：协议+服务器地址+资源路径
事务：通过HTTP报文格式化数据块完成一次请求和响应
大多数URL方案的语法建立在
设计URL使其可以通过任意因特网协议安全传输是很重要的，有些协议如SMTP的传输方法只能使用相对较小，通用的安全字母表中的字符
URL中包含如中文等非安全字母表二进制数据或字符时，则需要进行转义
转义：百分号+字符编码的十六进制数
如应用程序服务器，早期的CGI通用网关接口
Python amqp 是celery项目维护的一个AMQP客户端，详细的介绍可以点开链接查看。它的代码量比较小，有助于我们学习AMQP，首先我们了解一下包的目录结构。大致阅读整体代码后，我们能够了解到整体的分层设计大致如图。之后我们再深入每一层的代码实现，由底至上，学习相关的知识点。阅读完整个的源码后，我们再尝试用golang重新撸一遍实现。
这一层主要是基于TCP连接，实现带缓冲区套接字字节流的读写，协议数据报的读写
协议无关性：socket.getaddrinfo 将返回目标地址支持的套接字信息并返回已填入相关信息的网际套接字地址结构sa，可以直接conenct。无需考虑IPv4还是IPv6
设置描述符cloexec，子进程fork之后调用exec函数成功后，会自动关闭文件描述符，避免父进程退出重启后因为端口占用无法重启：
1 | def set_cloexec(fd, cloexec): |
套接字选项设置，详情可以参考《UNIX网络编程卷1》第7章
1 | self.sock.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1) |
套接字读写，TCPTransport和SSLTransport分别实现了抽象类的套接字读写方法。SSLTransport使用ssl库包裹了当前套接字并使用ssl的读写方法。读数据时，可能出现的异常
1 | errno.ENOENT：recv收到对端发送的RST产生的错误 |
1 | def read_frame(self, unpack=unpack): |
这一层主要提供了字节流与上层数据类型的转换工具AMQPReader/AMQPWriter，不同帧类型的数据报的组装和读取解析工具MethodWriter/MethodReader。我们先研究一个具体使用的场景如声明exchange_declare。
1 | class Channel(AbstractChannel): |
通过AMQPWriter，将exchange_declare的参数序列化为字节流args，通过查看_send_method可以知道最后由MethodWriter.write_method执行组装发送，这里的write_frame则由底层的transport提供
1 | class MethodWriter(object): |
至此我们已经初步了解了从上层抽象的操作接口到底层字节流的转换进行通信的过程。而上述只是一个基本的包含参数的操作，对于带有消息内容的发布与接收操作，则增加两种类型：消息头部和消息实体。
1 | class MethodWriter(object): |
还是同一个方法，这次我们关注frame_type为2的消息头部，从图可以看出这次需要得到两个关键信息就是消息实体的长度和序列化后的消息头的属性，消息实体的长度计算的是编码后的。
1 | class GenericContent(object): |
消息头属性的序列化，仍然是使用AMQPWriter来对值进行转换。需要考虑三个问题，一个是如何知道消息头的属性有多少个，二是属性在字节流的对应位置，三是确定每个属性在字节流对应位置的边界。
写的时候通过从高位到低位设置标记位，并依次根据属性值不同类型，写入属性值转换后的数据。
消息实体类型的处理相对简单，如果数据太大，则分片进行多次发送，需要考虑的是接收端同一个channel需要进行等待组装完整的数据接收
1 | class _PartialMessage(object): |
MethodReader提供了给上层消费者调用的read_method，内部维护一个临时队列，如果完整的数据每结束，则继续阻塞读取直到合并成完成的数据message对象，这一步临时存储和组装则由_PartialMessage完成
这一部分，通过对Connection的研究，可以将这部分分为4部分：连接管理，会话建立与关闭的状态转移，channel管理，事件驱动与分发
查看连接是否存活，MSG_PEEK如果套接字有该选项，则支持从套接字缓冲区预读以此检测连接是否存活
1 | class Connection(object): |
提供保持连接的心跳探活
1 | class Connection(object): |
连接关闭，关闭transport，所有打开的channel都进行清理关闭
其状态转移过程如下图1
2
3
4
5
6
7
8
9
10
11
12GRAMMAR::
connection = open-connection *use-connection close-connection
open-connection = C:protocol-header
S:START C:START-OK
*challenge
S:TUNE C:TUNE-OK
C:OPEN S:OPEN-OK
challenge = S:SECURE C:SECURE-OK
use-connection = *channel
close-connection = C:CLOSE S:CLOSE-OK
/ S:CLOSE C:CLOSE-OK
Connection作为0号信道，负责该连接下的事件驱动与分发，接收server的数据报，并分发给数据报指定的channel
可扩展性: 通过增加资源提升容量的能力
容量可以简单地认为是处理负载的能力,考虑负载可从以下几个角度
数据分片是目前扩展大型MySQL最通用且最成功的方法
工欲善其事,必先利其器
主要包括以下功能
MySQL内建的复制功能是构建基于MySQL的大规模,高性能应用的基础.同时也是高可用性,可扩展性,灾难恢复,备份及数据仓库等工作的基础
问题: 主库已经运行一段时间,用一台新安装的备库与之同步
保持同步条件:
克隆备库方法:
当主库崩溃时,需要提升一台备库替代
视图本身是一个虚拟表,不存放任何数据,不能对视图创建触发器