Weakyon Blog
0%

发表于 更新于 分类于 本文字数： 35k 阅读时长 ≈ 32 分钟

自研serverless平台存在一个问题很多年了，引入cpython以后，就不能使用tcmalloc了

否则会直接coredump，这个问题不解决，使用平台的同学就没办法进行内存泄露分析

在一个多部门组成的python和C++的混合脚本上，问题爆发了，由于申请内存是一个部门的模块，释放内存又是另外一个部门的模块，跨部门协作下的内存排查太过困难了

因此还是需要从平台侧解决这个问题

coredump问题

阅读全文 »

发表于 更新于 分类于 本文字数： 78k 阅读时长 ≈ 1:11

本文的llvm版本，是基于llvm7.1.0的release包添加了一些利于理解的日志，没有改功能，已经上传到github：https://github.com/tedcy/llvm7_test

在conanio/gcc5:2.91的镜像版本，使用项目中的build.sh就能编译

类图

RuntimeDyldImpl是RuntimeDyld的PIMPL模式，因此省略了RuntimeDyld

类图里面有让人眼花缭乱的MemMgr和Resolver传递，实际上都是指向的RTDyldMemoryManager

阅读全文 »

发表于 更新于 分类于 本文字数： 3.1k 阅读时长 ≈ 3 分钟

昨晚又整ssh配置整了半天，记不清楚是第几次踩坑了，还是需要整理一下问题的处理思路

docker配置

我是在docker上操作的，首先在https://hub.docker.com/search?q=gcc5&type=image找到想要的镜像，然后拉镜像运行（https://github.com/dongyubin/DockerHub看下可用的代理）

1
2
~ docker pull proxy.vvvv.ee/conanio/gcc5
~ docker run -it -p2222:22 proxy.vvvv.ee/conanio/gcc5 /bin/bash

随后登陆安装ssh基础依赖

阅读全文 »

发表于 更新于 分类于 本文字数： 55k 阅读时长 ≈ 50 分钟

最近框架接json schema的需求，因此对其进行了调研

star最多的两个库https://github.com/pboettch/json-schema-validator和https://github.com/danielaparker/jsoncons（已完成）

json-schema-validator jsoncons
规范支持 Draft 7 Draft 7，Draft 2019-09，Draft 2020-12
字符串格式检查器 没有预设，都要自己实现 支持date，email，tcp等常见的数十种
外部依赖 C++11起，依赖github.com/nlohmann/json C++20起
更新频率 253 commits，7 months ago 12335 commits，yesterday

总体而言，jsoncons会更好（规范支持全面，功能多，更新频率高），但是接入难度更高（依赖C++20，框架要兼容C++11的钉子户用户）

json-schema-validator基本功能都有，凑活够用，所以还是先接入json-schema-validator，对其进行源码分析

阅读全文 »

发表于 更新于 分类于 本文字数： 27k 阅读时长 ≈ 24 分钟

当前的一致性哈希存在四个bug，分别进行分析

以这个版本https://git.huya.com/server_arch/taf/-/blob/924950284557f183bd025ed758dc2e878ae36938/src/libservant/EndpointManager.cpp#L2448为例

我新增了部分日志，总体流程的关键代码在getConHashProxyForNormal

他的输入是hashCode（也就是prx->taf_consistent_hash(hashCode)传入的），输出是本次负载均衡选出的节点指针

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
AdapterProxyPtr EndpointManager::getConHashProxyForNormal(int64_t hashCode)
{
    //_vLastConHashProxys是上一次更新一致性哈希时记下的节点
    //checkConHashChange中如果当前节点和上一次的有变化，那么返回true
    if(checkConHashChange(false, _vLastConHashProxys)) {

        //根据当前节点，把数据写入到_consistentHash
        updateConHashProxyWeighted(true, _vLastConHashProxys, _consistentHash);
    }
    LOG_INFO << "[TAF][EndpointManager::getConHashProxyForNormal _sObjName:"
             << _sObjName
             << "|_consistentHash.size():" << _consistentHash.size() << endl;

    if(_consistentHash.size() > 0) {
        //根据_consistentHash数据一致性哈希选节点
        ...

        //没选出来，返回空
        return nullptr;
    }
    //_consistentHash是空的，降级到普通hash

    return getHashProxyForNormal(hashCode);
}
阅读全文 »

发表于 更新于 分类于 本文字数： 5.5k 阅读时长 ≈ 5 分钟

在Serverless平台的研发过程中，意外在python的import问题上踩坑了

大概还是对python的包管理基本原理不够了解，首先对python的包管理机制做一个总结，然后分析这一次踩坑的问题

python的包管理

Import基本语法

Python 中 import 有四种常见语法形式：

阅读全文 »

发表于 更新于 分类于 ， 本文字数： 8k 阅读时长 ≈ 7 分钟

距离上一篇记录过载保护的文章再看过载保护，已经过去有6年多了，回看那一篇文章，未免显得青涩，大部分都是错误的

文章核心理论集中在“控制任务队列长度”来规避过载，根据压测得出过载根因：并发上升 → 任务队列长度剧增 → 资源占用加剧 → 响应时间线性增加

看似没啥问题，但是压测是基于grpc服务和net/http服务的

img

net/http服务显然没有队列概念。grpc也没有内置队列，它主要依赖 HTTP/2 多路复用，在收到请求后就会启动相应的 Goroutine 进行处理

阅读全文 »

发表于 更新于 分类于 本文字数： 29k 阅读时长 ≈ 26 分钟

继上一篇实现HTTP长连接的HTTP/1.1连接池实现已经过去半年

这一段时间发现了HTTP/1.1连接池无法解决的致命缺点：

在突发高并发场景下，客户端由于需要额外建连很容易退化成短连接

  • 在超高突增并发下和短链接几乎无异，我司由于业务特性就是这种情况

  • 即使突增并发不高，只要并发持续增长超过一定比例后，由于新建连接的tcp握手+ssl握手需要耗费大量的cpu，造成客户端和服务端的cpu不稳定，叠加新建连接的tcp慢启动因素带来了更多的超时。

    而HTTP/1.1一旦超时就需要断开连接重新建连，更多的建连带来了更多的超时，又带来了更多的建连，就造成了雪崩效应

HTTP/1.1压测

阅读全文 »

发表于 更新于 分类于 本文字数： 4.5k 阅读时长 ≈ 4 分钟

本文整理一下遇到的编译问题，最常见的就是编译时缺符号，重定义

但是一般来说cmake生成的make语句会隐藏实际的gcc语句，如果手写的makefile，也有可能是目标规则没配置正确

make的debug

  • 查看实际的gcc语句

    • 特殊命令

      VERBOSE = 1或者V=1，主要看makefile怎么写的，一般都能用

    • 通用的

      make -n

      实际上是只输出make试图运行的指令

  • 查看目标规则情况

    make -d

    将打印 Make 为每个目标尝试的所有规则（包括内置规则）

单步编译链接语句debug

阅读全文 »