Weakyon Blog

Weakyon

做迁移的一些体会

难点: 最近公司做用户数据迁移,4TB的量,租借了20Gb的带宽,完整迁移需要25天,给的迁移期只有30天,整个迁移过程的容错性和可靠性要非常强 另外由于数据的特殊性,用户数据的错乱比起迁移失败等等无疑是更严重的问题,所以迁移过程要保证强独立性 然而迁移过程的开发时间只有5天,测试时间5天,非常仓促(实际上线后确实遇到不少问题,又花了5天才全部解决) 分析和解决: 同事给的建议是迁...

fastdfs和ceph对比

需求是图片,视频等文件的存储 属于少写多读的场合,修改操作较少。文件粒度是大小文件都有。 一 fastdfs 先谈谈fastdfs,我在公司已经应用了两年了,对他的基本特性比较熟悉,在这种场合下有这些优缺点 优点: 1 机器配置要求低。毕竟号称“穷人的解决方案不是白来的”。不管是上传下载,同步恢复,都对机器的负载要求非常低。 2 上传速度快。因为是弱一致性模型,上传不需要强写...

golang http上传文件的用法以及对官方库的零拷贝优化

golang的http上传文件的实现细节严格遵循了multipart/form-data的RFC1867规范,细节网上已经分析了很多了 本篇只是讨论golang上如何使用官方库实现的框架 客户端上传很简单,利用”mime/multipart”官方库即可完成上传 可以看到这里上传文件时全部加载在内存的bodyBuf字符数组中,所以这里只是上传小文件,大文件这么上传会写爆内存 ...

fastdfs客户端go语言实现细节

首先是轮子地址: https://github.com/tedcy/fdfs_client 最近用go做项目,要用到fastdfs 看了下github上star最多的fastdfs go客户端https://github.com/weilaihui/fdfs_client,稍微看了下感觉不太好。 首先是4个issue全是opened 看了下其中一个说连接泄漏的,看了代码,在发送...

codis迁移方案分析

codis在迁移方案上下了不少功夫,我认为codis和twemproxy最大的区别之一是: codis是面向slot的管理,而twemproxy只是面向redis后端的管理 codis迁移是由Topom结构体的SlotCreateAction方法开始的,这个方法也许叫做SlotMoveToGroupCreateAction更加容易让人理解 这个方法需要两个参数,slot id以及gro...

初识GO语言

记录下踩到的坑 一 接口 package main import ( ...

codis3.0高可用方案分析

一 HA代码 二 Promote指令 [三 SyncCreateAction指令] (#jump3-0) 四 Codis高可用方案的优化 codis3.0内置了ha方案(在3.0以前ha是独立项目) 本文大致分析一下他的代码,试图找出他这样设计的目的,是否还存在什么缺点以及分析缺点的解决方案 本文的对象是对redis集群有一定经验,基本了解过codis方案的读者 一...

linux下超时重传时间(RTO)的实现探究

最近出现了网络超时的问题要排查,大致按照如图思路去排查 排除了代码逻辑问题,TCP相关可能的BUG,内核参数等问题后 在排查KVM问题时,在同一个宿主机的不同KVM上,复现了超时问题。 发现大部分异常连接时长都在1s左右,通过抓包分析,可以看到这部分的包被重传了,重传的时间固定为1秒。 这里重传时间为什么是1秒呢,相关的标准和实际实现是怎样的呢? 本文主要讨论的就是这部分内容(...

zookeeper c 客户端源码分析以及使用注意点

zookeeper的库用起来很麻烦,建议使用我封装的zookeeper c库,能考虑更少的zookeeper本身的逻辑 链接: ylibzkevent 在上一篇文章查CLOSE_WAIT泄漏问题的时候稍微看了下zookeeper c源码,大致对他的流程来做一个分析。 zookeeper的C客户端分为mt库和st库(多线程和单线程),一般操作都是以多线程库为主。 多线程库分为三个...

pipeline模式的理解

对于C/S模型而言,传统的请求和回复是这样的 req -------------> <------------- rsp req -------------> <------------- rsp req -------------> <------------- rsp 而pipeline模式是这样的 req1 ...