V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
waruqi
V2EX  ›  程序员

跨平台 c 开发库 tbox v1.6.5 发布,改进协程调度支持

  •  1
     
  •   waruqi ·
    waruqi · 2020-03-01 10:10:10 +08:00 · 1979 次点击
    这是一个创建于 1720 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这个版本功能和特性改动并不多,主要是改进了下协程的调度模块,实现对 process, socket,pipe 这三种对象间的统一调度支持,我们可以在协程中同时操作进程,socket 还有管道。

    这有赖于 tbox 提供的 poller 模块,统一封装了对 epoll/kqueue/select/poll/iocp 等接口,实现跨平台的等待 socket/pipe 对象事件。

    相关 poller 接口主要有下面四个,其中 object 可以是 process/pipe/socket 对象,然后设置上对应的事件就可以去同时 wait 了。

    tb_bool_t tb_poller_insert(tb_poller_ref_t poller, tb_poller_object_ref_t object, tb_size_t events, tb_cpointer_t priv);
    tb_bool_t tb_poller_remove(tb_poller_ref_t poller, tb_poller_object_ref_t object);
    tb_bool_t tb_poller_modify(tb_poller_ref_t poller, tb_poller_object_ref_t object, tb_size_t events, tb_cpointer_t priv);
    tb_long_t tb_poller_wait(tb_poller_ref_t poller,   tb_poller_event_func_t func, tb_long_t timeout);
    

    另外,poller 还对进程事件的等待也加上了支持,可以通过相同的 wait 接口同时对 process 的退出事件进行等待,关于这块内部其实还是做了很多事的。

    例如:

    1. win 上通过 thread+WaitForMultipleObjects 的方式来对接到 poller
    2. unix 上通过 thread/waitpid 的方式来对接到 poller

    更新内容

    新特性

    • #112: 新增 unix socket 支持,感谢@Codehz的贡献
    • 在协程和 poller 中支持同时等待和调度 socket,pipe io 和 process

    改进

    • 改进 uuid 生成,实现 uuid v4
    • 支持 msys/mingw 和 cygwin/gcc 上编译

    特性

    流库

    针对 http、file、socket、data 等流数据,实现统一接口进行读写,并且支持: 阻塞、非阻塞、异步 三种读写模式。 支持中间增加多层 filter 流进行流过滤,实现边读取,内部边进行解压、编码转换、加密等操作,极大的减少了内存使用。

    主要提供以下模块:

    • stream:通用非阻塞流,用于一般的单独 io 处理,同时支持协程以实现异步传输。
    • transfer:流传输器,维护两路流的传输。
    • static_stream:针对静态数据 buffer 优化的静态流,用于轻量快速的数据解析。

    协程库

    • 快速高效的协程切换支持
    • 提供跨平台支持,核心切换算法参考 boost,并且对其进行重写和优化,目前支持架构:x86, x86_64, arm, arm64, mips32
    • 提供 channel 协程间数据通信支持,基于生产、消费者模型
    • 提供信号量、协程锁支持
    • socket、stream 都模块原生支持协程,并且可在线程和协程间进行无缝切换
    • 提供 http、file 等基于协程的简单服务器实例,只需几百行代码,就可以从 socket 开始写个高性能 io 服务器,代码逻辑比异步回调模式更加清晰
    • 同时提供 stackfull, stackless 两种协程模式支持,stackless 协程更加的轻量(每个协程只占用几十个 bytes ),切换更快(会牺牲部分易用性)
    • 支持 epoll, kqueue, poll, select 和 IOCP
    • 在协程和 poller 中支持同时等待和调度 socket,pipe io 和 process

    数据库

    • 统一并简化数据库操作接口,适配各种数据源,通过统一的 url 来自动连接打开支持的数据库,数据的枚举采用迭代器模型。
    • 目前支持 sqlite3 以及 mysql 两种关系型数据库,也可自定义扩展使用其他关系型数据库。

    xml 库

    • 针对 xml 提供 DOM 和 SAX 两种解析模式,SAX 方式采用外部迭代模式,灵活性和性能更高,并且可以选择指定路径,进行解析。
    • 解析过程完全基于 stream,所以是高度流化的,可以实现边下载、边解压、边转码、边解析一条龙服务,使用较低的内存也可以解析大规模数据。
    • 提供 xml writer 以支持对 xml 生成

    内存库

    • 参考 linux 内核内存管理机制的实现,并对其进行各种改造和优化,所实现的 TBOX 独有的一整套内存池管理架构。
    • 调试模式下,可以轻松检测并定位内存泄露、内存越界溢出、内存重叠覆盖等常见内存问题,并对整体内存的使用进行了统计和简要分析。
    • 针对大块数据、小块数据、字符串数据进行了充分的利用,避免了大量外部碎片和内部碎片的产生。分配操作进行了各种优化,96%的情况下,效率都是在 O(1)。

    容器库

    • 提供哈希、链表、数组、队列、堆栈、最小最大堆等常用容器。
    • 支持各种常用成员类型,在原有的容器期初上,其成员类型还可以完全自定义扩展。
    • 所有容器都支持迭代器操作。
    • 大部分容器都可以支持基于 stream 的序列化和反序列化操作。

    算法库

    • 提供各种排序算法:冒泡排序、堆排序、快速排序、插入排序。
    • 提供各种查找算法:线性遍历、二分法搜索。
    • 提供各种遍历、删除、统计算法。
    • 以迭代器为接口,实现算法和容器的分离,类似 stl,但是 c 实现的,更加轻量。

    网络库

    • 实现 http 客户端模块
    • 实现 cookies
    • 实现 dns 解析与缓存
    • 实现 ssl(支持 openssl, polarssl, mbedtls)
    • 支持 ipv4、ipv6
    • 支持通过协程实现异步模式

    数学运算库

    • 提供各种精度的定点运算支持
    • 提供随机数生成器

    libc 库

    • libc 的一个轻量级实现,完全跨平台,并且针对不同架构进行了优化。
    • 支持大部分字符串、宽字符串操作。
    • 扩展字符串、宽字符串的各种大小写不敏感操作接口
    • 扩展memset_u16memset_u32等接口,并对其进行高度优化,尤其适合图形渲染程序

    libm 库

    • libm 部分接口的一个轻量级实现,以及对常用系统接口的封装。(目前只实现了部分,之后有时间会完全实现掉)
    • 扩展部分常用接口,增加对 sqrt、log2 等常用函数的整数版本计算,进行高度优化,不涉及浮点运算,适合嵌入式环境使用。

    object 库

    • 轻量级类 apple 的 CoreFoundation 库,支持 object、dictionary、array、string、number、date、data 等常用对象,并且可以方便扩展自定义对象的序列化。
    • 支持对 xml、json、binary 以及 apple 的 plist(xplist/bplist)格式序列化和反序列化。 并且实现自有的 binary 序列化格式, 针对明文进行了简单的加密,在不影响性能的前提下,序列化后的大小比 bplist 节省 30%。

    平台库

    • 提供 file、directory、socket、thread、time 等常用系统接口
    • 提供 atomic、atomic64 接口
    • 提供高精度、低精度定时器
    • 提供高性能的线程池操作
    • 提供 event、mutex、semaphore、spinlock 等事件、互斥、信号量、自旋锁操作
    • 提供获取函数堆栈信息的接口,方便调试和错误定位
    • 提供跨平台动态库加载接口(如果系统支持的话)
    • 提供 io 轮询器,针对 epoll, poll, select, kqueue 进行跨平台封装
    • 提供跨平台上下文切换接口,主要用于协程实现,切换效率非常高

    压缩库

    • 支持 zlib/zlibraw/gzip 的压缩与解压(需要第三方 zlib 库支持)。

    字符编码库

    • 支持 utf8、utf16、gbk、gb2312、uc2、uc4 之间的互相转码,并且支持大小端格式。

    实用工具库

    • 实现 base64/32 编解码
    • 实现 crc32、adler32、md5、sha1 等常用 hash 算法
    • 实现日志输出、断言等辅助调试工具
    • 实现 url 编解码
    • 实现位操作相关接口,支持各种数据格式的解析,可以对 8bits、16bits、32bits、64bits、float、double 以及任意 bits 的字段进行解析操作,并且同时支持大端、小端和本地端模式,并针对部分操作进行了优化,像 static_stream、stream 都有相关接口对其进行了封装,方便在流上进行快速数据解析。
    • 实现 swap16、swap32、swap64 等位交换操作,并针对各个平台进行了优化。
    • 实现一些高级的位处理接口,例如:位 0 的快速统计、前导 0 和前导 1 的快速位计数、后导 01 的快速位计数
    • 实现单例模块,可以对静态对象、实例对象进行快速的单例封装,实现全局线程安全
    • 实现 option 模块,对命令行参数进行解析,提供快速方便的命令行选项建立和解析操作,对于写终端程序还是很有帮助的

    正则表达式库

    • 支持匹配和替换操作
    • 支持全局、多行、大小写不敏感等模式
    • 使用 pcre, pcre2 和 posix 正则库

    一些使用 tbox 的项目:

    9 条回复    2020-03-18 13:52:44 +08:00
    keygen88
        1
    keygen88  
       2020-03-01 11:05:42 +08:00   ❤️ 1
    支持一下
    kiwier
        2
    kiwier  
       2020-03-01 11:13:07 +08:00   ❤️ 1
    支持一下
    waruqi
        3
    waruqi  
    OP
       2020-03-01 12:08:16 +08:00
    @kiwier
    @keygen88 谢谢支持
    magicfuzzx
        4
    magicfuzzx  
       2020-03-01 12:23:12 +08:00
    厉害,国内有这么牛逼的跨平台 c++开源库,了不起
    cabing
        5
    cabing  
       2020-03-01 12:28:11 +08:00
    赞一个。

    这个和腾讯的开源的协程库有过比较吗、
    waruqi
        6
    waruqi  
    OP
       2020-03-01 12:52:06 +08:00
    @magicfuzzx 是 c 库哦,不是 c++
    waruqi
        7
    waruqi  
    OP
       2020-03-01 12:54:58 +08:00
    @cabing 很久之前有基准测试对比,不过好久之前了,现在没参考价值,你可以自己对比下看看。。
    cabing
        8
    cabing  
       2020-03-01 13:45:46 +08:00
    @waruqi 嗯。好的。
    aaaaaaaaa
        9
    aaaaaaaaa  
       2020-03-18 13:52:44 +08:00
    项目是好项目,不过你们的群主(还是管理员?)好大的官威啊

    你们群 400+人,验证问题让加二群,但还没满,我就申请入群,被拒,再次申请,我说还没满,为什么不让进,然后没下文了

    我以为管理直接给我忽略了,结果下午一看,我已被踢出群?也就是同意了接着 T 了我? T 着玩吗?

    好吧,惹不起
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   980 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:54 · PVG 04:54 · LAX 12:54 · JFK 15:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.