淘宝实时数据传输平台:TimeTunnel -电脑资料

电脑资料 时间:2019-01-01 我要投稿
【www.unjs.com - 电脑资料】

    什么是TimeTunnel

    !TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点,

淘宝实时数据传输平台:TimeTunnel

    高性能

    2k大小的消息,峰值每秒4w TPS的访问。淘宝3台服务器,每天处理2.3T(压缩后)数据,峰值每秒50MByte流入流量、130MByte流出流量

    实时性

    90%的消息5ms以内送达

    顺序性

    如果你开启了顺序传输功能,timetunnel保证消息的发布顺序和订阅顺序是一致的

    高可靠性

    存储方面,我们设计了内存->磁盘->hadoop dfs三级缓存机制,确保数据可靠,

电脑资料

淘宝实时数据传输平台:TimeTunnel》(https://www.unjs.com)。 系统方面,我们将服务器节点组织成环,在环里面每一个节点的后续节点是当前节点的备份节点,当某节点故障时,后续节点自动接管故障节点数据,以保证数据可靠性

    高可用性

    单个节点故障,不影响系统正常运行

    可扩展性

    可以对系统进行横向和纵向扩展,横向扩展可以向现有的服务环里面增加节点,纵向扩展可以增加服务环

    谁使用TimeTunnel

    目前TimeTunnel在淘宝广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。

    http://code.taobao.org/p/TimeTunnel/src/

最新文章