Git Product home page Git Product logo

tera's Introduction

Build Status
Copyright 2015, Baidu, Inc.

#Overview Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。

#特性

  • 全局有序
  • 热点自动分片
  • 数据强一致
  • 多版本,自动垃圾收集
  • 按列存储,支持内存表
  • 动态schema
  • 支持表格快照
  • 高效随机读写

#数据模型 Tera使用了bigtable的数据模型,可以将一张表格理解为这样一种数据结构:
map<RowKey, map<ColummnFamily:Qualifier, map<Timestamp, Value> > >
其中RowKey、ColumnFamily、Qualifier和Value是字符串,Timestamp是一个64位整形。ColumnFamliy需要建表时指定,是访问控制、版本保留等策略的基本单位。

#系统架构 系统主要由Tabletserver、Master和ClientSDK三部分构成。其中Tabletserver是核心服务器,承载着所有的数据管理与访问;Master是系统的仲裁者,负责表格的创建、schema更新与负载均衡;ClientSDK包含供管理员使用的命令行工具teracli和给用户使用的SDK。 表格被按RowKey全局排序,并横向切分成多个Tablet,每个Tablet负责服务RowKey的一个区间,表格又被纵向且分为多个LocalityGroup,一个Tablet的多个Localitygroup在物理上单独存储,可以选择不同的存储介质,以优化访问效率。

架构图

#系统依赖

  • 使用分布式文件系统(HDFS、NFS等)持久化数据与元信息
  • 使用分布式协调服务(Nexus或者zookeeper)选主与协调
  • 使用Sofa-pbrpc实现跨进程通信

#系统构建 sh ./build.sh
参考BUILD

#使用示例

通过OneBox体验Tera

通过docker体验Tera

SDK 开发入门

teracli 使用手册

#反馈与技术支持 [email protected]

#成为贡献者 完成5个小任务,帮你一步步成为tera贡献者.

#欢迎加入 如果你热爱开源,热爱分布式技术,请将简历发送至: [email protected]

tera's People

Contributors

xupeilin avatar 00k avatar bluebore avatar lylei avatar taocp avatar fxsjy avatar lylei9 avatar michellez avatar yoyzhou avatar sunjoy1984 avatar yvxiang avatar junhuihuang avatar yyq224444 avatar imotai avatar owenliang avatar

Watchers

liufeiran avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.