ITPub博客

首页 > 架构设计 > 数据架构

关于 “数据架构” 的内容如下:

  • BlueStore源码分析之架构设计

    前言Ceph早期的单机对象存储引擎是FileStore,为了维护数据的一致性,写入之前数据会先写Journal,然后再写到文件系统,会有一倍的写放大,而同时现在的文件系统一般都是日志型文件系统(ext系列、xfs),文件系统本身为了数据的一致性,也会写Journal,此时便相当于维护了两份Journal;另外FileStore是针对HDD的,并没有对SSD作优化,随着SSD的普及,针对SSD优化的

    java06051515 数据架构 405 2020-01-12 16:54
  • SpringCloud分布式微服务b2b2c电子商务-Gateway的基本入门

    SpringCloud微服务项目之间调用是通过httprest请求来进行服务调用的,之前我们会用到HttpClient等工具来进行服务请求,Spring对这种请求进行了处理,封装成了可声明式的web客户端,使得编写web客户端更容易,feign还支持可插拔的编码器和解码器,Spring在用的时候增加了对@requestMapping的处理,同时,SpringCloud还对feign集成了注册中心(

    gung123 数据架构 427 2020-01-06 11:40
  • API网关,让您和Serverless再近一步

    从软件行业诞生之日起,技术和业务总是相辅相成。业务的创新促进着软件架构从最早期的单体架构、分布式架构,转变到了如今火热的微服务架构,以及云时代下诞生的Serverless架构。API网关作为单体应用和微服务架构中流量的入口和API的管理者,对于Serverless架构来说依然扮演着重要的角色。

    京东云技术新知 数据架构 394 2019-12-25 10:36
  • 百万级高并发mongodb集群性能数十倍提升优化实践(上篇)

    背景线上某集群峰值TPS超过100万/秒左右(主要为写流量,读流量很低),峰值tps几乎已经到达集群上限,同时平均时延也超过100ms,随着读写流量的进一步增加,时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构,数据均衡的分布于各个分片中,添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:从上图可以看出集群流量比较大,峰值已经突破120万/秒,其中de

    JAVA架构 数据架构 399 2019-12-24 21:10
  • 直播系统搭建所用到的技术原理

    开发一套视频直播系统,整个流程中所运用到的技术原理大概是哪些。

    拓幻科技 数据架构 384 2019-12-23 13:55
  • 最最最全数据仓库建设指南,速速收藏!!

    开讲之前,我们先来回顾一下数据仓库的定义。数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年在《建立数据仓库》一书中提出,近年来却被愈发广泛的提及和应用,不信看下图:到底是什么,让一个从上世纪90年代提出的概念,在近几年确越来越热?带着这个问题,我们来了解一

    数澜科技 数据架构 416 2019-12-13 16:31
  • 企业产品视频宣传制作,log制作,企业年会广告视频设计公司

    企业产品视频宣传制作,log制作,企业年会广告视频设计公司

    区块链开发 数据架构 426 2019-12-07 09:23
  • 数据库之互联网常用架构方案一览

    数据库中间件,引入开源(mycat等)或自研的数据库中间层。个人理解,思路同选择读主。数据库中间件的成本比较高,并且还多引入了一层

    IT职业频道 数据架构 412 2019-11-29 15:02
  • 工业互联网平台架构方案,构建工业互联网企业数字化、网络化、智能化服务体系

    工业互联网平台基于ICT技术打造的开放式平台,聚焦“联接+云”,提供智能化的边缘层、泛在网络、可信IaaS、工业PaaS,及汇聚生态伙伴的工业SaaS, 助力制造企业数字化转型。

    stevenzhang 数据架构 301 2019-11-21 17:24
  • 去O路上的历程--开源分布式数据库产品对比(TBase VS AntDB)

    在去O的道路上,选择合适的具有自主知识产权的分布式数据库产品任重而道远。

    zjadolf 数据架构 130 2019-11-16 11:45
  • SQL Server阻塞blocking案例分析

    今天在性能测试过程中发现大量阻塞报警,检查whoisactive(https://github.com/amachanic/sp_whoisactive/)数据发现,阻塞blocking头部session当前执行的语句如下:<?query --(@p0 int,@p1 datetime,@p2 bigint,@p3 bigint,@p4 bigint)INSERT INTO [License

    宅慕思_ 数据架构 443 2019-11-06 09:51
  • 从库转换成PXC集群的节点

    环境介绍:mysql 5.7版本PXC集群两个节点:10.9.21.17910.9.21.178从节点:10.9.21.115(普通主从,数据库软件为普通版本,非集群版本)现在的目的是要把10.9.21.115转换成PXC集群的节点,采用IST增量同步的方式来减小对PXC主库的影响;疑问:1.PXC 物理备份,可以直接使用普通的数据库软件加载打开吗?可以,我从PXC使用innobackex备份,然

    贺子_DBA时代 数据架构 446 2019-10-26 19:20
  • SQL Server如何配置cdc进行ETL

    企业核心业务系统oltp的数据需要通过ETL同步到数据仓库,原始的ETL流程通过定制化从SQL Server中进行数据抽取,经过生产环境的监控,发现ETL过程的query会对生产系统造成额外负载。于是制定了通过cdc进行增量数据同步的方案:方案选型中比对了SQL server的trigger,CT,CDC, temporary table各种方式,选型对比如下:TriggerCTCDCTempor

    宅慕思_ 数据架构 454 2019-10-23 10:07
  • 快速开发平台对中小企业的发展有何助力

    所谓快速开发平台,就是以减少项目时间,提高开发效率为目标的基础软件框架,在这个框架中,底层代码逻辑已经搭建完成,个性化功能可以在现有功能的基础上进行增、改、删,部分开发平台可能支持低代码或无代码开发,以求最大程度的缩减开发过程。

    lrtech 数据架构 386 2019-10-12 17:39
  • 记一次SQL调优过程

    环境:Microsoft SQL Server 2016 (SP2-CU3)企业版问题SQL:select  RowNumber = ROW_NUMBER() OVER  (  -- This ordering is from the various Fu

    qextoqoha 数据架构 286 2019-10-10 16:56
  • Thinkphp 反序列化利用链深入分析

    作者:Ethan@知道创宇404实验室时间:2019年9月21日前言今年7月份,ThinkPHP 5.1.x爆出来了一个反序列化漏洞。之前没有分析过关于ThinkPHP的反序列化漏洞。今天就探讨一下ThinkPHP的反序列化问题!环境搭建Thinkphp 5.1.35php 7.0.12漏洞挖掘思路在刚接触反序列化漏洞的时候,更多遇到的是在魔术方法中,因此自动调用魔术方法而触发漏洞。但如果漏洞触发

    酷酷的晓得哥 数据架构 424 2019-09-29 14:55
  • 化学方程绘图绘制软件免费下载,怎么画化学方程绘图

    亿图科学绘图软件能够帮助您轻松绘制各种各样的科学插画,是您在教育和学术方面不可缺少的好帮手。无论是书本插图,学术插图,还是教学资料,亿图科学绘图软件都能帮您轻松解决。亿图界面类似Office, 让您无需学习即可快速上手。里面包含多个学科的图库和大量模板,帮助您快速绘制化学实验仪器插图,力学插图,光学插图,化学公式插图,分子模型插图,数学插图,人体气管插图,细胞图,天文图,电路图,信息图,思维导图,

    落烬繁华 数据架构 444 2019-09-24 10:29
  • ElasticDL: Kubernetes-native 弹性分布式深度学习系统

    9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度的深度学习系统,据我们所知,ElasticDL 是第一个。项目负责人王益和我们分享了 ElasticDL 项目的设计意图和现状,尤其是 ElasticDL 与 TensorFlow 2.0 以及 Kubernetes 的技术关联。

    支付宝技术团队 数据架构 442 2019-09-16 16:33
  • 蚂蚁金服 3 个项目进入 CNCF 云原生全景图 | 开源

    2019 年 6 月 25 日,全球知名开源组织云原生计算基金会 CNCF 宣布,蚂蚁金服正式成为 CNCF 黄金会员,蚂蚁金服表示将持续加大对开源项目的支持,包括 Kubernetes,ServiceMesh,Serverless,安全容器等方向,并发挥自己的力量。SOFAStack 作为蚂蚁金服重要的开源项目,最近也与 CNCF 有故事发生。

    支付宝技术团队 数据架构 479 2019-09-10 10:20
  • 负载均衡的原理(垂直扩展 Scale Up、横向扩展 Scale Out)

    原文链接:https://mp.weixin.qq.com/s/NUFRX51D9Yf9yzRQnPeWlg 转自:码农翻身(微信号:coderising)这是1998年一个普通的上午。一上班,老板就把张大胖叫进了办公室,一边舒服地喝茶一边发难:“大胖啊,我们公司开发的这个网站,现在怎

    书写人生 数据架构 428 2019-09-06 15:58
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
17319047854
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心