`
邢邢色色
  • 浏览: 226249 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Storm官网上的各公司的使用介绍

阅读更多

其实这些介绍就是第三方使用者写的,比如我是一个使用者,在公司大规模运用Storm后,把使用情况邮件到官方,官方觉得OK了,就搬运过来。

原创翻译,如有错误请指出,谢谢。

原文链接

下面选择一些国内的公司的情况进行介绍(原创翻译,持续更新ing..)


淘宝网

我们使用Storm来做一些实时的日志统计,从日志中抽取有用的信息。

日志是存在一个类似Kafka的持久化消息队列中(MetaQ,是一个淘宝在Kafka基础上研发的消息队列系统),然后读到拓扑中的spout中。

接着在拓扑进行处理和分发最后得到想要的计算结果。

最终存储到分布式数据库中,等待其他的使用者来使用。

每天的日志量在200w到15亿之间,最大达到2T。

这里最大的挑战不仅仅是对大数据集进行实时处理,持久化计算结果也是一大挑战,需要严谨的设计和实现。


阿里巴巴

阿里巴巴在世界上是B2B电商的领头羊。我们使用Storm来处理应用程序日志和数据库中的数据改变来为数据应用提供实时的统计。


百度

百度提供最牛的网站,音频文件,图像的搜索服务。

我的公司使用Storm来处理搜索日志,提供了用户的pv,ar-time等的实时统计。

另外还帮助了运维部门进行决策并对服务的状态进行监控。未来还会用Storm做更牛的事情。


支付宝

支付宝是天朝最牛的第三方在线支付平台。我们在许多场景下都选择使用Storm:

  1. 实时计算交易的数量,交易成交额,TOP N的交易卖家的信息,注册用户数量。每天处理的消息超过了1亿。
  2. 日志的处理,每天的数据量超过6T。

友盟

友盟在中国是移动应用分析和开发者服务平台的业界骄楚。Storm为友盟的实时分析平台提供支持,每天处理数10亿的数据点,并不断增长。

我们还其他许多需要实时处理的产品中使用Storm,Storm在我们公司逐渐成为了核心的基础设施。


奇虎360

我们使用Storm的案例比较特殊,我们在数千个节点上部署了Storm,这些节点并不是专属于Storm的,它们还跑了一些各种各样的业务。

Storm在每个节点上只使用一点点CPU/内存/带宽。然后Storm集群会对这些节点的空闲资源进行调度,这个调度的消耗趋向于零。

这提供了强劲的计算能力,并且是实时的。这太不可思议了。

to be continued..

分享到:
评论

相关推荐

    细细品味Storm_Storm简介及安装

    第 6章讲解如何在Storm上使用递归实现一个典型的人 工智能算法;第7章演示集成Storm和非事务型系统 的复杂性,通过集成Storm和开源探索性分析架构 Druid实现一个可配置的实时系统来分析金融事件。 第8章探讨Lambda...

    Storm简介介绍

    Storm简介Storm简介Storm简介Storm简介Storm简介 Storm简介Storm简介Storm简介Storm简介Storm简介

    Storm 实战:构建大数据实时计算完整版

    随着大数据实时处理需求的强劲增长,Storm的出现填补了大数据处理生态系统的缺失,并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。 《Storm实战:构建...

    storm简单介绍、模型图及基本代码

    storm简单介绍、模型图及基本代码,包括nimbus、supervisor、workers、spouts、bolts等

    Storm综合案例二Storm集群向Kafka集群读取数据并写入MySQL远程模式

    思路:Storm集群从Kafkatopic主题获取数据,解析后写入MySQL,注意我们使用MyBatis工具与数据库交互 项目结构 部署MySQL 我们在服务器上部署一台MySQL数据库 具体参考这篇文章 数据库表结构如下: ...

    zookeeper+kafka+storm基本介绍

    zookeeper+kafka+storm基本介绍

    Storm实战:构建大数据实时计算

    随着大数据实时处理需求的强劲增长,Storm的出现填补了大数据处理生态系统的缺失,并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。  《Storm实战:构建...

    Storm笔记-PPT

    详细介绍storm的概念 起源 架构 组件 原理已经应用场景描述

    Storm入门到精通

    本文档介绍了Storm原理,从单机安装和集群安装,以及一些入门程序编写的简单讲解。使开发人员一步一步从入门到精通

    storm 资料

    一些从网络上搜集,storm 的简介资料,简单介绍storm 框架的相关东西。

    Storm介绍和基础入门

    一个用于介绍storm基础知识的PPT,对storm和hadoop做了比较详细的对比分析,用来了解storm,科普storm十分不错

    大数据平台Storm入门到精通

    01.Storm基础知识02.Storm集群安装-1-new .avi.baiduyun.p05.Storm配置文件配置项讲解07.Storm基本API介绍08.Storm Topology的并发度09.Strom消息机制原理讲解10.Storm DRPC实战讲解

    storm实时数据处理

    本书介绍了实时处理框架storm,并讲解了一些高阶应用开发

    Getting start with Storm

    Storm 入门书, 讲述如何构建以及各个组件的介绍

    Apache Storm Buffer内部机制简介Prezi幻灯片

    根据Storm官方文档以及LMAX的介绍,使用Prezi工具制作了Storm内部Buffer的简要介绍,没有过多的解释,需要配合网上的其他文档及资源来理解Storm内部机制。

    storm企业级运维 调优 实战

    基于storm的运维 调优和相关的真实案例,主要从storm的基础架构开始,然后有重点的分析核心架构和对应的真实案例,以及如何解决日常问题,从安装部署和启动以及运行等多个角度进行说明,最后再介绍如何进行storm的生产...

    storm组件应用说明书

    全面介绍storm基础应用。可以作为storm学习入门教程。

    Storm实时数据处理

    从多个角度全面讲解Storm实时数据处理技术和最佳...从实际问题出发,系统介绍Storm的基本应用、多语言特性、完整业务系统实现和产品交付的最佳实践方法;从产品持续交付角度,分析并实践集成、测试和交付的所有步骤。

    spark Streaming和storm的对比

    spark Streaming的原理介绍和与storm的对比

    Apache Storm概要介绍.docx

    Apache Storm概要介绍.docx

Global site tag (gtag.js) - Google Analytics