ITeye博客

记忆不靠谱..那就写吧..

邢邢色色 · 共 71 篇文章

将博客搬至CSDN

还是搬回去吧= =

2014-12-22 17:22 · 评论(0)

iOS推送功能需求要点

经过对百度&友盟&极光&AVOS这几家的iOS推送的文档研读,demo试用,综合上述四者整理出一份简洁的功能需求要点。 添加应用页面 页面上应有上传p12证书和设置密码的功能。(分别为开发环境和正式环境) AVOS和百度要求证书必须不设密码,但因为使用到的开源库的要求,还是应该要求设置密码。 其中友盟支持的证书格式为pem和p12两种,其他都只支持p12,为简单起见我们只支持p12。 页面上应该有链接来提示用户如何生成证书,这样显得比较友好。 应用设置&详情页面 展示了应用的一些数据,如AppKey,创建时间等。并能重新上传证书和设置密码。以及各平台的一些元数据,各平台的元数据是否在同一个页…

2014-12-10 11:48 · iOS推送 · 评论(0)

Storm学习资料汇总

电子书 《Getting Started With Storm》 介绍了Storm基础API,并发编程网有整本书的 翻译 ,此书使用的storm的版本为0.6,虽然从版本上看有些过时,但基础的思想还是没有变的。其中并没有Trident的介绍。有英文电子版。 《Storm Real-Time Processing Cookbook》 cookbook的形式,介绍得比较泛,补充着看看就好。 有中文翻译版本: http://item.jd.com/11480058.html 英文电子版: 《Storm Blueprints: Patterns for Distributed Real-time C…

2014-12-09 17:00 · Storm · 评论(0)

Storm官网上的各公司的使用介绍

其实这些介绍就是第三方使用者写的,比如我是一个使用者,在公司大规模运用Storm后,把使用情况邮件到官方,官方觉得OK了,就搬运过来。 原创翻译,如有错误请指出,谢谢。 原文链接 下面选择一些国内的公司的情况进行介绍(原创翻译,持续更新ing..) 淘宝网 我们使用Storm来做一些实时的日志统计,从日志中抽取有用的信息。 日志是存在一个类似Kafka的持久化消息队列中(MetaQ,是一个淘宝在Kafka基础上研发的消息队列系统),然后读到拓扑中的spout中。 接着在拓扑进行处理和分发最后得到想要的计算结果。 最终存储到分布式数据库中,等待其他的使用者来使用。 每天的日志量在200w到15…

2014-12-09 16:48 · Storm · 评论(0)

【转】基于Trident构建大规模实时流数据处理系统

刊载于程序员杂志2013年2月号 大数据处理:批量数据处理和流数据处理 Hadoop家族在大数据处理方面的能力已经得到业界认可,但它更适用于对集群上的大数据进行批量处理,并不使用于实时处理大规模流数据。 包括雅虎在内的互联网公司都在尝试建立适用于大规模流数据处理的系统,Twitter的Storm就是其中之一。本文将主要介绍Storm Trident以及雅虎如何基于Storm Trident构建一个流数据处理系统。 Storm基本概念 先介绍本文会涉及到的几个Storm术语。 Storm应用通过Spout从外部数据源读取数据,并将数据以流(stream)的方式发送给Storm节点。用户逻辑运行…

2014-12-09 16:41 · Storm · 评论(0)

Flume架构设计

我们的架构设计的思路跟美团大同小异,也是分为agent层,collector层和store层。 具体可参考 美团架构1 , 美团架构2 ,下面只是一些补充: 下面是我们自己的架构图: 总体架构 数据流图 下面的图描述一条日志消息从客户端产生,经过了怎样的过程最终被消费的。 架构说明 美团的文档中已对这个架构的优越性进行了说明,比如可用性,可靠性和可扩展性,这里就不赘述了。 美团自己在Flume的基础做了一些改进和优化,总结如下: 美团的各个Flume节点统一使用了dual channel,美团并没有开源。但官方提供了实现类似功能的 spillable-memory-channel ,但这只是…

2014-10-22 10:41 · Flume · 评论(0)

智能心跳调研和初步设计

这是近期参与的一个云推送项目调研的一点东西,贴上来做个备份:) 如需转载,请注明出处:) 综述 所谓的心跳机制,就是周期性的给服务器发送一个数据包,避免该连接上长期没有数据传送,被传输网络中的防火墙或者NAT等设备中断,就是当一个TCP会话的两个连续报文到达防火墙的时间间隔大于该会话的保持时间时,为了保证网络的安全性,防火墙会从会话表中删除相应的会话信息,后续报文到达防火墙后,防火墙根据自身的转发机制,丢弃该报文,导致通讯中断,必须重新建立连接。 为了保持这个长连接不被防火墙删除,需要在没有数据传送时,通过周期的发送心跳信息来保持会话连续。即心跳的目的: 保活链接。 检测设备网络状态,保持通…

2014-09-10 11:21 · 综合杂项 · 评论(0)

手把手教你用jpcap抓包

本文原创,转载请注明出处~ 在工作中经常需要抓包进行分析,我们可以使用各种工具来抓包,比如常用的tcpdump和wireshark。但有时候我们想用程序来进行控制,比如把抓到的包存储到数据库中,以后可以进行查询等等。我在工作中用的是Java,那么就用它来做示范吧。 本教程在centos和ubuntu上测试通过。 1)安装libpcap库 先安装底层使用的库吧,我们用到了libpcap库,tcpdump也是用的这个库,所以先去http://www.tcpdump.org/#old-releases 下载源码进行编译安装,不需要用太新的库吧,因为jpcap挺老的。这里我选了1.1.1版本。 解压…

2014-09-05 17:37 · 综合杂项 · 评论(1)

ssdb管理后台ssdbAdmin部署指南

github地址:https://github.com/jiorry/ssdbAdmin,感谢作者的贡献:) 最近在用ssdb,用来替换一部分redis的需求,从而节省服务器成本,效果不错,非常推荐。 如果有一个后台来给开发人员管理ssdb上的数据是再好不过了,所以就找到了ssdbAdmin,下面是部署的步骤: 1,安装Go语言环境 此项目用Go语言实现的,所以先得安装Go语言的环境。 下载地址:http://golang.org/dl/ 选择适合自己环境的版本,我这里选择1.3版本的 go1.3.linux-amd64.tar.gz ,解压到合适的目录。 2,配置环境变量 GOROOT ,…

2014-07-21 16:22 · ssdb · 评论(0)

Kafka学习之监控

参考文档:https://kafka.apache.org/documentation.html#monitoring Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来,比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的ganglia和Graphite等。默认使用的是JMX,最简单的观察方式是使用jconsole连接你的server或者client,就可以看到所有可用的metric。我自己是使用Zabbix跟JMX对…

2014-07-07 14:32 · Kafka · 评论(0)

Kafka学习之源代码环境搭建(eclipse)

主要参考:https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup 下面是我自己的步骤: 1,安装Eclipse,略过,我的版本是: 2,安装scale插件,注意要跟你的eclipse版本对应,访问http://scala-ide.org/download/current.html获取下载地址,我用的是:http://download.scala-ide.org/sdk/helium/e38/scala29/stable/site 3,安装ivy插件,用来管理依赖…

2014-07-07 12:03 · Kafka · 评论(0)

Kafka学习之Replication tools之StateChangeLogMerger Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool 此工具能做啥 ? 此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes,查明问题。集群中的每一个broker会打日志到一个state-change.log文件,记录了broker接收的每一个state change的生命周期。有时候,选举一个leader会出现一些问题,为了回答这些问题,我们需要一个…

2014-07-05 17:56 · Kafka · 评论(0)

Kafka学习之Replication tools之Reassign Partitions Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool 此工具能做啥? 此工具的作用跟Referred Replica Leader Election工具类似,都是为了平衡集群的负载。但工具不仅为某一个partition从assigned replica中选举一个新的leader,还改变partition的assigned replica,回忆一下,follower需要从leader上fetch数据为了保持同步,因此有时…

2014-07-05 11:33 · Kafka · 评论(0)

Kafka学习之Replication tools之Add Partition Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool 此工具能做啥? Kafka的partition表示并发度的单元:一个topic的消息可以分布到多个partition上,并存储在多个server上。一旦创建了一个topic,就要指定这个topic的partition数。在topic的数据量增加时需要增加更多的partition,此工具帮助我们为某个指定的topic增加更多的partition,并可以手动的为增加的partiti…

2014-07-04 16:55 · Kafka · 评论(0)

Kafka学习之Replication tools之Create Topic Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool 此工具能干啥? 如果设置auto.create.topics.enable为true,则Kafka会默认自动创建topic。会使用默认的partition数量,replication factor和Kafka的默认schema来做replica assignment。有时候我们想自定义一下,此工具帮助我们使用指定的partition数量,replication factor和repl…

2014-07-04 16:36 · Kafka · 评论(0)