ITeye博客

lvjun106

lvjun106 · 共 188 篇文章

Dubbo中使用高效的Java序列化(Kryo和FST)

[转:http://blog.csdn.net/moonpure/article/details/53175519] 序列化漫谈 dubbo RPC是dubbo体系中最核心的一种高性能、高吞吐量的远程调用方式,我喜欢称之为多路复用的TCP长连接调用,简单的说: 长连接:避免了每次调用新建TCP连接,提高了调用的响应速度 多路复用:单个TCP连接可交替传输多个请求和响应的消息,降低了连接的等待闲置时间,从而减少了同样并发数下的网络连接数,提高了系统吞吐量。 dubbo RPC主要用于两个dubbo系统之间作远程调用,特别适合高并发、小数据的互联网场景。 而序列化对于远程调用的响应速度、吞吐量、…

2017-02-06 09:53 · dubbo · 评论(0)

scala json 序列化与反序列化

转[http://blog.csdn.net/pztyz314151/article/details/52958495] 最近是用 Scala 开发了一个项目,其中有个环节需要将类似Tuple2[String, Map[String, Case class]]对象作为中间结果缓存至 Redis 中。 中间对象结构如下: case class TestDO(var id :Int = 0, var value : String = null) case class Test2DO(var arrayBuffer: ArrayBuffer[TestDO] = null) Tuple2[Strin…

2016-10-29 13:11 · scala · json · 评论(0)

软件系统架构时所需要考虑的一些内容(随笔)

我在架构时所需要考虑的内容: 需求及建模:用户需求分析、业务规则分析、系统实现分析、用例设计、数据建模 设计:基础架构建模(模块分析、管理方法分析、性能分析包括网络、存储、交互协议与方式、扩展性、安全性、兼容性、局限性描述) 模块图、类图、序列图、E-R图、拓扑图、物理视图、逻辑视图、与外部系统关系图 开发:代码框架及规范、使用到的技术(是否使用多语言、开源技术来支撑系统),代码的版权处理及开源协议 测试:系统支持持续集成框架,自动化测试框架 部署:是否分布式部署,发包的隔离性(代码与配置分离原则) 运维:系统性能与日志的监控,出现问题的反馈机制,预警机制等等 我在架构时所涉及到的文档: (…

2016-10-28 14:52 · 架构 · 评论(0)

基于Flume的美团日志收集系统(二)

【转:http://blog.csdn.net/qq405371160/article/details/41696269】 在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flume的使用过程中,遇到的主要问题如下: a. Channel“水土不服”:使用固定大小的MemoryChannel在日志高峰时常报队列大小不够的异常;使用FileChannel又导致IO繁忙的问题; b. …

2016-10-09 16:41 · 架构 · 大数据 · Flume · 评论(0)

基于Flume的美团日志收集系统(一)

【转:】http://blog.csdn.net/qq405371160/article/details/41696269 美团的日志收集系统负责美团的所有业务日志的收集,并分别给 Hadoop 平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的 架构 设计和实战经验。 第一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要做这样的设计。 第二部分改进和优化,将主要着眼于实际部署和使用过程中遇到的问题,对Flume做的功能修改和优化等。 1 日志收集系统…

2016-10-09 16:40 · 架构 · 大数据 · Flume · 评论(0)

Git如何永久删除文件(包括历史记录)

有些时候不小心上传了一些敏感文件(例如密码), 或者不想上传的文件(没及时或忘了加到.gitignore里的), 而且上传的文件又特别大的时候, 这将导致别人clone你的代码或下载zip包的时候也必须更新或下载这些无用的文件, 因此, 我们需要一个方法, 永久的删除这些文件(包括该文件的历史记录). 首先, 可以参考 github 的帮助: https://help.github.com/articles/remove-sensitive-data 步骤一: 从你的资料库中清除文件 以Windows下为例(Linux类似), 打开项目的Git Bash,使用命令: git filter-b…

2016-07-25 17:16 · GIT · 评论(0)

proguard 参数 简介

proguard.jar是proguard的主程序,proguardgui.jar为图形界面,用这个可以很方便的生成proguard的配置文件,Retrace为反追踪。 Proguard的具体功能和效果就不多 说,网上有很多介绍,主要说下图形界面的各项操作,通过图形界面生成Proguard混淆前的配置文件。 java -jar proguardgui.jar [-nosplash][ configuration_file ] -nosplash参数:运行 ProGuard 时不显示开头动画。 configuration_file : ProGuard运行时加载的配置文件(如果你已经有一个通用…

2016-07-25 16:00 · proguard · 评论(0)

java http java.security.ProviderException: java.security.KeyException

Google Bait This post isn't about the solution, but rather about the methodology. Anyway, to help people experiencing the same issue find this post: CentOS 6.6 (fresh from chef/centos-6.6 Vagrant Box) Java 1.7.0 ( java-1.7.0-openjdk ) DOES NOT happen with Java 1.8.0 ( java-1.8.0-openjdk ) Happens b…

2016-07-12 18:47 · JAVA · 评论(0)

maven版本管理

现在所说的maven版本不同于SVN的 版本控制 哦!!! 之前我们说过Maven的版本分为快照和稳定版本,快照版本使用在开发的过程中,方便于团队内部交流学习。而所说的稳定版本,理想状态下是项目到了某个比较稳定的状态,这个稳定包含了源代码和构建都要稳定。 一、如何衡量项目的稳定状态呢? 1. 所有的自动化测试应当全部通过 2. 项目没有配置任何快照版本的依赖 3. 项目没有配置任何快照版本的插件 4. 项目所包含的代码都已经全部提交到了版本控制系统中 5.我们应当再一次执行Maven构建,以确保项目的状态是OK的 6. 我们将这一次变更提交到版本控制的主干中,并打上标签 只有满足了上述6个条…

2016-07-07 10:59 · maven · 评论(0)

解决nginx反向代理web service的soap:address location问题

package com.ws.service; public interface IUserService { public String getUserName(String id); } package com.ws.service; import javax.jws.WebMethod; import javax.jws.WebParam; import javax.jws.WebService; @WebService public class UserService implements IUserService { @WebMethod public String getUser…

2016-06-07 17:16 · webservice · NGINX · 评论(0)

软件开发模式对比(瀑布、迭代、螺旋、敏捷)

1、瀑布模型 是由W.W.Royce在1970年最初提出的软件开发模型, 瀑布式开发是一种老旧的计算机软件开发方法。 瀑布模型式是最典型的预见性的方法,严格遵循预先计划的需求分析、设计、编码、集成、测试、维护的步骤顺序进行。 步骤成果作为衡量进度的方法,例如需求规格,设计文档,测试计划和代码审阅等等。 瀑布式的主要的问题是它的严格分级导致的自由度降低,项目早期即作出承诺导致对后期需求的变化难以调整, 代价高昂。瀑布式方法在需求不明并且在项目进行过程中可能变化的情况下基本是不可行的。 2、迭代式开发 也被称作 迭代增量式开发 或 迭代进化式开发 ,是一种与传统的瀑布式开发相反的软件开发过程,它…

2016-06-06 16:20 · 项目管理 · 敏捷开发 · 评论(0)

selenium 对于网络延时怎么处理?

在自动化测试或网络爬虫运行时,经常会用到网络状况不好的情况,那么之前写的代码就经常会出现异常,比如 NoSuchElementException或者 TimoutException 之类的。如下错误代码在网络不佳的情况下就会报错: import java.util.concurrent.TimeUnit; import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.W…

2016-05-31 09:40 · selenium · 评论(0)

微信开发:java 处理微信的加密消息时需要添加无政策限制权限文件

/** * 对密文进行解密. * * @param cipherText 需要解密的密文 * @return 解密得到的明文 */ Cipher cipher = Cipher.getInstance("AES/CBC/NoPadding"); SecretKeySpec key_spec = new SecretKeySpec(aesKey, "AES"); IvParameterSpec iv = new IvParameterSpec(Arrays.copyOfRange(aesKey, 0, 16)); cipher.init(Cipher.DECRYPT_MODE, key_spe…

2016-05-25 22:29 · 评论(0)

js实现window.open不被拦截的解决方法

$obj.click(function(){ var newTab=window.open('about:blank'); $.ajax({ success:function(data){ if(data){ //window.open('http://www.bitsCN.com'); newTab.location.href="http://www.bitsCN.com"; } } }) }) 终极大招。如上

2016-05-25 17:59 · 评论(0)

spring 注解注入构造函数

package cn.outofmemory.hellspring.transaction; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Qualifier; import org.springframework.orm.ibatis.support.SqlMapClientDaoSupport; import org.springframework.stereotype.Repository; import…

2016-05-23 21:42 · SPRING · SPRING MVC · 评论(0)