2016 年文章归档
共 31 篇文章
scala json 序列化与反序列化
转[http://blog.csdn.net/pztyz314151/article/details/52958495] 最近是用 Scala 开发了一个项目,其中有个环节需要将类似Tuple2[String, Map[String, Case class]]对象作为中间结果缓存至 Redis 中。 中间对象结构如下: case class TestDO(var id :Int = 0, var value : String = null) case class Test2DO(var arrayBuffer: ArrayBuffer[TestDO] = null) Tuple2[Strin…
软件系统架构时所需要考虑的一些内容(随笔)
我在架构时所需要考虑的内容: 需求及建模:用户需求分析、业务规则分析、系统实现分析、用例设计、数据建模 设计:基础架构建模(模块分析、管理方法分析、性能分析包括网络、存储、交互协议与方式、扩展性、安全性、兼容性、局限性描述) 模块图、类图、序列图、E-R图、拓扑图、物理视图、逻辑视图、与外部系统关系图 开发:代码框架及规范、使用到的技术(是否使用多语言、开源技术来支撑系统),代码的版权处理及开源协议 测试:系统支持持续集成框架,自动化测试框架 部署:是否分布式部署,发包的隔离性(代码与配置分离原则) 运维:系统性能与日志的监控,出现问题的反馈机制,预警机制等等 我在架构时所涉及到的文档: (…
2016-10-28 14:52 · 架构
基于Flume的美团日志收集系统(二)
【转:http://blog.csdn.net/qq405371160/article/details/41696269】 在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flume的使用过程中,遇到的主要问题如下: a. Channel“水土不服”:使用固定大小的MemoryChannel在日志高峰时常报队列大小不够的异常;使用FileChannel又导致IO繁忙的问题; b. …
基于Flume的美团日志收集系统(一)
【转:】http://blog.csdn.net/qq405371160/article/details/41696269 美团的日志收集系统负责美团的所有业务日志的收集,并分别给 Hadoop 平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的 架构 设计和实战经验。 第一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要做这样的设计。 第二部分改进和优化,将主要着眼于实际部署和使用过程中遇到的问题,对Flume做的功能修改和优化等。 1 日志收集系统…
Git如何永久删除文件(包括历史记录)
有些时候不小心上传了一些敏感文件(例如密码), 或者不想上传的文件(没及时或忘了加到.gitignore里的), 而且上传的文件又特别大的时候, 这将导致别人clone你的代码或下载zip包的时候也必须更新或下载这些无用的文件, 因此, 我们需要一个方法, 永久的删除这些文件(包括该文件的历史记录). 首先, 可以参考 github 的帮助: https://help.github.com/articles/remove-sensitive-data 步骤一: 从你的资料库中清除文件 以Windows下为例(Linux类似), 打开项目的Git Bash,使用命令: git filter-b…
2016-07-25 17:16 · GIT
proguard 参数 简介
proguard.jar是proguard的主程序,proguardgui.jar为图形界面,用这个可以很方便的生成proguard的配置文件,Retrace为反追踪。 Proguard的具体功能和效果就不多 说,网上有很多介绍,主要说下图形界面的各项操作,通过图形界面生成Proguard混淆前的配置文件。 java -jar proguardgui.jar [-nosplash][ configuration_file ] -nosplash参数:运行 ProGuard 时不显示开头动画。 configuration_file : ProGuard运行时加载的配置文件(如果你已经有一个通用…
2016-07-25 16:00 · proguard
java http java.security.ProviderException: java.security.KeyException
Google Bait This post isn't about the solution, but rather about the methodology. Anyway, to help people experiencing the same issue find this post: CentOS 6.6 (fresh from chef/centos-6.6 Vagrant Box) Java 1.7.0 ( java-1.7.0-openjdk ) DOES NOT happen with Java 1.8.0 ( java-1.8.0-openjdk ) Happens b…
2016-07-12 18:47 · JAVA
maven版本管理
现在所说的maven版本不同于SVN的 版本控制 哦!!! 之前我们说过Maven的版本分为快照和稳定版本,快照版本使用在开发的过程中,方便于团队内部交流学习。而所说的稳定版本,理想状态下是项目到了某个比较稳定的状态,这个稳定包含了源代码和构建都要稳定。 一、如何衡量项目的稳定状态呢? 1. 所有的自动化测试应当全部通过 2. 项目没有配置任何快照版本的依赖 3. 项目没有配置任何快照版本的插件 4. 项目所包含的代码都已经全部提交到了版本控制系统中 5.我们应当再一次执行Maven构建,以确保项目的状态是OK的 6. 我们将这一次变更提交到版本控制的主干中,并打上标签 只有满足了上述6个条…
2016-07-07 10:59 · maven
解决nginx反向代理web service的soap:address location问题
package com.ws.service; public interface IUserService { public String getUserName(String id); } package com.ws.service; import javax.jws.WebMethod; import javax.jws.WebParam; import javax.jws.WebService; @WebService public class UserService implements IUserService { @WebMethod public String getUser…
2016-06-07 17:16 · webservice · NGINX
软件开发模式对比(瀑布、迭代、螺旋、敏捷)
1、瀑布模型 是由W.W.Royce在1970年最初提出的软件开发模型, 瀑布式开发是一种老旧的计算机软件开发方法。 瀑布模型式是最典型的预见性的方法,严格遵循预先计划的需求分析、设计、编码、集成、测试、维护的步骤顺序进行。 步骤成果作为衡量进度的方法,例如需求规格,设计文档,测试计划和代码审阅等等。 瀑布式的主要的问题是它的严格分级导致的自由度降低,项目早期即作出承诺导致对后期需求的变化难以调整, 代价高昂。瀑布式方法在需求不明并且在项目进行过程中可能变化的情况下基本是不可行的。 2、迭代式开发 也被称作 迭代增量式开发 或 迭代进化式开发 ,是一种与传统的瀑布式开发相反的软件开发过程,它…
selenium 对于网络延时怎么处理?
在自动化测试或网络爬虫运行时,经常会用到网络状况不好的情况,那么之前写的代码就经常会出现异常,比如 NoSuchElementException或者 TimoutException 之类的。如下错误代码在网络不佳的情况下就会报错: import java.util.concurrent.TimeUnit; import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.W…
2016-05-31 09:40 · selenium
微信开发:java 处理微信的加密消息时需要添加无政策限制权限文件
/** * 对密文进行解密. * * @param cipherText 需要解密的密文 * @return 解密得到的明文 */ Cipher cipher = Cipher.getInstance("AES/CBC/NoPadding"); SecretKeySpec key_spec = new SecretKeySpec(aesKey, "AES"); IvParameterSpec iv = new IvParameterSpec(Arrays.copyOfRange(aesKey, 0, 16)); cipher.init(Cipher.DECRYPT_MODE, key_spe…
2016-05-25 22:29
js实现window.open不被拦截的解决方法
$obj.click(function(){ var newTab=window.open('about:blank'); $.ajax({ success:function(data){ if(data){ //window.open('http://www.bitsCN.com'); newTab.location.href="http://www.bitsCN.com"; } } }) }) 终极大招。如上
2016-05-25 17:59
spring 注解注入构造函数
package cn.outofmemory.hellspring.transaction; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Qualifier; import org.springframework.orm.ibatis.support.SqlMapClientDaoSupport; import org.springframework.stereotype.Repository; import…
2016-05-23 21:42 · SPRING · SPRING MVC
JAVA clone 复制 inputstream
ByteArrayOutputStream baos = new ByteArrayOutputStream(); // Fake code simulating the copy // You can generally do better with nio if you need... // And please, unlike me, do something about the Exceptions :D byte[] buffer = new byte[1024]; int len; while ((len = input.read(buffer)) > -1 ) { baos.w…
2016-05-20 15:47 · JAVA
使用Chrome调试JavaScript的断点设置和调试技巧
你是怎么调试 JavaScript 程序的?最原始的方法是用 alert() 在页面上打印内容,稍微改进一点的方法是用 console.log() 在 JavaScript 控制台上输出内容。嗯~,用这两种土办法确实解决了很多小型 JavaScript 脚本的调试问题。不过放着 Chrome 中功能越发强大的开发者工具不用实在太可惜了。本文主要介绍其中的 JavaScript断点设置和调试功能,也就是其中的 Sources Panel(以前叫 Scripts)。如果你精通 Eclipse 中的各种 Java 调试技巧,那么这里的概念都是类似。写作本文时使用的 Chrome 版本为 25.0.…
2016-05-19 10:59
Java总结篇系列:Java多线程
多线程作为Java中很重要的一个知识点,在此还是有必要总结一下的。 一.线程的生命周期及五种基本状态 关于Java中线程的生命周期,首先看一下下面这张较为经典的图: 上图中基本上囊括了Java中多线程各重要知识点。掌握了上图中的各知识点,Java中的多线程也就基本上掌握了。主要包括: Java线程具有五中基本状态 **新建状态(New):**当线程对象对创建后,即进入了新建状态,如:Thread t = new MyThread(); **就绪状态(Runnable):**当调用线程对象的start()方法(t.start();),线程即进入就绪状态。处于就绪状态的线程,只是说明此线程已经做…
maven工程打包成runnable的jar包,拷贝资源和依赖jar包
eclipse下新建maven工程,生成runnable的jar包。之前一直是手动拷贝依赖的jar包和资源文件,烦得要死。上网可劲查了一下。解决方案如下。 在pom的配置文件中做如下配置: <build> <finalName>...</finalName> <sourceDirectory>src/main/java</sourceDirectory> <resources> <!-- 控制资源文件的拷贝 --> <resource> <directory>src/main/resources</directory> <targetPath>${project.build.director…
2016-05-12 21:18 · maven
spring mvc 实现上传文件进度条
一、实现org.apache.commons.fileupload.ProgressListener接口 import javax.servlet.http.HttpSession; import org.apache.commons.fileupload.ProgressListener; import org.springframework.stereotype.Component; import com.chinalife.cip.web.multipart.model.Progress; @Component public class FileUploadProgressListen…
2016-05-12 17:44 · SPRING · SPRING MVC
运用 BoxLayout 进行 Swing 控件布局
引言 在用户使用 Java Swing 进行用户界面开发过程中,会碰到如何对 Java Swing 的控件进行布局的问题。Swing 的控件放置在容器 (Container) 中,容器就是能够容纳控件或者其它容器的类,容器的具体例子有 Frame、Panel 等等。容器需要定义一个布局管理器来对控件进行布局管理,Swing 当中提供的主要的布局管理器有 FlowLayout、BorderLayout、BoxLayout、GridLayout 和 GridBaglayout, 它们的主要特点如表 1 所示: 表 1. Swing 中的一些主要布局管理器的比较 布局管理器 特点 FlowLayo…