WelCome to : 吴怡燃的博客

长期招聘-北京-京东

   杂谈  2018年12月5日  No Comments

欢迎各位小伙伴咨询加入我们京东大数据团队，只要你对hadoop生态圈各系统底层源码感兴趣，或希望找一个平台层、…

Read More

Java Ojbect 转换成XML String

   点滴小技术  2018年3月22日  No Comments

JavaObject 转换成XML String方法 [crayon-5df6563520f264821284…

Read More

YARN Federation Router REST API

   Hadoop,YARN  2018年3月22日  2 Comments

官方的YARN Federation Router ，将Router REST API 做成了统一汇总输出方式…

Read More

第二篇 YARN Federation Router 组件源码分析

   Hadoop,YARN  2018年1月9日  No Comments

Router 组件在Federation 模式下可以部署多个，通过部署多个Router可以分担单点压力。目前R…

Read More

利用Python获取网站的注册信息

   点滴小技术  2018年1月7日  No Comments

有时需要判断一个网站是以企业名义注册的还是以个人名义的注册的，一般可以在备案网站上获取这个网站的信息，不过对于…

Read More

Spark On YARN 资源管理与优化

   Spark  2018年1月1日  2 Comments

最近笔者在用Spark进行离线处理时，观察到很多Spark On YARN 的APP 虽然请求了很多个exec…

Read More

Spark性能优化 整理汇总

   Spark  2017年12月22日  No Comments

一、参数篇 1、Spark SQL 参数 hive.exec.orc.split.strategy 默认值： …

Read More

第一篇 Hadoop 3.0.0-beta1 中的 YARN Federation 概述

   Hadoop,YARN  2017年11月28日  3 Comments

随着Hadoop 成为大数据处理的一个基础组件之后，各大公司都使用Hadoop做大数据平台的底层。但是随着集群…

Read More

Docker 镜像压缩心得

   Docker  2017年7月23日  No Comments

Docker镜像越大存储管理成本越大，大量的Docker Images 会浪费很多磁盘存储另外传输也不方便。 …

Read More

TensorFlow On Spark 开源项目分析

   Tensorflow  2017年2月24日  4 Comments

概述 自Google发布TensorFlow并宣布开源，促使更多的开发者与学术研究者开始关注深度学习。各大公司…

Read More