WelCome to : 吴怡燃的博客

Tensorflow 中文翻译项目

2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源,同日,极客学院组织在线Ten…

Read More

Tensorflow 的安装方法

pip 安装tensorflow(每个计算节点都要安装) 使用pip安装时会自动安装依赖包,但被安装节点必须联…

Read More

Kafka学习笔记(二)——Kafka使用场景

根据官方文档给出的说明,Kafka 可以用于以下几种场景中: 消息处理 Kafka可用于代替传统的消息代理。 …

Read More

kafka学习笔记(一)

1. 介绍 Kafka 是一种高吞吐量的分布式发布订阅消息系统, 官方定义这个流处理平台应该具备如下能力: 1…

Read More

Spark入门(六)——Spark简单程序开发实战(微博数据问题)

问题定义 本文介绍如何使用Spark 解决一个简单的问题,问题定义如下: 有一组微博数据,记录了每个用户和他好…

Read More

Spark入门(五)——Spark编程模型

1.Spark 编程模型 我们先看一段代码,这段代码会创建一个本地模式运行的Spark程序 ,使用4个线程创建…

Read More

Spark入门(四)——Standalone 集群搭建

  1.基础环境修改 a)多节点之间的免密登陆设置 参考:http://chenlb.iteye.c…

Read More

Spark入门(三)——源码阅读环境搭建、编译

Spark 编译安装前的准备工作 1. 构建Linux 虚拟机或物理测试节点(1~3台) 2. 安装JDK 1…

Read More

Spark入门(二)——Spark 运行架构

1.Spark 术语 1.1 运行模式 Spark 是一个非常灵活的计算引擎,他可以使用如下几种模式运行自己。…

Read More

Spark入门(一)——Spark概述与架构

概述 Spark 作为新一代的大数据处理引擎,使大数据处理和机器学习又向前迈向了一步。Spark 最初是由加州…

Read More