skygzx


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

  • 公益404

  • 搜索

YARN资源调优怎么调,依据是什么

发表于 2019-04-07
字数统计: 117 | 阅读时长 ≈ 1

1.yarn的资源调优怎么调,依据是什么

阅读全文 »

Hive 之实战统计地区产品点击TOPN

发表于 2019-04-07
字数统计: 2.2k | 阅读时长 ≈ 9
需求:统计各个城市所属区域下最受欢迎的Top 3产品
阅读全文 »

Hive 进阶

发表于 2019-04-07
字数统计: 2k | 阅读时长 ≈ 7

**

一.分区表:(静态分区和动态分区)

PARTITION 分区表:**

阅读全文 »

Hive DML学习

发表于 2019-04-07
字数统计: 1.1k | 阅读时长 ≈ 4

1.经验:
  在关系型数据库中,使用insert,update的情况是很多的,但是在大数据中,比如hive中,这种使用情况是很少的,基本上都用用load,把一个文件和一批文件load进hive表里,其实就是把这些文件load到hdfs中去。

阅读全文 »

Hive的DDL学习

发表于 2019-04-07
字数统计: 1.7k | 阅读时长 ≈ 6

1.小知识点:

①
  Hive数据一共分为两部分,一种是以数据形式存储在hdfs上,另一种是以元数据的形式存储在数据库上或者是关系型数据库上(元数据相关的配置在hive-size.xml中)

阅读全文 »

Hive的部署

发表于 2019-04-07
字数统计: 723 | 阅读时长 ≈ 3

1.hive(数据仓库:data warehouse)

阅读全文 »

YARN生产上调度器

发表于 2019-04-07
字数统计: 521 | 阅读时长 ≈ 2

1.生产上 job去申请调度资源时:

阅读全文 »

YARN生产上的优化

发表于 2019-04-07
字数统计: 1.3k | 阅读时长 ≈ 5

1.yarn生产上的资源管理(至关重要)

阅读全文 »

MapReduce优化----Shuffle过程剖析及性能优化

发表于 2019-04-07
字数统计: 2.5k | 阅读时长 ≈ 9

1. Map端

阅读全文 »

Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)

发表于 2019-04-07
字数统计: 4.1k | 阅读时长 ≈ 23

Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建

阅读全文 »
1…345…7
skygzx

skygzx

记录skygzx的学习历程

68 日志
3 分类
63 标签
RSS
友链
  • hackeruncle
  • 大树
  • 在路上
  • wuwang
© 2019 skygzx
|
本站访客数:
0%