自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小夕姨

小夕姨--小喜-xiyi~喜

  • 博客(28)
  • 收藏
  • 关注

原创 java06

static某些特定的数据在内存空间里只有一份如果想让一个类的所有实例共享数据,就用类变量!1.类属性作为该类各个对象之间共享的变量。在设计类时,分析哪些属性不因对象的不同而改变,将这些属性设置为类属性。相应的方法设置为类方法。2.如果方法与调用者无关,则这样的方法通常被声明为类方法,由于不需要创建对象就可以调用类方法,从而简化了方法的调用。使用范围: 在Java类中,可用static修饰属性、方法、代码块、内部类被修饰后的成员具备以下特点: 随着类的加载而加载

2021-03-18 15:53:24 45

原创 java05

继承性(inheritance)为什么要有继承?  多个类中存在相同属性和行为时,将这些内容抽取到单独一个类中, 那么多个类无需再定义这些属性和行为,只要继承那个类即可 作用: 继承的出现减少了代码冗余,提高了代码的复用性。 继承的出现,更有利于功能的扩展。 继承的出现让类与类之间产生了关系,提供了多态的前提。子类继承了父类,就继承了父类的方法和属性。  在子类中,可以使用父类中定义的方法和属性,也可以创建新的数据和 方法。

2021-03-18 15:25:46 33

原创 java04

面向对象面向过程与面向对象面向过程(POP) 与 面向对象(OOP): 1.二者都是一种思想,面向对象是相对于面向过程而言的。面向过程,强调的 是功能行为,以函数为最小单位,考虑怎么做。面向对象,将功能封装进对 象,强调具备了功能的对象,以类/对象为最小单位,考虑谁来做。 2.面向对象的三大特征 1。封装 (Encapsulation) 2.继承 (Inheritance) 3.多态 (Polymorphism)面向过程:1

2021-03-18 14:45:01 32

原创 java03

数组1.数组(Array),是多个相同类型数据按一定顺序排列的集合,并使用一个名字命名,并通过编号的方式对这些数据进行统一管理.2.数组的常见概念 1.数组名 2.下标(或索引) 3.元素 4.数组的长度 3.数组本身是引用数据类型,而数组中的元素可以是任何数据类型,包括基本数据类型和引用数据类型。4.创建数组对象会在内存中开辟一整块连续的空间,而数组名中引用的是这块连续空间的首地址。5.数组的长度一旦确定,就不能修改。6.我们可以直接通过下标(或索引)的方式调

2021-03-17 16:56:09 29

原创 java02

Java基本语法程序流程控制顺序结构 1.程序从上到下逐行地执行,中间没有任何判断和跳转。分支结构 1.根据条件,选择性地执行某段代码。 2.有if…else和switch-case两种分支语句。循环结构 1.根据循环条件,重复性的执行某段代码。 2.有while、do…while、for三种循环语句。 3.注:JDK1.5提供了foreach循环,方便的遍历集合、数组元素。if-else使用说明1.当if-else结构是“多选一”时,最后的els

2021-03-17 16:17:01 32

原创 java-01

Java1.基础变量与运算符关键字(keyword)的定义和特点: 定义:被Java语言赋予了特殊含义,用做专门用途的字符串(单词) 特点:关键字中所有字母都为小写用于定义数据类型的关键字classinterfaceenumbyteshortintlongfloatdoublecharbooleanvoid用于定义流程控制的关键字ifelseswitchcasedefaultwhile

2021-03-17 15:53:14 35

原创 Sparkplatform04--sxwang

编写jobActor的receive 通过引擎对任务做一些管理: 1.这些任务就是 actor的 recieve方法做的 所以这个方法 是核心!!!钩子方法钩子方法: 如果业务逻辑再运行当中 ,出现异常 ,可以用钩子获取到!!! 可以把 异常抛出到 客户端(eg:页面上)可以理解为: 1.所有函数 都是在钩子上运行 2.钩子:通过钩子能够找到操作的对象,类似引用注意:eavl(js代码) 能够动态执行代码 (java里没有 scala里有repl )如果动态执行代码能够实

2021-02-22 18:33:57 49

原创 GC-double_happy

jvm一个 java 代码的执行流程那么 哪个地方需要进行GC呢?eg: User user = new User()那么这个 user ==》 存在 stack里 new User() =》 是在 Heap里 user -》new User() 是有一个 指针 有 stack 指向 Heap 的 GC 主要是 Heap 和 Method Area 这...

2020-12-22 19:48:17 115

原创 JVM01

运行时数据区官网2.5. Run-Time Data AreasThe Java Virtual Machine defines various run-time data areas that are used during execution of a program. Some of these data areas are created on Java Virtual Machin...

2020-12-22 19:47:38 66

原创 JVM02

运行时数据区的各个异常运行时数据区 :是一个规范 那么规范的东西和落地的东西 会有差距的 对于同一个规范来讲 不同的实现也是有差别的 内存结构就是一个实现 不同版本的jdk是不一样的 JVM内存结构: 堆区:包括 Young(S0 S1 Eden)新生代 和 Old()老年代 通常讲的 GC 是针对 堆区的 非堆区 :Metaspace ccs...

2020-12-22 19:47:15 72 1

原创 maxwell-启动报错--double_happy

[hadoop@172 maxwell-1.22.1]$ bin/maxwell --config ./config/config_hivemeta/stout_config_sync_jx.properties Using kafka version: 1.0.1SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hadoop/wangshuangxi/project/s

2020-10-19 09:59:10 267

原创 SQL转化为MapReduce的过程--Double_happy

Hive SQL 执行计划深度解析Hive是如何将SQL转化为MapReduce任务的,整个编译过程分为六个阶段:1.Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree2.遍历AST Tree,抽象出查询的基本组成单元QueryBlock3.遍历QueryBlock,翻译为执行操作树OperatorTree4.逻辑层优化器进行OperatorTree变换,合并不必要的ReduceSinkOperator,减少shuffle数据量5.遍历O

2020-10-15 17:39:17 149

原创 SQL--Double_Happy

SQL执行顺序:FROM->ON->JOIN->WHERE->GROUP By->CUBE|ROllUP->HAVING->SELECT-> DISTINCT->ORDER BY->LIMITMapReduce实现基本SQL操作的原理Join的实现原理在map的输出value中为不同表的数据打上tag标记,在reduce阶段根据tag判断数据来源。MapReduce的过程如下(这里只是说明最基本的Join的实现,还有其他的实

2020-10-15 13:47:05 291

原创 Griffin--Double_happy

部署前准备:ES:部署[hadoop@172 software]$ lltotal 1362420-rw-rw-r-- 1 hadoop hadoop 1107895858 Aug 24 19:06 datax.tar.gz-rw-rw-r-- 1 hadoop hadoop 97901357 Sep 15 14:09 elasticsearch-6.4.0.tar.gz-rw-rw-r-- 1 hadoop hadoop 187936225 Sep 15 14:20 kibana-6.4

2020-09-15 20:26:26 69

原创 Flink07-续3-double_happy

接着上一篇文章写接着checopint :source:repaly flink :一次性语义 sink :也是一样的说一下 checkpoint 配置参数 之前可能没有提到的东西Related Config Optionsstate.checkpoints.num-retained:The maximum number of completed checkpoints...

2020-08-25 19:35:48 172

原创 BI ON Haoop-01-double_happy

需求分析:1.了解我们的数据 维表:dim_province 省份维度表 字段:province_id province_name 维表:dim_city 城市维度表 字段:province_id city_id city_name 事实表:dw_user_click_d 清洗汇总过后的用户行为点击表 字段:day user_id province_id city_id flow os pv 名词解释

2020-08-04 14:49:29 173

原创 kylin编译部署--double_happy

因为我的 虚拟机上的hadoop 版本是 cdh5.16.2使用 kylin 需要编译成 对应的版本 要不然 会有兼容问题环境准备: 1.jdk1.8 2.maven 先安装安装nodejs 下载到 software下wget https://nodejs.org/dist/v10.9.0/node-v10.9.0-linux-x64.tar.xz tar xf node-v10.9.0-linux-x64.tar.xz -C ~/appln -s /home/sxwang/a

2020-07-26 16:52:03 249

原创 广告-offline-warehouse-01-double_happy

1.MySQL: 1.不同库下面的表 进行join 是 很难的 很苛刻 为什么呢? 1.sql语法是很简单 但是 要保证: 1.数据库A 数据库B 1.字符集跟排序规则,需要保持一致 2.字段的字符集排序规则 要一致注意: 所以条件很苛刻 参考: https://blog.csdn.net/AS761379193/article/details/89298484第一个阶段: 2.那么怎么更好的解决这个问题? 1. 把数据入到 Hive

2020-06-14 22:08:34 101

原创 java多线程与并发--double_happy

CAS结合 高并发 文章看compare and swap. : 比较 和 交换 在多线程 没有锁的 情况下 可以保证 多线程对一个 共享变量的 更新使用: 拿到内存中的最新值,使用CAS尝试将内存的值修改成目标值 如果修改失败, 则获取内存位置的最新值,然后重新尝试,直到修改成功注意: 当前值,内存中最新值,目标值 当前值 与 内存中最新值 进行比较 相等 就更新 目标值 不相等 说明 其他线程修改了这个共享变量的值 则然后重新尝试,直到修改成功 CA

2020-05-11 19:38:14 197

原创 alluxio -- double_happy

Alluxio1.用于 spark 去重 后 存中间结果 alluxio 是 内存级别的 分布式系统

2020-05-08 11:13:06 78

原创 Spark-Listener --double_happy

前言: Spark任务 提交之后 在 Spark ui 上面 可以查看我们的 任务信息那么这些信息 是如何得到的呢?? 就是 Spark Listener Spark Listener对于 streaming job堆积监控 可以使用 它待续...

2020-05-07 17:25:48 61

原创 Spark-prewarning-doublehappy

spark on yarn参考文章关于在yarn上的spark 任务我们应该做哪些监控,如何监控。:1. app存活2.spark streaming的job堆积情况3.job运行状态及进度4.stage运行进度5.rdd缓存监控6.内存监控等1. App存活监控pom.xml:添加<!--yarn 监控 app存活--> <dependen...

2020-05-04 15:11:15 108

原创 高并发--Double_happy

高并发相关问题CPU的Cache问题:1.CPU的指令 程序运行的过程中指令 都是在 cpu中运行的(eg:Spark 里 读 和 写 (数据)) Cpu 能访问的数据 是在 主存里 (主存 可以理解为 物理内存)注意: cpu 近几年 性能提升很大 而 内存 它的处理没有明显的提升 所以 内存 和 cpu 是不对等的 所以 : cpu 操作 内存 里的...

2020-04-19 12:18:00 226

原创 superset--doublehappy

部署:按照官网 进行 docker 部署:git clone https://github.com/apache/incubator-superset/cd incubator-superset# you can run this command everytime you need to start superset now:docker-compose up或者:https...

2020-03-22 20:30:44 108

原创 Spark009--spark-shell执行流程

spark-shell脚本[double_happy@hadoop101 bin]$ cat spark-shell #!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTIC...

2020-03-10 21:37:50 100

原创 Kubernetes--k8s--double_happy

介绍k8s 就是为了 容器 container而做准备的k8s官网k8s : 1.自动化部署 2.容器的管理 3.伸缩如果单纯的用docker来做 会有什么不方便呢? 1.每一个 container 表示一个进程 一个一个启动 太费劲了为了方便? k8s我们使用 1.13版本的k8sk8s文档部署部署官网地址kubeadm 工具 : 来进行部署 k8s...

2020-03-10 21:37:03 275

原创 phoniex--double_happy

Phoniex1.Phoinex 源码改动后 要进行编译 生成 tar.gz 包2.部署 Phoinex 3.解决问题**部署 Phoinex **基于 新加坡 阿里云节点进行 编译 Phoneix 修改后的源码 进行编译: 以为 本地 idea 编译 有的时候所依赖的 jar 下载不了1.[sxwang@hadoop003 software]$ lltotal 33952...

2020-03-10 21:35:22 104

原创 Kafka--doublehappy

步骤文章参考1.创建topic/opt/cloudera/parcels/KAFKA/lib/kafka/bin/kafka-topics.sh \--create \--zookeeper hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka \--replication-factor 3 \--partitions 3 \--to...

2020-03-10 21:29:38 345

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除