二分查找的边界问题

JAVA 

使用二分查找时,特别是涉及左右边界时,不同的写法会产生不同的效果, right 是闭区间还是开区间 以及 left<right 还是 left<=right 会影响最终的返回结果。public class BinarySearch { /** * 查找左边界: *

解决IDEA问题 Cause: zip END header not found

JAVA 

IDEA在编译Gradle项目时会自动下载对应版本的Gradle-XXX.zip,因为某些原因经常会下载失败,进而造成错误:Cause: zip END header not found.解决办法也很简单,就是把损坏的压缩包删除,尝试重写编译。默认的下载位置在 用户目录/.gradle/wrappe

osv流程简解

python  JAVA 

demo3d.pyMain函数入口从xs.dat输入地震图像goPlanar 计算地震平面度goFaultOrientScan 计算投票面和最终投票得分图goSurfaceVoting 计算投票面和最终投票得分图goFaultSurfaces 构造断层面demo3d.pyMain函数入口def ma

HadoopHA之ResourceManager HA

Hadoop  JAVA 

配置Yarn在配置完成NameNodeHA的基础上,只需再配置一下yarn-site.xml即可。&

HaoopHA之NameNode HA

Linux  Hadoop  JAVA 

先配置好Haoop集群配置ZookeeperHaoopHA的自动故障转移需要Zookeeper的支持

Java操作Zookeeper

Hadoop  JAVA 

ZooKeeper的操作较为简单,下面是一个简单的客户端操作实例客户端监听服务器上下线的简单实现:G

MapReduce大纲

Hadoop  JAVA 

1.Writable序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储(

MapReduce编程规范

Hadoop  JAVA 

案例:MapReduceDemoREADME中给出了对应知识点Mapper阶段用户自定义的Mappe

HDFS回收站

Hadoop  JAVA 

默认回收站默认值fs.trash.interval=0,0表示禁用回收站,可以设置删除文件的存活时间

HDFS快照管理

Hadoop  JAVA 

快照相当于对目录做一个备份。并不会立即复制所有文件,而是指向同一个文件。当写入发生时,才会产生新文件

Hadoop存档

Hadoop  JAVA 

理论概述每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件

集群间数据拷贝

Hadoop  JAVA 

scp实现两个远程主机之间的文件复制scp-rhello.txtroot@hadoop103:/he

DataNode的版本号

Hadoop  JAVA 

和namenode不同的是,datanode的存储目录是初始阶段自动创建的,不需要额外格式化。查看D

DataNode工作机制

Hadoop  JAVA 

工作机制一个数据块在datanode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元

服役和退役数据节点

Hadoop  JAVA 

服役新数据节点环境准备克隆一台虚拟机修改ip地址和主机名称修改xcall和xsync文件,增加新增节

NameNode版本号

Hadoop  JAVA 

查看NameNode版本号在{HADOOP_HOME}/data/tmp/dfs/name/curr

集群安全模式操作

Hadoop  JAVA 

Namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各

从SecondaryNameNode恢复数据

Hadoop  JAVA 

SecondaryNameNode用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据

HDFS镜像文件和编辑日志文件

Hadoop  JAVA 

fsimage&editsNameNode被格式化之后,将在{Hadoop_HOME}/da

NameNode&Secondary NameNode工作机制

Hadoop  JAVA 

第一阶段:namenode启动1.第一次启动namenode格式化后,创建fsimage和edits