hm-dusk / gitalk Goto Github PK
View Code? Open in Web Editor NEW用于保存gitalk评论
用于保存gitalk评论
http://blog.hming.org/2019/08/06/Centos7%E5%AE%89%E8%A3%85VNC%E6%9C%8D%E5%8A%A1/
本文介绍在Centos7.6下安装VNC Viewer并通过Windows连接远程桌面的过程
http://blog.hming.org/2019/01/03/Tez%E4%BB%A5%E5%8F%8ATez-UI%E5%AE%89%E8%A3%85%E6%96%B9%E6%B3%95/
Tez是一个基于Hadoop Yarn的新应用程序框架,可以执行一般数据处理任务的复杂有向非循环图。在许多方面,它可以被认为是map-reduce框架的一个更灵活和更强大的继承者。
本文主要讲述如何使用Zookeeper实现HiveServer2的HA
配置过程修改hive配置登录Cloduera Manager,进入Hive服务,在配置中搜索hive-site.xml,找到hive-site.xml 的 HiveSe
http://blog.hming.org/2018/12/06/CentOS7%E4%B8%8B%E6%90%AD%E5%BB%BAHive/
搭建Hadoop集群参考CentOS7下搭建Hadoop集群
下载Hive压缩包找到合适版本下载hive,本文压缩包为apache-hive-2.3.4-bin.tar.gz下载地址
解压,配置环境变量
解压到指定目录(本文目录为/home
http://blog.hming.org/2019/08/30/CDH%E9%9B%86%E7%BE%A4Yarn%E5%86%85%E5%AD%98%E8%B0%83%E4%BC%98/
DRFDRF: Dominant Resource Fairness,根据CPU和内存公平调度资源。CDH动态资源池默认采用的DRF计划策略。简单的理解就是内存不够的时候,多余的CPU就不会分配任务了,就让他空着;CPU不够的时候,多出来的
http://blog.hming.org/2019/03/29/Linux%E5%88%B6%E4%BD%9C%E7%A6%BB%E7%BA%BFyum%E6%BA%90/
制作离线yum源的方法
参考
基本步骤
制作或挂载一个本地yum源目录
修改或增加repo配置文件指向离线yum包制作利用官方包下载ISO文件到官网http://isoredirect.centos.org/下载镜像包,尽量下载Every
http://blog.hming.org/2019/01/12/Maven%E4%BD%BF%E7%94%A8Hortonworks%E4%BE%9D%E8%B5%96%E5%8C%85/
在项目中连接HDP时,会出现HortonWorks的Maven依赖包下载不了的情况,本文提供解决方案。
http://blog.hming.org/2018/11/19/Spring-Boot%E4%BD%BF%E7%94%A8JDBC%E8%BF%9E%E6%8E%A5Hive/
项目中需要使用SpringBoot操作Hive进行开发,这里记录SpringBoot使用JdbcTemplate连接Hive的方法。开发环境使用Maven。
SandBox上传文件到HDFS时,文件创建成功,向文件写入数据失败问题分析和解决方案。
http://blog.hming.org/2019/04/02/%E5%AE%89%E8%A3%85SandBox-HDP%EF%BC%88Docker%E7%89%88%EF%BC%891/
说出来你可能不相信,页面找不到了! | 貍铭的博客
http://blog.hming.org/2019/01/09/CentOS7%E7%A6%BB%E7%BA%BF%E5%AE%89%E8%A3%85HDP/
CentOS7离线安装HDP,Ambari版本:2.7.3.0,HDP版本:3.1.0.0
http://blog.hming.org/2019/07/03/HDP%E4%B8%8ECDH%E5%AF%B9%E6%AF%94/
HDP与CDH的对比版本更新对比HDP版本更新较快,因为Hortonworks内部大部分员工都是apache代码贡献者,尤其是Hadoop 2.0的贡献者。
CDH版本更新比Apache版本慢。
目前Apache社区Hadoop最新版本:3
http://blog.hming.org/2018/12/09/mysql-lian-jie-qu-dong-bao-xia-zai-fang-fa/
mysql连接驱动包mysql-connector-java-x.x.x.jar很多地方都会用到,本文介绍官方下载方式
http://blog.hming.org/2019/07/03/HDP%E4%B8%8ECDH%E5%AF%B9%E6%AF%94/
Hortonworks HDP与Cloudera CDH对比。
http://blog.hming.org/2018/12/08/CentOS7%E4%B8%8B%E7%A6%BB%E7%BA%BF%E5%AE%89%E8%A3%85MySQL/
CentOS7下离线安装MySQL
下载社区版离线安装包本文为mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar下载路径:https://dev.mysql.com/downloads/mysql/5.7.h
http://blog.hming.org/2018/09/14/Linux%E4%B8%8B%E5%AE%89%E8%A3%85Java/
将Java压缩包传到Linux使用rz命令将tar包上传到Linux系统
关于rz命令,点击查看介绍
解压安装包[root@hadoopmaster mnt]# ls
jdk-8u101-linux-x64.tar.gz
[root@h
本文转载自微信公众号Hadoop实操:《如何给Hadoop集群划分角色》
参考官网:Recommended Cluster Hosts and Role Distribution
1.文档编写目的Fayson在之前的文章中介绍过《CDH
Linux命令行是操作Linux的重要手段,命令行提示符千篇一律的格式有时会让命令和输出难以辨认,本文将介绍如何修改命令行提示符的格式。
http://blog.hming.org/2020/02/22/%E5%9F%BA%E9%87%91%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/
基金的概念百度百科:基金,英文是fund,广义是指为了某种目的而设立的具有一定数量的资金。主要包括信托投资基金、公积金、保险基金、退休基金,各种基金会的基金。
日常生活中所说的狭义上的基金一般特指:公募证券投资基金,简称公募基金。
股票和
在安装CDH中Hive时,虽然设置了Hive元数据库编码为UTF-8,但是创建Hive表注释依然会有乱码问题,本文介绍乱码原因以及解决方法。
乱码原因查看Hive元数据库(本文为MySQL中metastore),发现虽然数据库编码为UTF-
对比多款静态网站生成工具,分析需求,找到合适的工具。
需求
要求部署一个静态网站,用于开发者文档的呈现。
要求所有文档采用markdown格式书写,md文件保存到git仓库(github),并且目录结构必须清晰
要求md文件解析操作是在前
http://blog.hming.org/friends/
friends | 貍铭的博客
GDP(Gross Domestic Product)百度百科国内生产总值(GDP)是指按国家市场价格计算的一个国家(或地区)所有常住单位在一定时期内生产活动的最终成果,常被公认为是衡量国家经济状况的最佳指标。国内生产总值GDP是核算体系中
Linux命令行是操作Linux的重要手段,命令行提示符千篇一律的格式有时会让命令和输出难以辨认,本文将介绍如何修改命令行提示符的格式。
命令行提示符代表含义命令行提示符一般格式含义:[root@sandbox ~]#
其中@前root
http://blog.hming.org/2018/11/19/Spring-Boot%E4%BD%BF%E7%94%A8JDBC%E8%BF%9E%E6%8E%A5Hive/
添加Maven依赖<!-- hive -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</
http://blog.hming.org/2018/09/16/CentOS7%E4%B8%8B%E6%90%AD%E5%BB%BAHadoop%E9%9B%86%E7%BE%A4/
本文环境
节点
IP地址
hadoopmaster
192.168.171.10
hadoop001
192.168.171.11
hadoop002
192.168.171.12
准备环境虚拟机创建多个Linux系统
http://blog.hming.org/2019/04/02/%E5%AE%89%E8%A3%85SandBox-HDP%EF%BC%88Docker%E7%89%88%EF%BC%89/
SandBox HDP版本3.0.1,安装环境为CentOS7
参考官网教程:Deploying Hortonworks Sandbox on Docker
环境准备
方面
要求
软件
安装docker
内存
官方推荐doc
http://blog.hming.org/2019/04/02/%E5%AE%89%E8%A3%85SandBox-HDP%EF%BC%88Docker%E7%89%88%EF%BC%89/
SandBox HDP版本3.0.1,安装环境为CentOS7
Linux集群配置免密码登录
本文环境:
节点
IP地址
hadoopmaster
192.168.171.10
hadoop001
192.168.171.11
hadoop002
192.168.171.12
http://blog.hming.org/contact/
contact | 貍铭的博客
http://blog.hming.org/%2F2017%2F07%2F26%2FVim%E7%A8%8B%E5%BC%8F%E7%BC%96%E8%BE%91%E5%99%A8%2F
vim编辑器常用指令一般指令模式(command mode):移动游标方法
指令
代表含义
[Ctrl]+[f]
向下移动一页,相当于[Page Down]
[Ctrl]+[b]
向上移动一页,相当于[Page Up]
0
http://blog.hming.org/2019/04/02/%E5%AE%89%E8%A3%85SandBox-HDP%EF%BC%88VMware%E7%89%88%EF%BC%89/
SandBox HDP版本3.0.1,安装环境为Windows 10
http://blog.hming.org/2018/08/15/Linux%E5%B8%B8%E7%94%A8%E5%91%BD%E4%BB%A4/
输入界面快捷操作(命令行快捷操作)操作方式及操作效果
操作方式
操作效果
Ctrl+k
剪切命令行中光标所在处之后的所有字符(包括自身)
Ctrl+u
剪切命令行中光标所在处之前的所有字符(不包括自身)
Ctrl+y
粘贴
http://blog.hming.org/2019/08/06/Centos7%E5%AE%89%E8%A3%85VNC%E6%9C%8D%E5%8A%A1/
安装gnome桌面如果Centos7为最小化安装,则需要单独安装gnome图形化桌面
[root@AccessGateway ~]# yum groupinstall -y "GNOME Desktop"
安装vnc server[root
http://blog.hming.org/2019/02/14/CentOS7%E7%A6%BB%E7%BA%BF%E5%AE%89%E8%A3%85HDF/
CentOS7离线安装HDF,Ambari版本:2.7.3.0,HDF版本:3.3.1.0
原理解释Impala使用Catalog服务进行元数据的管理,Catalog使用StateStore进行元数据同步分发到各个Impalad服务。Impala使用两个元数据:
来自Hive Metastore的目录信息
来自NameNode的
http://blog.hming.org/2019/08/16/CentOS7%E7%A6%BB%E7%BA%BF%E5%AE%89%E8%A3%85CDH/
CentOS7.6离线安装CDP,Cloudera Manager版本:6.3.0,CDH版本:6.3.0-1
本文环境
节点
IP地址
hdp001
192.168.171.10
hdp002
192.168.171.11
http://blog.hming.org/%2F2019%2F01%2F09%2FCentOS7%E7%A6%BB%E7%BA%BF%E5%AE%89%E8%A3%85HDP%2F
本文环境
节点
IP地址
hdp001
192.168.171.10
hdp002
192.168.171.11
hdp003
192.168.171.12
环境准备磁盘准备离线安装包共计10G左右,解压后共计11G左
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.