Shell学习与Hadoop进阶 - 物流网资讯

Shell学习与Hadoop进阶

2024-12-27 12:40

1.shell学习笔记

如下

2.明日学习计划

下一步是学习Hadoop，之前看过800分钟的视频，学会了搭建Hadoop，hive，并连接帆软BI进行展示。今天看了另一个系列的视频，有1600多分钟，其中包括了调优，源码和一些参数配置，这是之前没了解到，但是实际工作和面试会问到的，这次看Hadoop主要侧重以上3点的学习。

明日学习时间控制在4小时以上。早上10点--12点；下午4点--6点，晚上抽空总结学习成果并记录下来！

3.整体进展情况

暂定的学习路线：shell，Hadoop，zookeeper，hive，flume，sqoop，kafka，数仓建设规范，维度建模，实战项目，SQL调优，常用算法

目前shell已学完

shell
20220701
1https://blog.csdn.net/weixin_45058470/article/details/bin/sh是指向/bin/bash的软链接，用来解析shell脚本
2.$是变量符号，后跟变量名称
3.export $var 表示将var变量全局化
4.$n $0表示脚本名，$1-9表示第N个变量
5.$# 表示参数个数
6.$* 表示所有输入的参数，作为一个整体
7.$@ 表示所有输入的参数，作为个体
8.$? 测试上一条命令是否成功执行；返回0表示正常，其他表示错误；
9.expr 3 + 2 表示计算3+2；expr用来运算，后边的参数之间必须有空格，expr可以嵌套，但是一般不用；
10.s=$[(2+3)*4] ；var=$[] 这种格式也可以用来初始化变量；
11.[] 条件判断，中间写条件，操作符包含：-ge 大于等于 -gt 大于 -lt 小于 -le 小于等于 -ne 不等于 -f 是否文件 -d 是否目录 -e 是否存在 -r 可读权限 -w -x
判断大小时，中间参数，必须前后空格判断文件时，参数需要前后空格
多条件判断，可以用&&和||表示与和或
补充：
shell是一个命令行解析器，接收应用程序或用户命令，调用系统内核。
Linux架构：由内而外是硬件>Linux内核>shell>应用程序
脚本以 #!/bin/bash 开头是用来指定解析器的
touch 用来修改文件的时间属性，如文件不存在，则新建空文件

-----------------------------------------------------------------------------------------------------------

20220702
1.流程控制
1.1   if判断
       if [ 条件 ];then
           程序
       fi
       或者
       if [ 条件 ]
           then
           程序
       fi
   注意事项：if后要有空格；中括号条件两侧要有空格
1.2   case判断
       case $变量名 in
           "值1")
               程序
           ;;
           "值2")
               程序
           ;;
           *)
               默认程序
           ;;
       esac
1.3   for循环
   1.   for(( 初始值;条件控制;变量变化 ))
           do
               程序
           done
   2.   for 变量 in 值1 值2
           do
               程序
           done
1.4   while循环
       while [ 条件 ]
           do
               程序
           done
2.read读取控制台输入 -p后跟提示语 -t后跟时间（秒），表示读取几秒内输入的字符；最后参数表示读取的值赋给的变量名
3.系统函数basename string/pathname [suffix]   截取指定路径的文件名，suffix表示去掉指定后缀，suffix为可选项
4.系统函数dirname 文件绝对路径   截取指定路径的目录名
5.自定义函数
   基本语法
   [ function ] funname[()]
   {
       Action;
       [return int;]--一般用$?判断是否执行成功
   }

   注意：必须在调用前声明，shell是逐行执行，不是先编译再执行

6.shell分割工具：cut [选项参数] filename，默认分隔符是制表符；
-f 列号，提取第几列，获取多列可以用逗号，例如1，2（还可以从指定列到末尾，例如‘1-’，表示从第1列到末尾）；
-d 指定分隔符
该工具可以使用‘|’切割上一个命令的返回值，此时后边不需要跟filename参数

7.shell流编辑工具：sed [选项参数] 'command' filename
常用选项参数：-e   直接在指令列模式上进行sed的动作编辑
常用命令功能：a    新增，a的后面可以接字串，在下一行出现 --sed "2a dyl" file.txt 表示在第2行下边新增dyl（源文件不改变）
   d   删除   --sed "/wo/d" file.txt 表示删除包含"wo"的所有行
   s   查找并替换   --sed "s/wo/ni/g" file.txt 表示将文件中"wo"替换为"ni"，"/g"表示全局替换
sed -e "2d" -e "s/wo/ni"   多个命令时要用到-e参数

8.shell文本分析工具：awk [选项参数] '匹配规则1{执行命令1} 匹配规则2{执行命令2}...' filename
常用选项参数：-F   分隔符
           -v   用来定义变量
匹配规则：在第一行加字符可以用'BEGIN{}'，在末尾行新增一行可以用'END{}'
内置变量：FILENAME 文件名
   NR已读的记录数
   NF浏览记录的域的个数（相当于切割后，列的个数）
9.shell排序工具：sort(选项)(参数)
常用参数：-n   按照数值大小
   -r   倒叙
   -t   指定分隔符
   -k   指定待排序的列
例：sort -t : -nrk 2 test   表示test文件用':'分割，指定第二列倒叙数值排序

练习
1.体验if语句结构
if [ $1 -eq 1 ];then
   echo '1'
elif [ $1 -eq 2 ];then
   echo '2'
fi
2.---$*与$@一致；"$*"不同，"$*"表示一个整体；
for i in $*
do
   echo $i
done
for i in $@
do
   echo $i
done
3.体验自定义函数结构，并调用
function sum()
{
   s=$[$1 + $2]
   echo $s
}

read -p "input your parameter1:" p1
read -p "input your parameter2:" p2
sum $p1 $p2
4.计算test文件第二列的和并输出(空格分隔)
awk -F ' ' '{sum+=$2} END{print sum}' test