linux提交任务命令 linux完成任务命令
Linux集群使用命令
存储NAS 文件操作
创新互联公司-专业网站定制、快速模板网站建设、高性价比格尔木网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式格尔木网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖格尔木地区。费用合理售后完善,十载实体公司更值得信赖。
df -h查看空间使用情况
警惕超大 nohup.out
任务提交
任务提交前
qhost--查看集群负载状态
qsub / qsub-sge.pl--提交任务
qstat--查看任务状态
qdel / qmod--任务控制
任务查看
qhost -j---列出所有用户在每个节点上的任务
qhost -q---列出每个节点上每个队列的任务数
qhost -u username---列出某个用户在每个节点上的任务
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh
任务查看2
qstat -u username---查看某个用户的任务
qstat -u *,---查看所有用户的任务
qstat –j jobs_ID---查看某个任务的详细信息
查看.e和.o文件
.e:错误信息
.o:标准输出
任务控制
qdel jobID---删除某个任务
qdel -u username---删除某个用户的所有任务
qmod -s jobID--挂起某个任务
qmod -us jobID---继续运行某个挂起的任务
按任务占用内存大小选择相应的队列
查看队列 qstat -g c
QUEUE
PE.q--并行
cloud.q--云平台
general.q--96G节点
middle.q--96G节点
great.q--大内存节点
plus.q--大内存节点
single.q--Trinity组装
single._p.q---Trinity组装(占用内存较大)
TOP监视
编辑于 2017-04-21
Linux 多种提交作业的指令
1、前台进程就是用户使用的有控制终端的进程,一旦这个终端关闭,这个进程也随之消失。
2、后台进程也叫守护进程,是运行在后台的一种特殊进程,不受终端控制。
3、后台程序基本上不和用户交互,优先级别稍微低一点 ; 前台的程序和用户交互,需要较高的响应速度,优先级别稍微高一点。
方法一 :切换到shell脚本所在的目录(此时,称为工作目录)执行shell脚本:./test.sh
方法二: 以绝对路径的方式去执行bash shell脚本:/home/user1/test.sh
方法三: 直接使用bash 或sh 来执行bash shell脚本:sh test.sh bash test.sh。该方法执行脚本,可以不必事先设定shell的执行权限,甚至都不用写shell文件中的第一行(指定bash路径)。因为方法三是将test.sh作为参数传给sh(bash)命令来执行的。这时不是test.sh自己来执行,而是被人家调用执行,所以不要执行权限
方法四: 在当前的shell环境中执行bash shell脚本: . test.sh source test.sh
几种方法的对比:
前三种方法执行shell脚本时都是在当前shell(称为父shell)开启一个子shell环境,此shell脚本就在这个子shell环境中执行。shell脚本执行完后子shell环境随即关闭,然后又回到父shell中。而方法四则是在当前shell中执行的 。
可以使用nohup命令忽略所有挂断(SIGHUP)信号,来实现在终端关闭后,命令不挂断地运行,nohup就是不挂起的意思( no hang up)。
Linux集群常用指令
姓名:张昊楠 学号:21021210691
存储NAS 文件操作
df -h查看空间使用情况
警惕超大 nohup.out
ls 当前路径下的文件列表
pwd 查看当前路径
cd 进入某个文件夹
任务提交
任务提交前
qhost--查看集群负载状态
qsub / qsub-sge.pl--提交任务
qstat--查看任务状态
qdel / qmod--任务控制
任务查看
qhost -j---列出所有用户在每个节点上的任务
qhost -q---列出每个节点上每个队列的任务数
qhost -u username---列出某个用户在每个节点上的任务
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh
任务查看2
qstat -u username---查看某个用户的任务
qstat -u *,---查看所有用户的任务
qstat –j jobs_ID---查看某个任务的详细信息
查看.e和.o文件
.e:错误信息
.o:标准输出
任务控制
qdel jobID---删除某个任务
qdel -u username---删除某个用户的所有任务
qmod -s jobID--挂起某个任务
qmod -us jobID---继续运行某个挂起的任务
按任务占用内存大小选择相应的队列
查看队列 qstat -g c
QUEUE
PE.q--并行
cloud.q--云平台
general.q--96G节点
middle.q--96G节点
great.q--大内存节点
plus.q--大内存节点
single.q--Trinity组装
single._p.q---Trinity组装(占用内存较大)
集群任务提交及相关命令
~ 代表根目录 /public/home/wangyantao/
#任务提交命令
qsub -l mem=1G,nodes=1:ppn=1 *.sh (#*.sh代表脚本)
ll #根目录下的文件
less #查看脚本文件内容#
vim
star建索引
以下是脚本信息
/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --genomeDir $path/04.00.star.index/ref.fa --genomeFastaFiles $path/00.ref/*.fasta --sjdbGTFfile $path/00.ref/*.gff3
/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --genomeDir ref.fa --genomeFastaFiles /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aethiopicum_genome_fasta --sjdbGTFfile /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aeth_gene.gff
/public/home/liuxiaofeng/biosoft/STAR-master/bin/Linux_x86_64_static/STAR --runThreadN 4 --runMode genomeGenerate --limitGenomeGenerateRAM 115005046144 --genomeDir ref.fa --genomeFastaFiles /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aethiopicum_genome_fasta --sjdbGTFfile /vol3/agis/zhoushaoqun_group/wangyantao/reference/S_aeth_gene.gff
PBS脚本 提交任务
#如何在linux下创建一个可运行shell脚本
#新建一个.sh文件
touch cellranger.count.sh
#编辑test.sh文件
vi test.sh
#键入i,输入内容;#!/bin/sh必须放在第一行;然后键入esc键,输入:wq保存退出
#给test.sh赋予可执行权限
chmod +x test.sh
#执行脚本
sh test.sh
PBS 脚本格式 :PBS脚本为.pbs文件,将提交任务的命令写在PBS脚本中提交,PBS脚本由抬头的任务详情和具体命令组成:
抬头任务详情格式:
#PBS -N myjob
#PBS -o /home/jz/my.out
#PBS -e /home/jz/my.err
#PBS –l nodes=2:ppn=1
#########################创建自己的
这里的#不是注释的意思
#PBS -N cellranger.f
#PBS -o /home/yifan/project/LJ.22.02.sc/cellranger/my.out
#PBS -e /home/yifan/project/LJ.22.02.sc/cellranger/my.err
#PBS –l nodes=2:ppn=1
cd /home/yifan/project/LJ.22.02.sc
for id in KOAC KONC WTAC WTNC
do
/home/yifan/software/cellranger-6.1.2/cellranger count --localcores=40 --localmem=120 --id=${id}2 --transcriptome=/home/yifan/data/ref/cellranger.mm10/refdata-gex-mm10-2020-A --nosecondary --fastqs=/home/yifan/project/LJ.22.02.sc --sample=${id}
done
一般格式:qsub + 脚本名称,
如:qsub myname.pbs
cd /home/yifan/project/LJ.22.02.sc
qsub cellranger.count.sh
65690.mu01 #给出了任务号
命令格式:qatat[-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]
qstat -an
参数说明:
-f jobid 列出指定作业的信息
-a 列出系统所有作业
-i 列出不在运行的作业
-n 列出分配给此作业的结点
-s 列出队列管理员与scheduler 所提供的建议
-R 列出磁盘预留信息
-Q 操作符是destination id,指明请求的是队列状态
-q 列出队列状态,并以alternative 形式显示
-au userid 列出指定用户的所有作业
-B 列出PBS Server 信息
-r 列出所有正在运行的作业
-Qf queue 列出指定队列的信息
-u 若操作符为作业号,则列出其状态。
若操作符为destination id,则列出运行在其上的属于user_list中用户的作业状态。
例:# qstat -f 211 查询作业号为211 的作业的具体信息。
本文标题:linux提交任务命令 linux完成任务命令
URL分享:http://pwwzsj.com/article/hhdhce.html