Assembly-ContigBlast.sh00007550000006721612477243416017433 0ustar dirk.hoeperdomänen-benutzer# Assemnly-ContigBlast.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash . ~/RIEMS/Config.txt # <- Path of config file (unchanged) query=${arbeitsvz}/Ausgangsdateien/Trimmed.fna # Default Einstellung fr die Anfrage outputordner=${arbeitsvz}/Assembly # Default Einstellung fr das zielverzeichnis user=eigen while getopts i:o: opt 2>/dev/null ; do # Def. aller mglichen Parameter in der Komandozeile user=fremd # Erkennung fr die seperate Ausfhrung case ${opt} in # Zuordnung der Parameter i & o o) out=$OPTARG outputordner=${out}/Assembly # quasi arbeitsvz if [ -d $outputordner ] ; then # Falls schon ein Assembly Folder im Ziel dir ex. echo -e "\nThere is already a Folder named 'Assembly' in your current output directory." echo -e "Please delete or rename this Folder and start the analysis again.\n" exit # Userinfo auf dem Bildschirm und Programmabruch fi;; i) query=$OPTARG;; *) # fr den Fall einer falschen Parametereingabe erfolgt eine Erluterung echo -e "\nThis tool runs an Assembly, blasts all TooShort Reads against the Contigs and then assignes the Contigs to their corresponding organisms" echo "via Blast." echo "-i obligatory: Enter complete query file path (.fna, .fasta, or .sff)" echo -e "-o obligatory: Enter target folder for the output\n" ; exit;; # und exit: sofortiger Abbruch des Programms esac done if [ $# -lt 2 ] ; then # fr den Fall keiner Parameterspezifizierung; normalerweise Fehlermeldung, echo -e "\nThis tool runs an Assembly, blasts all TooShort Reads against the Contigs and then assignes the Contigs to their corresponding organisms" echo "via Blast." echo "-i obligatory: Enter complete query file path (.fna, .fasta, or .sff)" echo -e "-o obligatory: Enter target folder for the output\n" ; exit fi ################################################################### Functions ############################################################################ function AssembledReadAssignment() { grep -w 'AF' $i | cut -d " " -f2 | cut -d "." -f 1,2 >> ${i}.txt # AF: enthlt alle Reads, die dem Contig zugeordnet while read line ; do # line: Accnos mit eventuellen Trefferbereichen if [[ $line == *.* ]] # G29GH3N02EUVFU.3-108 (eingeschrnkter Trefferbereich) then if (( ((`(echo $line | cut -d "." -f2 | cut -d "-" -f1)`-`(echo $line | cut -d "." -f2 | cut -d "-" -f2)`)) >= 20 )) || (( ((`(echo $line | cut -d "." -f2 | cut -d "-" -f1)`-`(echo $line | cut -d "." -f2 | cut -d "-" -f2)`)) <= -20 )) ; then # dh. wenn mehr als 20 nts des Reads am contig alig. wird . gecuttet -> G29GH3N02EUVFU Accno, Contig & Status Assembly in 2 Dateien geschrieben echo -e "$(echo $line | cut -d "." -f1)\t`basename ${i} .ace`\t\t\t\t\t\t\tAssembly" >> Assembly/tmp-Assembly.txt (echo $line | cut -d "." -f1) >> Assembly/Assigned-Accnos-2.txt # zum Zhlen der Assembly Hits bentigt fi else # wenn kein G29GH3N02EUVFU. Punkt, dann echo -e "${line}\t`basename ${i} .ace`\t\t\t\t\t\tAssembly" >> Assembly/tmp-Assembly.txt # Accno, Contig & Status Assembly werden in 2 Dateien echo $line >> Assembly/Assigned-Accnos-2.txt # zum Zhlen der Assembly Hits bentigt fi done < ${i}.txt # &: Verteilung auf mehrere CPUs rm Assembly/ace/`basename ${i} .ace`*.txt } ########################################################### Assembly + Read-Contig Zuordnung ############################################################# # Ermittlung der Dateiendung; falls vom User eine sff-datei eingegeben wurde, muss diese noch in eine fna-Datei umgewandelt werden file=${query/*./} # Bestimmung der Dateiendung if [[ $file == sff ]] ; then # falls vom user sff-datei eingegeben wurde $gsflxdir/sffinfo -s $query > `dirname $query`/`basename $query .sff`.fna # muss diese in eine fna-datei umgeschrieben werden q=`dirname $query`/`basename $query .sff`.fna ; query=$q # als 'q' dann gespeichert und anschlieend als neue query definiert file=fna # file wird dementsprechend =fna gesetzt fi mkdir -p $outputordner ; cd $outputordner if [[ $user == fremd ]] then echo -ne "\n\rRunning ASSEMBLY... " else # zhlen des inputs, falls keine contigs gebildet werden knnen ((allaccnos=`grep -c '^>' $query`-`wc -l < ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt`)) echo -ne "\n\rRunning ASSEMBLY of all $allaccnos unassigned Reads... " fi #runAssembly -rip -o ${outputordner}/Assembly -fe ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt -tr -force -noinfo -cpu $threads -acedir -ml 20 $query 1>/dev/null $gsflxdir/runAssembly -rip -o ${outputordner}/Assembly -fe ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt -tr -force -noinfo -cpu $threads -acedir -ml 20 $query 1>/dev/null # 1>/dev/null: keine Bildschirmausgabe # -force: falls schon vorhanden -> berschreiben ; -acedir: Vz mit den zu einem Contig zugeordneten Reads erstellen # -ml: wahrscheinlich minimale Lnge eines Reads in % um Bestandteil eines Contigs zu werden if [ -e ${outputordner}/Assembly/454TrimmedReads.fastq ] then ${embossdir}/seqret -sequence ${outputordner}/Assembly/454TrimmedReads.fastq -snucleotide -sformat fastq -outseq ${outputordner}/Assembly/454TrimmedReads.fna fi gesamt=`grep -c '>' Assembly/454AllContigs.fna 2>/dev/null` # Contigs zhlen #cp Assembly/454AllContigs.fna 454AllContigs.fna # damit 454AllContigs.fna am Schluss nicht gelscht wird echo -ne "\nData processing... " if [ -s Assembly/454AllContigs.fna ] ; then (for i in $outputordner/Assembly/ace/*.ace ; do AssembledReadAssignment $i & done ; wait) # wait: essentiell!!! sonst Murx beim sort und uniq sort Assembly/Assigned-Accnos-2.txt | uniq > Assembly/Assigned-Accnos.txt # der Datei Assembly/Assigned-Accnos-2.txt assembledaccnos=`wc -l < Assembly/Assigned-Accnos.txt` contigaccnos=`grep -c '>' Assembly/454AllContigs.fna` echo "completed & $assembledaccnos Reads assembled into $contigaccnos Contig(s)." rm Assembly/Assigned-Accnos-2.txt 2>/dev/null ############################################################### Megablast Rest vs Contigs ################################################################ echo -n "Preparing Megablast for all unassembled Reads... " grep -v 'Accno' Assembly/454ReadStatus.txt | cut -f1 | sort | uniq > Assembly/All-Accnos.txt # diff funzt nur mit sortierten Daten ! diff Assembly/All-Accnos.txt Assembly/Assigned-Accnos.txt | grep '<' | cut -d " " -f2 | sort | uniq > Assembly/Unassigned-Accnos.txt allaccnos=`wc -l < Assembly/All-Accnos.txt` rm Assembly/All-Accnos.txt $gsflxdir/fnafile -o Assembly/sff/Unassigned-Accnos.fna -i Assembly/Unassigned-Accnos.txt $query 1>/dev/null echo -ne "\nCreating Blast database... " infilesize=`du -sbL Assembly/454AllContigs.fna | cut -f1` # Bestimmung der Dateigre in Byte dbsize=`echo "$infilesize*0.26*(1/${threads})/1" | bc` # Verteilung der DBGre auf alle Kerne $blastdir/makeblastdb -dbtype nucl -in Assembly/454AllContigs.fna -max_file_sz $dbsize 1>/dev/null # Befehl zur Erstellung der Datenbank echo -ne "\nRunning Megablast... " $blastdir/blastn -db Assembly/454AllContigs.fna -num_threads $threads -max_target_seqs 1 -out Assembly/Megablast_Unassigned.txt -query Assembly/sff/Unassigned-Accnos.fna -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' # wg. Problemen mit BLAST bei culling_limit entfernt: # Assembly/Megablast_Unassigned.txt enthlt alle Megablast Hits aber noch unbearbeitet if [ -s Assembly/Megablast_Unassigned.txt ] ; then gesamt=`wc -l < Assembly/Megablast_Unassigned.txt` # Megablast_Unassigned.txt: enthlt ALLE Hits anteil=`bc <<< "scale=2; (100/${gesamt})"` 2>/dev/null ; neuanteil=$anteil # zur Fortschrittsberechnung bentigt while read line ; do # GWX4J1I02GP3XU contig00005 1 90 90 4e-29 echo -ne "\rRunning Megablast... data processing... $neuanteil% complete" grep "$line" Assembly/Megablast_Unassigned.txt > Assembly/tmp.txt # tmp.txt: = $line nur als Datei x1=$(echo $line | cut -d " " -f3) # 1 | Trefferbereich vom Read am Contig x2=$(echo $line | cut -d " " -f4) # 90 V len=$(echo $line | cut -d " " -f5) # 90 (Readlnge) ((diff=(${x2}-${x1})*100/${len})) # %ualer Alignmentbereich des Reads ; hier 98,888 % if (( $diff >= 60 )) ; then # wenn mehr als 60 % des Reads am Contig alignieren..., cat Assembly/tmp.txt >> Assembly/Megablast_Assigned.txt # dann anhngen der tmp.txt an Megablast Hit Datei fi neuanteil=`bc <<< "scale=2; ($neuanteil+$anteil)"` # scale=2: Ausgabe von 2 Stellen nach dem Komma done < Assembly/Megablast_Unassigned.txt & wait # &: Verteilung auf alle CPU Kerne fi # Assembly- & Megablast-Accnos werden mit entsrechender Zusatzinfo zusammengefgt echo -e "Read accno\tHit contig\tHit range\t\tRead length\tE-value\tIdentity (%)\tAssignment process\n" > Reads_Vs_Contigs-MegaBlastHits.xls if [ -s Assembly/Megablast_Assigned.txt ] # wenn die Datei existiert, then megablastaccnos=`wc -l < Assembly/Megablast_Assigned.txt` # zhle die Zeilen cut -f1 Assembly/Megablast_Assigned.txt | sort > Assembly/tmp.txt # spter zum Ermitteln von Unassigned-Accnos.txt ben. i=0 # Initialisierung der Laufvariable mit 0 until (( i == `wc -l < Assembly/Megablast_Assigned.txt` )) ; do # bis i = # Zeilen in der Datei erreicht hat echo -e "Megablast" >> Assembly/tmp-megablast.txt ; ((i=$i+1)) # schreibe 'Megablast' in jede Zeile, sodass # \t ist fr das tab-getrennte Ausgabeformat beim paste anschlieend notwendig! done # # Accnos = # 'Megablast' paste Assembly/Megablast_Assigned.txt Assembly/tmp-megablast.txt | sort -k2 >> Reads_Vs_Contigs-MegaBlastHits.xls else megablastaccnos=0 fi sort -k2 Assembly/tmp-Assembly.txt >> Reads_Vs_Contigs-MegaBlastHits.xls # sort -k2: anhand der 2. Spalte sortieren echo -e "\rRunning Megablast... data processing... 100.00% complete." # Finished Info # Ermittlung der Mengen fr die gemappten und weder assemblierten noch gemappten Reads if [ -s Assembly/Megablast_Assigned.txt ] then diff Assembly/Unassigned-Accnos.txt Assembly/tmp.txt | grep '<' | cut -d " " -f2 | sort | uniq > Unassigned-Accnos.txt 2>/dev/null leftover=`wc -l < Unassigned-Accnos.txt` else leftover=`wc -l < Assembly/Unassigned-Accnos.txt` cp Assembly/Unassigned-Accnos.txt Unassigned-Accnos.txt fi rm Assembly/tmp* 2>/dev/null # entfernen aller tmp-Dateien aus dem Assemblyordner echo -n "Further $megablastaccnos Reads could be assigned to the Contigs " echo "whereby $leftover remained unassigned." rm Assembly/*ssigned* 2>/dev/null ; rm Assembly/tmp.txt 2>/dev/null # Informationszusammentragung fr die 454AllContigs-Result-Protocol.txt -Datei echo -ne "-----------------------------------------------------------------------" > 454AllContigs-Result-Protocol.txt echo -e "----------------------------------------------------------------------------------\n" >> 454AllContigs-Result-Protocol.txt echo -e "Final ASSEMBLY\n" >> 454AllContigs-Result-Protocol.txt # | echo "Reads used for the Assembly $allaccnos" >> 454AllContigs-Result-Protocol.txt # | Schreiben einer Zusammenfassung echo -e "Contigs received \t\t$contigaccnos" >> 454AllContigs-Result-Protocol.txt # | der Ergebnisse in die entsprechnde echo "Read assigment via Assembly $assembledaccnos" >> 454AllContigs-Result-Protocol.txt # | Ausgabedatei echo "Read assigment via Megablast $megablastaccnos" >> 454AllContigs-Result-Protocol.txt # | 454AllContigs-Result-Protocol.txt echo -e "Leftover \t\t\t $leftover" >> 454AllContigs-Result-Protocol.txt # | echo -e "\n\nBLASTN of Contigs\n" >> 454AllContigs-Result-Protocol.txt # V ###################################################################### Blastn Contigs ##################################################################### # Aufruf des Blast Programms echo "Running BLAST to identify the Contigs" if [[ $parblast == y ]] ; then blastvek=(0 0 tax 0 par) ; else blastvek=(0 0 tax 0 0) ; fi # | query=${outputordner}/Assembly/454AllContigs.fna # | Eingaben fr das blastordner=${outputordner}/Blast # | Blastunterprogramm ntblast=blastn # | referenz=$ntdb # V . $installdir/Blast.sh # Blast tool Aufruf # Zu den Family Tax-id zugeordneten Contigs aus dem Blast, werden die Accnos herausgesucht echo -n "Final data processing... " cd $outputordner # damit nach dem Blast wieder im richtigen Zielordner cat Blast/Result-Protocol.txt >> 454AllContigs-Result-Protocol.txt # verschieben der Blast-Hits.txt vom Blast ins Outputvz. rm Blast/Result-Protocol.txt mv Blast/Blast-Hits.xls 454AllContigs-BlastnHits.xls # verschieben der Results vom Blast ins Outputvz. if [ -s Blast/Blast-Hit-Accnos.txt ] ; then # wenn contigs getroffen haben for i in Blast/TaxID-*.txt ; do # mache folgendes fr jede zugeordnete Tax-id Datei tmp=`basename $i .txt` # tmp: TaxID-178830_Bornaviridae taxid=$(echo $tmp | cut -d "-" -f2-) # taxid: 178830_Bornaviridae while read line ; do grep "\<$line\>" Reads_Vs_Contigs-MegaBlastHits.xls | cut -f1 | sort | uniq >> TaxID-${taxid}.txt ; done < $i done # alle zu den Contigs gehrenden Accnos werden in die fi # Datei zB. TaxID-178830_Bornaviridae.txt geschrieben # Erstellen des Read-Result-Protocol.txt 's echo -e "\n\nRead Results\n" >> Read-Result-Protocol.txt echo "Total Number of sequences $allaccnos" >> Read-Result-Protocol.txt echo -e "Hit sequences \t `echo $((${assembledaccnos}+${megablastaccnos}))`" >> Read-Result-Protocol.txt echo -e "NoHit sequences \t $leftover \n" >> Read-Result-Protocol.txt # frs Assembly und fr Megablast vs Orgs array=(Assembly Megablast) for i in ${array[*]} ; do echo -e "\nIdentified Organisms via ${i}... \nSuperkingdom Tax-ID " >> Read-Result-Protocol.txt # Superkingdom Tax-ID including Anzahl echo -e " Family Tax-ID \n Taxonomy-ID Count \tScientific name\n" >> Read-Result-Protocol.txt # + untergeordnete Rnge incl. Anzahl grep '^contig*' 454AllContigs-BlastnHits.xls | grep -v 'NoHit' | cut -f10 | tr -d " " | sed '/^$/d'| sort | uniq > tmp-sktax.txt while read line ; do # line: alle Superkingdom Tax-Ids grep "\<$line\>$" 454AllContigs-BlastnHits.xls | cut -f1 | sed '/^$/d' | sort | uniq > tmp-skuniqcontigs.txt # alle zur sktax-id gehrigen contigs while read line2 ; do # line2: contig00004 zB. grep "\<$line2\>" Reads_Vs_Contigs-MegaBlastHits.xls | grep "$i" |\ cut -f1 >> tmp-contig-reads-${line}.txt # schreibe zu jedem contig accnos aus den ace done < tmp-skuniqcontigs.txt # files in sktmp-contig-reads.txt anzahl=`sort tmp-contig-reads-${line}.txt | uniq | wc -l` 2>/dev/null # duplicates werden entfernt und alles gezhlt # ab und zu error: sort: ffnen fehlgeschlagen: tmp-contig-reads-.txt: Datei oder Verzeichnis nicht gefunden; daher 2>/dev/null echo -e "$line \t\t\t$anzahl \t`grep "^\<$line\>" ${taxdir}/names.dmp | grep '\' | cut -f3`" >> Read-Result-Protocol.txt # z.B. 2759 45 Eukaryota grep "\<$line\>$" 454AllContigs-BlastnHits.xls | cut -f9 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs while read line2 ; do # line2: alle Family Tax-Ids grep "\<$line\>$" 454AllContigs-BlastnHits.xls | cut -f-9 | grep "\<$line2\>$" | cut -f1 | sort | uniq > tmp-famuniqcontigs.txt # alle zur famtax-id gehrigen contigs while read line3 ; do # zu jedem contig werden wieder die Read accnos grep "\<$line3\>" Reads_Vs_Contigs-MegaBlastHits.xls | grep "$i" | cut -f1 >> tmp-contig-reads-${line2}.txt # aus den ace files ermittelt und in done < tmp-famuniqcontigs.txt # tmp-contig-reads.txt geschrieben anzahl=`sort tmp-contig-reads-${line2}.txt | uniq | wc -l` 2>/dev/null # anschlieend gezhlt name=`grep "^\<${line2}\>" ${taxdir}/names.dmp | grep '\' | cut -f3` if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line2 \t\t$anzahl \t $name" >> Read-Result-Protocol.txt grep "\<$line\>$" 454AllContigs-BlastnHits.xls | cut -f-9 | grep "\<$line2\>$" | cut -f8 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt # darin befinden sich alle Tax-IDs while read line3 ; do # line3: Tax-id zB. 9606 grep "\<$line\>$" 454AllContigs-BlastnHits.xls | cut -f-9 | grep "\<$line2\>$" | cut -f-8 | grep "\<$line3\>$" | cut -f1 | sort | uniq > tmp-uniqcontigs.txt # alle zu 9606 passenden contig greppen while read line4 ; do # und zu jedem contig grep "\<$line4\>" Reads_Vs_Contigs-MegaBlastHits.xls | grep "$i" |\ cut -f1 >> tmp-contig-reads-${line3}.txt # die entsprechenden Read accnos entnehmen, done < tmp-uniqcontigs.txt # in tmp-contig-reads-9606.txt schreiben und anzahl=`sort tmp-contig-reads-${line3}.txt | uniq | wc -l` 2>/dev/null # zhlen name=`grep "^\<${line3}\>" ${taxdir}/names.dmp | grep '\' | cut -f3` if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line3 \t\t$anzahl \t `grep "^\<${line3}\>" ${taxdir}/names.dmp | grep '\' | cut -f3`" >> Read-Result-Protocol.txt # z.B. 9606 22 Homo sapiens done < tmp-tax.txt done < tmp-famtax.txt done < tmp-sktax.txt # <: Einlesen dieser Datei fr's while-loop rm tmp*.txt # rm, da auch nicht mehr bentigt done # Test auf eine 0er Zeile (Fehler, der ab und zu unerwartet auftritt) #if sed 's/^[ \t]*//' Read-Result-Protocol.txt | tr -s [:blank:] " " | cut -d " " -f2 | grep -q '\<0\>' ; then # wenn die 0 eigenstndig iwo auftritt # row=`grep -n '\<0\>' Read-Result-Protocol.txt | tr -d [:blank:] | grep '\<0\>' | cut -d ":" -f1` # row: Zeilennr, in der Fehler auftritt # # erste alle zeilen greppen in der die null als eigenstndige regexp vorkommt, dann alle leerzeichen entfernen, so dass zeilen in denen mehr # # als nur die 0 steht, diese jetzt nicht mehr allein steht und mit dem vorherigen Befehl erneut gegreppt werden kann # sed "${row}d" Read-Result-Protocol.txt > tmp.txt # entsprechende zeile 'row' wird entfernt # rm Read-Result-Protocol.txt ; mv -f tmp.txt Read-Result-Protocol.txt # neues Protocol wird zum alten ohne 0 #fi # Alle NoHit- & PartialNoHit Contigs werden extrahiert und in den FurtherAnalysis Ordner kopiert # wenn vom Hauptprogramm ausgefhrt, dann csplit -s Assembly/454AllContigs.fna /\>/ {*} -f "Assembly/contig_" -n 5 -z -q # split der 454AllContigs in Einzeldateien if [ -s Blast/Blast-NoHit-Accnos.txt ] ; then # wenn Liste mit NoHit Contigs ex. und nicht leer while read line ; do # dann mache folgendes fr jedes dieser Contigs # cp `grep -l ">$line" Assembly/contig_*` ${arbeitsvz}/FurtherAnalysis/$line-NoHit.fna # grep -l: bestimme den Dateinamen des Contigs cat `grep -l ">$line" Assembly/contig_*` >> ${outputordner}/NoHit-Contigs.fna done < Blast/Blast-NoHit-Accnos.txt # und copiere es in Further Analysis fr spter fi if [ -s Blast-PartialNoHit-Accnos.txt ] ; then # wenn Liste PartialNoHit Contigs ex. & nich leer while read line ; do # dann mache folgendes fr jedes dieser Contigs # cp `grep -l ">$line" Assembly/contig_*` ${arbeitsvz}/FurtherAnalysis/$line-PartialNoHit.fna # grep -l: bestimme den Dateinamen des Contigs cat `grep -l ">$line" Assembly/contig_*` >> ${outputordner}/PartialNoHit-Contigs.fna done < Blast/Blast-PartialNoHit-Accnos.txt # und copiere es in Further Analysis fr spter fi rm Assembly/contig_* # entfernen der Contig Einzeldateien echo -e "finished!\n" else echo -e "no Reads could be assembled into Contigs.\n" echo -ne "-----------------------------------------------------------------------" > 454AllContigs-Result-Protocol.txt echo -e "----------------------------------------------------------------------------------\n" >> 454AllContigs-Result-Protocol.txt echo -e "Final ASSEMBLY\n" >> 454AllContigs-Result-Protocol.txt # | echo "Reads used for the Assembly $allaccnos" >> 454AllContigs-Result-Protocol.txt # | Schreiben einer Zusammenfassung echo -e "Contigs received \t\t0" >> 454AllContigs-Result-Protocol.txt # | der Ergebnisse in die entsprechnde echo "Read assigment via Assembly 0" >> 454AllContigs-Result-Protocol.txt # | Ausgabedatei echo "Read assigment via Megablast 0" >> 454AllContigs-Result-Protocol.txt # | 454AllContigs-Result-Protocol.txt echo -e "Leftover \t\t\t$allaccnos " >> 454AllContigs-Result-Protocol.txt # | echo -e "\nNo Reads could be assembled into Contigs" >> 454AllContigs-Result-Protocol.txt # V if [ $user == eigen ] ; then # damit Blast weiter arbeiten kann grep '^>' $query | cut -d " " -f1 | cut -d ">" -f2 | sort > ${arbeitsvz}/Assembly/Gesamt-Accnos.txt sort ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt > ${arbeitsvz}/Assembly/AllAligned-Accnos.txt diff ${arbeitsvz}/Assembly/Gesamt-Accnos.txt ${arbeitsvz}/Assembly/AllAligned-Accnos.txt | grep '^<' | cut -d " " -f2 > ${arbeitsvz}/Assembly/Unassigned-Accnos.txt fi rm `ls | grep -v 454AllContigs-Result-Protocol.txt | grep -v Unassigned-Accnos.txt` 2>/dev/null # VZ lschen bis auf 2 Dateien fi rm tmp.txt 2>/dev/null ; rm -r Assembly/sff Blast.sh00007440000016141112470377127014500 0ustar dirk.hoeperdomänen-benutzer# Blast.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash . ~/RIEMS/Config.txt # <- Path of config file (unchanged) # Explanation of blastvek = Initialisierungsvektor fr das Blasttool # ${blastvek[*]}: map db retro/tax expl par # ${blastvek[*]}: 0 0 0 0 0 fr die Deaktivierung aller Funktionen rank=family # Default Einstellung fr den Rang taxonomieiddb=$taxdir/gi_taxid_nucl.dmp # Default Einstellung fr die Orginal gi_taxid_nucl.dmp -Datei #cdhit=/home/software/CD-HIT #identity=0.98 if [ -s ${fasttaxidntdb}.dmp ] ; then # wenn der link zur Orginal taxiddb steht taxonomieiddb=$fasttaxidntdb # kann die schnelle taxiddb zur taxid Bestimmung fi # verwendet werden while getopts i:o:r:e:b:R: opt 2>/dev/null ; do case ${opt} in o) evalue=0.001 #blastvek=(0 0 tax expl par) blastvek=(0 0 tax expl 0) ntblast=megablast referenz=$ntdb bo=$OPTARG blastordner=${bo}/Blast if [ -d $blastordner ] ; then echo -e "\nThere is already a Folder named 'Blast' in your current output directory." echo -e "Please delete or rename this Folder and start the analysis again.\n" exit # Userinfo auf dem Bildschirm und Programmabruch fi echo;; i) query=$OPTARG;; r) referenz=$OPTARG if [ $referenz == virdb ] then referenz=$fasttaxid/TID-10239_Viridae.fna-DB elif [ $referenz == rrnadb ] then referenz=$rrnadb else blastvek[1]=db fi;; e) evalue=$OPTARG;; b) ntblast=$OPTARG;; R) rank=$OPTARG;; *) echo -e "\nThis tool runs a nucleotide Blast vs an own- or NCBI database.\n" echo "-o obligatory: Enter a target directory (please declare the output always first!)" echo "-i obligatory: Enter a query fasta file including complete path" echo "-r optional: Enter a reference fasta file (default: nucleotide database; alternatively: viral nucleotide database (virdb))" echo " -R optional in case of nucleotide database: determine superior rank (default: family ; species ; genus ; order etc.)" echo " Superkingdom is diplayed automaticly." echo "-e optional: Blast e-value (default: 0.001)" echo -e "-b optional: Nucleotide Blast type (default: megablast; blastn; blastn-short; dc-megablast; tblastx)\n" ; exit;; esac done if [ $# -lt 2 ] ; then # wenn fehlerhafte Eingabe dann Abbruch echo -e "\nThis tool runs a nucleotide Blast vs an own- or NCBI database.\n" echo "-o obligatory: Enter a target directory (please declare the output always first!)" echo "-i obligatory: Enter a query fasta file including complete path" echo "-r optional: Enter a reference fasta file (default: nucleotide database; alternatively: viral nucleotide database (virdb))" echo " -R optional in case of nucleotide database: determine superior rank (default: family ; species ; genus ; order etc.)" echo " Superkingdom is diplayed automaticly." echo "-e optional: Blast e-value (default: 0.001)" echo -e "-b optional: Nucleotide Blast type (default: megablast; blastn; blastn-short; dc-megablast; tblastx)\n" ; exit fi ################################################################# Gi-Taxid-Nucl Funktion ################################################################# # Schnellere Grep-Funktion zum Auffinden der Taxids zu den Gis function TaxidDetermination() { case "${line}" in # line: jeweilige Gi 1*) case "${line}" in # beginnt diese Gi mit der 1, dann 1) grep -m1 "^\<$line\>" ${taxonomieiddb}-1.dmp >> gi-tid.txt ;; # (Fall Gi=1 und nur 1) 10*) grep -m1 "^\<$line\>" ${taxonomieiddb}-10.dmp >> gi-tid.txt ;; # schau nach der 2. Ziffer und grep sie dann in der 11*) grep -m1 "^\<$line\>" ${taxonomieiddb}-11.dmp >> gi-tid.txt ;; # entsprechenden Datei 12*) grep -m1 "^\<$line\>" ${taxonomieiddb}-12.dmp >> gi-tid.txt ;; 13*) grep -m1 "^\<$line\>" ${taxonomieiddb}-13.dmp >> gi-tid.txt ;; 14*) grep -m1 "^\<$line\>" ${taxonomieiddb}-14.dmp >> gi-tid.txt ;; 15*) grep -m1 "^\<$line\>" ${taxonomieiddb}-15.dmp >> gi-tid.txt ;; 16*) grep -m1 "^\<$line\>" ${taxonomieiddb}-16.dmp >> gi-tid.txt ;; 17*) grep -m1 "^\<$line\>" ${taxonomieiddb}-17.dmp >> gi-tid.txt ;; 18*) grep -m1 "^\<$line\>" ${taxonomieiddb}-18.dmp >> gi-tid.txt ;; 19*) grep -m1 "^\<$line\>" ${taxonomieiddb}-19.dmp >> gi-tid.txt ;; esac ;; 2*) case "${line}" in 2) grep -m1 "^\<$line\>" ${taxonomieiddb}-2.dmp >> gi-tid.txt ;; 20*) grep -m1 "^\<$line\>" ${taxonomieiddb}-20.dmp >> gi-tid.txt ;; 21*) grep -m1 "^\<$line\>" ${taxonomieiddb}-21.dmp >> gi-tid.txt ;; 22*) grep -m1 "^\<$line\>" ${taxonomieiddb}-22.dmp >> gi-tid.txt ;; 23*) grep -m1 "^\<$line\>" ${taxonomieiddb}-23.dmp >> gi-tid.txt ;; 24*) grep -m1 "^\<$line\>" ${taxonomieiddb}-24.dmp >> gi-tid.txt ;; 25*) grep -m1 "^\<$line\>" ${taxonomieiddb}-25.dmp >> gi-tid.txt ;; 26*) grep -m1 "^\<$line\>" ${taxonomieiddb}-26.dmp >> gi-tid.txt ;; 27*) grep -m1 "^\<$line\>" ${taxonomieiddb}-27.dmp >> gi-tid.txt ;; 28*) grep -m1 "^\<$line\>" ${taxonomieiddb}-28.dmp >> gi-tid.txt ;; 29*) grep -m1 "^\<$line\>" ${taxonomieiddb}-29.dmp >> gi-tid.txt ;; esac ;; 3*) case "${line}" in 3) grep -m1 "^\<$line\>" ${taxonomieiddb}-3.dmp >> gi-tid.txt ;; 30*) grep -m1 "^\<$line\>" ${taxonomieiddb}-30.dmp >> gi-tid.txt ;; 31*) grep -m1 "^\<$line\>" ${taxonomieiddb}-31.dmp >> gi-tid.txt ;; 32*) grep -m1 "^\<$line\>" ${taxonomieiddb}-32.dmp >> gi-tid.txt ;; 33*) grep -m1 "^\<$line\>" ${taxonomieiddb}-33.dmp >> gi-tid.txt ;; 34*) grep -m1 "^\<$line\>" ${taxonomieiddb}-34.dmp >> gi-tid.txt ;; 35*) grep -m1 "^\<$line\>" ${taxonomieiddb}-35.dmp >> gi-tid.txt ;; 36*) grep -m1 "^\<$line\>" ${taxonomieiddb}-36.dmp >> gi-tid.txt ;; 37*) grep -m1 "^\<$line\>" ${taxonomieiddb}-37.dmp >> gi-tid.txt ;; 38*) grep -m1 "^\<$line\>" ${taxonomieiddb}-38.dmp >> gi-tid.txt ;; 39*) grep -m1 "^\<$line\>" ${taxonomieiddb}-39.dmp >> gi-tid.txt ;; esac ;; 4*) case "${line}" in 4) grep -m1 "^\<$line\>" ${taxonomieiddb}-4.dmp >> gi-tid.txt ;; 40*) grep -m1 "^\<$line\>" ${taxonomieiddb}-40.dmp >> gi-tid.txt ;; 41*) grep -m1 "^\<$line\>" ${taxonomieiddb}-41.dmp >> gi-tid.txt ;; 42*) grep -m1 "^\<$line\>" ${taxonomieiddb}-42.dmp >> gi-tid.txt ;; 43*) grep -m1 "^\<$line\>" ${taxonomieiddb}-43.dmp >> gi-tid.txt ;; 44*) grep -m1 "^\<$line\>" ${taxonomieiddb}-44.dmp >> gi-tid.txt ;; 45*) grep -m1 "^\<$line\>" ${taxonomieiddb}-45.dmp >> gi-tid.txt ;; 46*) grep -m1 "^\<$line\>" ${taxonomieiddb}-46.dmp >> gi-tid.txt ;; 47*) grep -m1 "^\<$line\>" ${taxonomieiddb}-47.dmp >> gi-tid.txt ;; 48*) grep -m1 "^\<$line\>" ${taxonomieiddb}-48.dmp >> gi-tid.txt ;; 49*) grep -m1 "^\<$line\>" ${taxonomieiddb}-49.dmp >> gi-tid.txt ;; esac ;; 5*) case "${line}" in 5) grep -m1 "^\<$line\>" ${taxonomieiddb}-5.dmp >> gi-tid.txt ;; 50*) grep -m1 "^\<$line\>" ${taxonomieiddb}-50.dmp >> gi-tid.txt ;; 51*) grep -m1 "^\<$line\>" ${taxonomieiddb}-51.dmp >> gi-tid.txt ;; 52*) grep -m1 "^\<$line\>" ${taxonomieiddb}-52.dmp >> gi-tid.txt ;; 53*) grep -m1 "^\<$line\>" ${taxonomieiddb}-53.dmp >> gi-tid.txt ;; 54*) grep -m1 "^\<$line\>" ${taxonomieiddb}-54.dmp >> gi-tid.txt ;; 55*) grep -m1 "^\<$line\>" ${taxonomieiddb}-55.dmp >> gi-tid.txt ;; 56*) grep -m1 "^\<$line\>" ${taxonomieiddb}-56.dmp >> gi-tid.txt ;; 57*) grep -m1 "^\<$line\>" ${taxonomieiddb}-57.dmp >> gi-tid.txt ;; 58*) grep -m1 "^\<$line\>" ${taxonomieiddb}-58.dmp >> gi-tid.txt ;; 59*) grep -m1 "^\<$line\>" ${taxonomieiddb}-59.dmp >> gi-tid.txt ;; esac ;; 6*) case "${line}" in 6) grep -m1 "^\<$line\>" ${taxonomieiddb}-6.dmp >> gi-tid.txt ;; 60*) grep -m1 "^\<$line\>" ${taxonomieiddb}-60.dmp >> gi-tid.txt ;; 61*) grep -m1 "^\<$line\>" ${taxonomieiddb}-61.dmp >> gi-tid.txt ;; 62*) grep -m1 "^\<$line\>" ${taxonomieiddb}-62.dmp >> gi-tid.txt ;; 63*) grep -m1 "^\<$line\>" ${taxonomieiddb}-63.dmp >> gi-tid.txt ;; 64*) grep -m1 "^\<$line\>" ${taxonomieiddb}-64.dmp >> gi-tid.txt ;; 65*) grep -m1 "^\<$line\>" ${taxonomieiddb}-65.dmp >> gi-tid.txt ;; 66*) grep -m1 "^\<$line\>" ${taxonomieiddb}-66.dmp >> gi-tid.txt ;; 67*) grep -m1 "^\<$line\>" ${taxonomieiddb}-67.dmp >> gi-tid.txt ;; 68*) grep -m1 "^\<$line\>" ${taxonomieiddb}-68.dmp >> gi-tid.txt ;; 69*) grep -m1 "^\<$line\>" ${taxonomieiddb}-69.dmp >> gi-tid.txt ;; esac ;; 7*) case "${line}" in 7) grep -m1 "^\<$line\>" ${taxonomieiddb}-7.dmp >> gi-tid.txt ;; 70*) grep -m1 "^\<$line\>" ${taxonomieiddb}-70.dmp >> gi-tid.txt ;; 71*) grep -m1 "^\<$line\>" ${taxonomieiddb}-71.dmp >> gi-tid.txt ;; 72*) grep -m1 "^\<$line\>" ${taxonomieiddb}-72.dmp >> gi-tid.txt ;; 73*) grep -m1 "^\<$line\>" ${taxonomieiddb}-73.dmp >> gi-tid.txt ;; 74*) grep -m1 "^\<$line\>" ${taxonomieiddb}-74.dmp >> gi-tid.txt ;; 75*) grep -m1 "^\<$line\>" ${taxonomieiddb}-75.dmp >> gi-tid.txt ;; 76*) grep -m1 "^\<$line\>" ${taxonomieiddb}-76.dmp >> gi-tid.txt ;; 77*) grep -m1 "^\<$line\>" ${taxonomieiddb}-77.dmp >> gi-tid.txt ;; 78*) grep -m1 "^\<$line\>" ${taxonomieiddb}-78.dmp >> gi-tid.txt ;; 79*) grep -m1 "^\<$line\>" ${taxonomieiddb}-79.dmp >> gi-tid.txt ;; esac ;; 8*) case "${line}" in 8) grep -m1 "^\<$line\>" ${taxonomieiddb}-8.dmp >> gi-tid.txt ;; 80*) grep -m1 "^\<$line\>" ${taxonomieiddb}-80.dmp >> gi-tid.txt ;; 81*) grep -m1 "^\<$line\>" ${taxonomieiddb}-81.dmp >> gi-tid.txt ;; 82*) grep -m1 "^\<$line\>" ${taxonomieiddb}-82.dmp >> gi-tid.txt ;; 83*) grep -m1 "^\<$line\>" ${taxonomieiddb}-83.dmp >> gi-tid.txt ;; 84*) grep -m1 "^\<$line\>" ${taxonomieiddb}-84.dmp >> gi-tid.txt ;; 85*) grep -m1 "^\<$line\>" ${taxonomieiddb}-85.dmp >> gi-tid.txt ;; 86*) grep -m1 "^\<$line\>" ${taxonomieiddb}-86.dmp >> gi-tid.txt ;; 87*) grep -m1 "^\<$line\>" ${taxonomieiddb}-87.dmp >> gi-tid.txt ;; 88*) grep -m1 "^\<$line\>" ${taxonomieiddb}-88.dmp >> gi-tid.txt ;; 89*) grep -m1 "^\<$line\>" ${taxonomieiddb}-89.dmp >> gi-tid.txt ;; esac ;; 9*) case "${line}" in 9) grep -m1 "^\<$line\>" ${taxonomieiddb}-9.dmp >> gi-tid.txt ;; 90*) grep -m1 "^\<$line\>" ${taxonomieiddb}-90.dmp >> gi-tid.txt ;; 91*) grep -m1 "^\<$line\>" ${taxonomieiddb}-91.dmp >> gi-tid.txt ;; 92*) grep -m1 "^\<$line\>" ${taxonomieiddb}-92.dmp >> gi-tid.txt ;; 93*) grep -m1 "^\<$line\>" ${taxonomieiddb}-93.dmp >> gi-tid.txt ;; 94*) grep -m1 "^\<$line\>" ${taxonomieiddb}-94.dmp >> gi-tid.txt ;; 95*) grep -m1 "^\<$line\>" ${taxonomieiddb}-95.dmp >> gi-tid.txt ;; 96*) grep -m1 "^\<$line\>" ${taxonomieiddb}-96.dmp >> gi-tid.txt ;; 97*) grep -m1 "^\<$line\>" ${taxonomieiddb}-97.dmp >> gi-tid.txt ;; 98*) grep -m1 "^\<$line\>" ${taxonomieiddb}-98.dmp >> gi-tid.txt ;; 99*) grep -m1 "^\<$line\>" ${taxonomieiddb}-99.dmp >> gi-tid.txt ;; esac ;; esac } # Schnellere Funktion zum Auffinden der Family- und Superkingdom Taxids function FamSkTaxDetermination() { famtax=$line # falls $rank schon alte tax-id ist grep "^\<${line}\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}-save.txt # zur Sicherheit falls rank = NA if [ -s tid-${line}-save.txt ] # wenn datei ex und nicht leer ist then grep "^\<${line}\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}.txt # tid.txt: 9606 | 9605 | species | HS | 5 | 1 | .... if ! grep -q "\<$rank\>" tid-${line}.txt ; then # wenn du 'genus' nicht greppen kannst until grep -q "\<$rank\>" tid-${line}.txt || grep -q '\<1\>' tid-${line}.txt ; do # machst du folgendes bis du 'genus' greppen kannst famtax=`cut -f3 tid-${line}.txt` # 3. Spalte ausschneiden (9605) = 'taxneu' grep "^\<$famtax\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}.txt # suche (9605) in der 1. Spalte und berschreibe tmp.txt done fi if grep -q "\<1\>" tid-${line}.txt ; then # wenn family nich existiert dh. NA famtax=NA # muss liste frs superkingdom von vorn durchgearbeitet mv -f tid-${line}-save.txt tid-${line}.txt # werden, da sonst auch superkingdom = 1 (eventuell falsch) fi # Bsp. Tax-ID 77133 Uncultured Bacterium sktax=0 ; sktaxneu=1 until grep -q 'superkingdom' tid-${line}.txt || (( $sktax == $sktaxneu )) ; do # machst du folgendes bis du 'genus' greppen kannst sktax=`cut -f3 tid-${line}.txt` # 3. Spalte ausschneiden (9605) = 'sktax' grep "^\<$sktax\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}.txt # suche (9605) in der 1. Spalte und berschreibe tmp.txt sktaxneu=`cut -f3 tid-${line}.txt` done if [ $famtax == NA ] ; then famtax=`echo $famtax-$sktax` ; fi # um NA eindeutig zum sktax zu machen ; NA-1 grep "\<$line\>" gi-tid.txt > tmp-${line}.txt # tmp.txt: liste mit allen gis der entspr. tax-id while read line2 ; do # line2: 17863474 (Gi) 8704 (Tax-id) echo -e "${line2}\t${famtax}\t$sktax" >> gi-tid-fam-sk-tax.txt # daran wird in jede Zeile taxneu gehngt done < tmp-${line}.txt rm tid-${line}.txt ; rm tmp-${line}.txt # entfernen berschssiger Dateien else grep "\<$line\>" gi-tid.txt > tmp-${line}.txt # ansonsten tmp.txt: liste mit allen gis der entspr. tax-id while read line2 ; do # line2: 17863474 (Gi) 8704 (Tax-id) echo -e "${line2}\tNA-1\t1" >> gi-tid-fam-sk-tax.txt # daran wird in jede Zeile taxneu gehngt done < tmp-${line}.txt rm tmp-${line}.txt fi } # Funktionen die zu jedem partiellen Treffer den Nichttrefferbereich berechnen function partialleft() { if (( `grep "^$line" Hits.txt | cut -f3` >= 50 )) ; then echo -e "$line\t1-`grep "^$line" Hits.txt | cut -f3`" >> tmp-PartialNoHits-left.txt fi } function partialright() { if (( ((`grep "^$line" Hits.txt | cut -f5`-`grep "^$line" Hits.txt | cut -f4`)) >= 50 )) ; then echo -e "$line\t`grep "^$line" Hits.txt | cut -f4`-`grep "^$line" Hits.txt | cut -f5`" >> tmp-PartialNoHits-right.txt fi } # Funktionen die aus den Nichttrefferbereichen ein neues fasta file generieren function splitleft() { echo "$line" > $line.txt $gsflxdir/fnafile -i $line.txt -o $line.fna $query 1>/dev/null extractseq -sequence $line.fna -outseq $line-partial.fna -regions `grep "$line" tmp-PartialNoHits-left.txt | cut -f2` -separate >/dev/null 2>&1 cat $line-partial.fna >> Partial-$query rm $line* } function splitright() { echo "$line" > $line.txt $gsflxdir/fnafile -i $line.txt -o $line.fna $query 1>/dev/null extractseq -sequence $line.fna -outseq $line-partial.fna -regions `grep "$line" tmp-PartialNoHits-right.txt | cut -f2` -separate >/dev/null 2>&1 cat $line-partial.fna >> Partial-$query rm $line* } ################################################################## Erstellen der Blast Datenbank ######################################################### mkdir -p $blastordner 2>/dev/null ; cd $blastordner # mkdir: Verzeichnis wird erstellt und cd: darin gewechselt file=${query/*./} if [[ $file == sff ]] ; then $gsflxdir/sffinfo -s $query > `basename $query .sff` query=`dirname $query`/`basename $query .sff` fi if [ $referenz != $ntdb ] && [ ${blastvek[1]} == db ] ; then # wenn Referenz vom Benutzer angegeben wurde UND echo -n "Create Blast database... " # nicht vom Mapping kommt (dann DB schon vorhanden) infilesize=`du -sbL $referenz | cut -f1` # Bestimmung der Dateigre in Byte dbsize=`echo "$infilesize*0.26*(1/${threads})/1" | bc` # Verteilung der DBGre auf alle Kerne # ursprngliche Dateigre * (24 + 2) * (1 / Anzahl Kerne) / 1 um auf ganze Zahlen im Ergebnis zu runden ; +2 um Rundungen auszumerzen # 24 entspricht dem prozentualen Anteil der grten BlastDB Datei, die whrend des Aufrufs aus der Ausgangsdatei generiert wird ref=$blastordner/DB/DB.fna # BeispielRef.fna_DB = neue und alte referenz $blastdir/makeblastdb -dbtype nucl -in $referenz -out $ref -max_file_sz $dbsize 1>/dev/null # Befehl zur Erstellung der Datenbank referenz=$ref echo "completed" fi query2=`basename $query .fna` # ${zielordner}/Partial10-89Reads.fna -> Partial10-89Reads ln -s $query $query2 2>/dev/null query=$query2 ######################################################################## CD-hit Clustering ############################################################### # #echo -n "CD-Hit Clustering to reduce `basename $query .fna`... " #anf=`grep -c '>' $query` # -c: zum Zhlen der Reads in der Ausgangsdatei #querycdhit=`basename $query .fna`_cd-hit.fna # ~/querybsp.fna -> querybsp_cd-hit.fna #if (( $anf > 1 )) # 1 Read lsst sich nicht clustern! -> Fehler # then # echo -n "$anf Reads -> " # $cdhit/cd-hit -i $query -o $querycdhit -M 0 -T $threads -c $identity 1>/dev/null # Clusterbefehl # end=`grep -c '>' ${querycdhit}` # zum Zhlen der entstandenen Cluster # echo "$end Cluster" # else # echo "not enough Reads available" # mv $query $querycdhit # end=$anf #fi # ################################################################## Blast + Hits Bearbeitung ############################################################## anf=`grep -c '^>' $query` echo -e "Accno \tRefsequence-ID \tHit-Range \t\tLength \tE-value \tperc.identity \tTax-ID \t$rank Tax-ID \tSuperkingdom Tax-ID \n" > Blast-Hits.xls if [ ${blastvek[0]} != map ] ; then echo -n "BLAST ($ntblast) of $anf sequences vs nucleotide database... " ; fi if [ $referenz == $protdb ] then $blastdir/blastp -db $protdb -num_threads $threads -evalue $evalue -max_target_seqs 1 -out Hits.txt -query $query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' 2>/dev/null #elif [ $referenz != $ntdb ] && [ ${blastvek[0]} != map ] ; then # echo -e "Accno \tRefsequence-ID \tQuery Hit-Range \t\tQuery Length \tE-value \tHomology \tSubject Hit-Range \t\tSubject Length \n" > Blast-Hits.xls # $blastdir/blastn -task $ntblast -db $referenz -num_threads $threads -evalue $evalue -num_descriptions 1 -num_alignments 1 -out Hits.txt -query $query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident sstart send slen' elif [[ $ntblast == tblastx ]] ; then $blastdir/tblastx -db $referenz -num_threads $threads -evalue $evalue -max_target_seqs 1 -out Hits.txt -query $query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' 2>/dev/null else $blastdir/blastn -task $ntblast -db $referenz -num_threads $threads -evalue $evalue -max_target_seqs 1 -out Hits.txt -query $query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' 2>/dev/null fi echo -n "Data processing... " if [ ${blastvek[4]} == par ] # wenn Blast der Partial Hits gewnscht wird then # while read line ; do # line: GYAA0ZC02FIZQH gi|... 31 90 91 4e-17 95.3 # accno=$(echo $line | cut -d " " -f1) # accno: GYAA0ZC02FIZQH # readlength=$(echo $line | cut -d " " -f5) # readlength: 91 # hr1=$(echo $line | cut -d " " -f3) # hr1: 31 # hr2=$(echo $line | cut -d " " -f4) # hr2: 90 # ((diff=${readlength}-${hr2})) # diff: 1=91-90 # if (( $hr1 > 30 && $diff > 30 )) ; then # links & rechts vom Treffer sind >30 Nts frei # echo "$accno" > tmp.txt # tmp.txt: G4PTHTE01EFOK2 <- ben. fr fnafile only # $gsflxdir/fnafile -i tmp.txt -o tmp-Read.fna $query 1>/dev/null # tmp-Read.fna: enthlt den kompletten Read # echo ">${accno} (1)" >> Partial-$query # >GYAA0ZC02FIZQH length=361 xy=1701_2980 region=1 run=R_2011_ etc. # splitpoint=`bc <<< "((${hr1}+(${hr1}/60)/1))"` # 105+(105/60)(/1: auf ganze Zahlen abrunden) = 106 # grep -v "$accno" tmp-Read.fna > tmp.txt # => reine nt-sequenz vom 1. bis zum 106 Nucleotid # split -b $splitpoint tmp.txt fragment- # Entstehung vom Fragment-aa mit 106 nts # cat fragment-aa >> Partial-$query # das 1. fragment-aa wird an Partial-$query angehngt # echo >> Partial-$query # fr ein ordentliches Format bentigt (>.... newline) # rm fragment-* 2>/dev/null # und dann alle Fragmente gelscht # echo "$accno" > tmp.txt # tmp.txt: GYAA0ZC02FIZQH (gi|... 105 227 361 2e-21 111) # $gsflxdir/fnafile -i tmp.txt -o tmp-Read.fna $query 1>/dev/null # tmp-Read.fna: enthlt den kompletten Read # echo ">${accno} (2)" >> Partial-$query # >GYAA0ZC02JUNDX length=361 xy=1701_2980 region=1 run=R_2011_ etc. # grep -v "$accno" tmp-Read.fna > tmp.txt # tmp.txt: enthlt kompletten Read auer der Accnozeile # split -b $hr2 tmp.txt fragment- # split => 1-227 , fragmente mit Rest nts # ((hr2=$hr2+`wc -l < fragment-aa`)) # split -b $hr2 tmp.txt fragment- # split => 1-270 , fragmente mit Rest nts # rm fragment-aa # 1-227 wird gelscht ; der Rest unter die## Accno gehngt # cat fragment-* >> Partial-$query ; rm fragment-* 2>/dev/null # und dann alle Fragmente lschen # elif (( $hr1 > 30 && $diff < 30 )) ; then # nur links >30 Nts frei # echo "$accno" > tmp.txt # tmp.txt: GYAA0ZC02FIZQH <- ben. fr fnafile only # $gsflxdir/fnafile -i tmp.txt -o tmp-Read.fna $query 1>/dev/null # tmp-Read.fna: enthlt den kompletten Read # echo ">$accno (1)" >> Partial-$query # >GYAA0ZC02FIZQH length=91 xy=2149_2007 region=2 run=R_2011_ etc. # splitpoint=`bc <<< "((${hr1}+(${hr1}/60)/1))"` # 31+(31/60)(/1: auf ganze Zahlen abrunden) = 31 # grep -v "$accno" tmp-Read.fna > tmp.txt # => reine nt-sequenz vom 1. bis zum $splitpoint Nucleotid # split -b $splitpoint tmp.txt fragment- # Entstehung vom Fragment-aa mit 31 nts # cat fragment-aa >> Partial-$query # das 1. fragment-aa wird an Partial-$query angehngt # echo >> Partial-$query # fr ein ordentliches Format bentigt (>.... newline) # rm fragment-* 2>/dev/null # und dann alle Fragmente gelscht # elif (( $hr1 < 30 && $diff > 30 )) ; then # nur rechts >30 Nts frei # echo "$accno" > tmp.txt # tmp.txt: GYAA0ZC02JUNDX (gi|... 1 270 344 8e-56 226) # $gsflxdir/fnafile -i tmp.txt -o tmp-Read.fna $query 1>/dev/null # tmp-Read.fna: enthlt den kompletten Read # echo ">$accno (2)" >> Partial-$query # >GYAA0ZC02JUNDX length=344 xy=3922_2131 region=2 run=R_2011_02 # grep -v "$accno" tmp-Read.fna > tmp.txt # tmp.txt: enthlt kompletten Read auer der Accnozeile # split -b $hr2 tmp.txt fragment- # split => 1-270 , fragmente mit Rest nts # ((hr2=$hr2+`wc -l < fragment-aa`)) # split -b $hr2 tmp.txt fragment- # split => 1-270 , fragmente mit Rest nts # rm fragment-aa # 1-270 wird gelscht ; der Rest unter die Accno gehngt # cat fragment-* >> Partial-$query ; rm fragment-* 2>/dev/null # und dann alle Fragmente lschen # fi # done < Hits.txt # rm tmp* 2>/dev/null cut -f1 Hits.txt > tmp-HitAccnos.txt (while read line ; do partialleft $line & done < tmp-HitAccnos.txt ; wait) cut -f1 tmp-PartialNoHits-left.txt > tmp-PartialNoHits-left-Accnos.txt 2>/dev/null (while read line ; do partialright $line & done < tmp-HitAccnos.txt ; wait) cut -f1 tmp-PartialNoHits-right.txt > tmp-PartialNoHits-right-Accnos.txt 2>/dev/null (while read line ; do splitleft $line & done < tmp-PartialNoHits-left-Accnos.txt ; wait) (while read line ; do splitright $line & done < tmp-PartialNoHits-right-Accnos.txt ; wait) rm tmp* if [ ${blastvek[0]} != map ] ; then echo "finished!" ; fi ##################################################################### Blast PartialHits ################################################################## if [ -s Partial-$query ] then # Erstellen einer Liste, welche nur komplette Treffer enthlt (Complete-Hit-Accnos.txt, bzw. Complete-Hits.txt) cut -f1 Hits.txt | tr -d " " | sort | uniq > Hit-Accnos.txt # sort + uniq sind essentiell grep '^>' Partial-$query | cut -d " " -f1 | cut -d ">" -f2 | tr -d " " | sort | uniq > tmp-Partial-Accnos.txt # fr den 'diff' Befehl diff Hit-Accnos.txt tmp-Partial-Accnos.txt | grep '<' | cut -d " " -f2 > Complete-Hit-Accnos.txt touch Complete-Hits.txt # sonst Fehler, wenn Hit-Accnos.txt & (while read line ; do grep "^$line" Hits.txt >> Complete-Hits.txt ; done < Complete-Hit-Accnos.txt & wait) # tmp-Partial-Accnos.txt gleich gro anfpart=`grep -c '^>' Partial-$query` if [ ${blastvek[0]} != map ] ; then echo -n "BLAST ($ntblast) of $anfpart Partial NoHit sequences vs nucleotide database... " ; fi if [ $referenz == $protdb ] then $blastdir/blastp -db $protdb -num_threads $threads -evalue $evalue -num_descriptions 1 -num_alignments 1 -out Partial-Hits.txt -query Partial-$query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' 2>/dev/null #elif [ $referenz != $ntdb ] && [ ${blastvek[0]} != map ] ; then # $blastdir/blastn -task $ntblast -db $referenz -num_threads $threads -evalue $evalue -num_descriptions 1 -num_alignments 1 -out Partial-Hits.txt -query Partial-$query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident sstart send slen' elif [ $ntblast == tblastx ] ; then $blastdir/tblastx -db $referenz -num_threads $threads -evalue $evalue -num_descriptions 1 -num_alignments 1 -out Partial-Hits.txt -query Partial-$query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' 2>/dev/null else $blastdir/blastn -task $ntblast -db $referenz -num_threads $threads -evalue $evalue -num_descriptions 1 -num_alignments 1 -out Partial-Hits.txt -query Partial-$query -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' 2>/dev/null fi if [ -s Partial-Hits.txt ] then if [ ${blastvek[0]} != map ] ; then echo -n "Data processing... " ; fi cut -f1 Partial-Hits.txt | cut -d " " -f1 | sort | uniq > tmp.txt # tmp.txt: Liste mit den ganzen Partial-Hit-Accnos numhits=`wc -l < tmp.txt` numin=`grep -c "^>" Partial-$query` if (( $numhits == $numin )) then touch NoHits.txt # falls #rein und #hits gleich, muss NoHits.txt leer sein else $gsflxdir/fnafile -e tmp.txt -o NoHits.txt Partial-$query >/dev/null 2>&1 # Partial-Hit-Accnos werden ausgeschlossen # NoHits.txt sind alle Reads ohne einen Treffer an der Referenz grep '>' NoHits.txt | cut -d "_" -f1 | cut -d ">" -f2 > tmp2.txt # Accnos extrahieren while read line ; do # line: GYAA0ZC02HNMHW_12_235 gi|3513... 6 38 38 ... accno=$(echo $line | cut -d " " -f1 | cut -d "_" -f1) # accno: GYAA0ZC02HNMHW count1=`grep -c "$accno" Partial-Hits.txt` # Vorkommen in den Treffern count2=`grep -c "$accno" Partial-$query` # und in der Partial-query if (( $count2 == 2 )) && (( $count1 == 1 )) ; then # quasi nur 1 von 2 mgl. Treffern echo "$accno" >> tmp2.txt # NoHit extra, da dieser spter sonst verschwindet # Hinzufgen der Accnos, die 2x in Query, aber nur einen von zwei mglichen Treffern haben. Ergo in die NoHit-Accnos Datei (tmp2.txt) fi done < Partial-Hits.txt fi voraccno=1 # damit keine Fehlermeldung in der if-Anweisung beim 1. Durchlauf while read line ; do #accno=$(echo $line | cut -d " " -f1) # GYAA0ZC02HNMHW #grep "$line" Partial-Hits.txt > tmp.txt # tmp.txt: GYAA0ZC02HNMHW gi|3513470|gb|AF01AF013005 7 39 39 8e... #m=`grep "^$accno" Hits.txt | cut -f5` # m: Sequenzlnge vom Ursprungsread (477) (134 437 477 4e-...) #if [ $accno == $voraccno ] ; then # Trefferbereich fr die rechte Seite berechnen # ((lh=`grep "^$accno" Hits.txt | cut -f4`+`cut -f3 tmp.txt`)) # 437 + 7 = 444 # ((rh=`grep "^$accno" Hits.txt | cut -f4`+`cut -f4 tmp.txt`)) # 437 + 39 = 476 # echo -e "`cut -f 1,2 tmp.txt`\t$lh\t$rh\t$m\t`cut -f 6,7,8,9,10 tmp.txt`" >> Partial-Hits2.txt # # Partial-Hits2.txt: GYAA0ZC02HNMHW gi|3513470|gb|AF01AF013005 444 476 477 8e-08 62.1 #elif [ $accno != $voraccno ] && grep -q "$accno (1)" Partial-$query ; then # lh=`cut -f 1,2,3,4 tmp.txt` # rh=`cut -f 6,7,8,9,10 tmp.txt` # echo -e "$lh\t$m\t$rh" >> Partial-Hits2.txt #elif [ $accno != $voraccno ] && grep -q "$accno (2)" Partial-$query ; then # ((lh=`grep "^$accno" Hits.txt | cut -f4`+`cut -f3 tmp.txt`)) # 437 + 7 = 444 # ((rh=`grep "^$accno" Hits.txt | cut -f4`+`cut -f4 tmp.txt`)) # 437 + 39 = 476 # if (( $rh > $m )) ; then rh=$m ; fi # echo -e "`cut -f 1,2 tmp.txt`\t$lh\t$rh\t$m\t`cut -f 6,7,8,9,10 tmp.txt`" >> Partial-Hits2.txt #fi #voraccno=$accno #line: ICS1PCO01CSEB0_288_445 gi|28189949|dbj|AB099104.1| 1 155 158 2e-74 100.00 accno=$(echo $line | cut -d "_" -f1) # ICS1PCO01CSEB0 ((von=`echo $line | cut -d "_" -f2`+`echo $line | cut -d " " -f3`-1)) # Treffer von 288 +1 -1 = 288 ((bis=`echo $line | cut -d "_" -f2`+`echo $line | cut -d " " -f4`-1)) # Treffer von 288 +155 -1 = 442 gi=$(echo $line | cut -d " " -f2) # gi|28189949|dbj|AB099104.1| evalue=$(echo $line | cut -d " " -f6) # 2e-74 identity=$(echo $line | cut -d " " -f7) # 100.00 length=`grep "^$accno" Hits.txt | cut -f5` # 445 echo -e "$accno\t$gi\t$von\t$bis\t$length\t$evalue\t$identity" >> Partial-Hits2.txt # berfhren in Extradatei done < Partial-Hits.txt cat Complete-Hits.txt Partial-Hits2.txt > tmp-Complete+Partial-Hits.txt cat Hits.txt Partial-Hits2.txt | sort -n -t "|" -k 2 > AllHits.txt # numerische Sortierung anhand der Gis fr spter # sort -n: numerisch ; -t "|": Trenner anhand dem num. getrennet werden soll ; -k 2: 2. Spalte dieses Trenners else cat Hits.txt | sort -n -t "|" -k 2 > AllHits.txt mv Complete-Hits.txt tmp-Complete+Partial-Hits.txt 2>/dev/null grep '^>' Partial-$query | cut -d "_" -f1 | cut -d ">" -f2 > tmp2.txt fi else cat Hits.txt | sort -n -t "|" -k 2 > AllHits.txt cp AllHits.txt tmp-Complete+Partial-Hits.txt fi else cat Hits.txt | sort -n -t "|" -k 2 > AllHits.txt cp AllHits.txt tmp-Complete+Partial-Hits.txt fi ############################################################## Taxonomy Determination #################################################################### if [ -s AllHits.txt ] ; then # wenn Treffer existieren, dann if [ ${blastvek[2]} == retro ] ; then # wenn Retrovirenscann verwendet, dann ndert sich die taxonomieiddb=$fasttaxid/TID-10239_Viridae_gi-taxid-nucl.dmp # taxonomieiddb um schneller die tax-ids zu ermitteln fi if [ ${blastvek[2]} == tax ] || [ ${blastvek[2]} == retro ] # wenn tax-ids bestimmt werden sollen, dann then # Ermittlung aller Gi's aus der Blast Trefferdatei cut -f2 AllHits.txt | cut -d "|" -f2 > Gis.txt # alle Treffer (Hits+PartialHits) in AllHits.txt und Gi cutting if [ ${blastvek[0]} != map ] ; then # wenn tool nicht vom Mapping oder Assembly ausgefhrt wurde, dann echo -ne "\rBLAST ($ntblast) of $anfpart Partial NoHit sequences vs nucleotide database... Data processing... 1/3 (Tax-ID determination)... " fi # Bildschirmausgabe ber den Fortschritt sort Gis.txt | uniq > Gis-su.txt # doppelte Gi's entfernen -> spart viel Zeit # Taxonomy-ID Bestimmung if [ ${blastvek[2]} == retro ] ; then # wenn Retroscan, dann (while read line ; do # grep jede gi nacheinander aus der kleinen Retrotaxiddb grep "^\<${line}\>" $taxonomieiddb >> gi-tid.txt & # gi-tid.txt: 17863474 (Gi) 8704 (Tax-id) & Prozessvert. done < Gis-su.txt ; wait) elif [ ${blastvek[2]} == tax ] ; then # ansonsten wenn normale tax-id Zuordnung, dann (while read line ; do TaxidDetermination $line & done < Gis-su.txt ; wait) # 'TaxidDetermination' ausfhren (schnellere Variante) fi # fertsch # Family & Superkingdom Taxonomy-ID Bestimmung (bei default) if [ ${blastvek[0]} != map ] ; then echo -ne "\rBLAST ($ntblast) of $anfpart Partial NoHit sequences vs nucleotide database... Data processing... 2/3 (rank Tax-ID determination)... " fi cut -f2 gi-tid.txt 2>/dev/null | sort | uniq > uniq-tids.txt # doppelte tax-ids entfernt (while read line ; do FamSkTaxDetermination $line & done < uniq-tids.txt ; wait) # Fuktionsaufruf FamSkTaxDetermination + thread verteilung # Einordnung von Tax-ID, Family Tax-ID & Superkingdom Tax-ID in die Blast Excel Datei if [ ${blastvek[0]} != map ] ; then # wenn nicht vom Mapping echo -ne "\rBLAST ($ntblast) of $anfpart Partial NoHit sequences vs nucleotide database... Data processing... 3/3 ... " fi (while read line ; do # line: Gi's #rs=`grep "^\<${line}\>" gi-tid-fam-sk-tax.txt 2>/dev/null | cut -f 2,3,4` # ls: Tax-ID Family Tax-ID Superkingdom Tax-ID echo -e "$line \t`grep "^\<${line}\>" gi-tid-fam-sk-tax.txt 2>/dev/null | cut -f 2,3,4`" >> gi-tid-fam-sk-tax-ununiq.txt done < Gis.txt & wait) sort -n gi-tid-fam-sk-tax-ununiq.txt | cut -f 2,3,4 > tmp.txt # numerische Sortierung nach der 1. Spalte (gis) paste AllHits.txt tmp.txt > AllHits-TaxID-${rank}TaxID.txt # spaltenweise Verknpfung der beiden Dateien # Einschub: bernahme der Tax-IDs fr die tmp-Complete+Partial-Hits.txt Datei if [ -e tmp-Complete+Partial-Hits.txt ] ; then echo -ne "Accno \tRefsequence-ID \tHit-Range \t\tLength \tE-value " > Complete+Partial-Hits.txt echo -e "\tHomology \tTax-ID \t$rank Tax-ID \tSuperkingdom Tax-ID \n" >> Complete+Partial-Hits.txt while read line ; do Accno=$(echo $line | cut -d " " -f1) echo -e "$line\t`grep -m1 "$Accno" AllHits-TaxID-${rank}TaxID.txt | cut -f 8-10`" >> Complete+Partial-Hits.txt done < tmp-Complete+Partial-Hits.txt fi if [ -s tmp2.txt ] ; then (while read line ; do # vervollstndigen von Blast-Hits-cd.txt mit den NoHits echo -e "$line \tPartialNoHit" >> AllHits-TaxID-${rank}TaxID.txt # -> Mglichkeit mit Aufwand der Nicht Trefferbereich bei den Partial No Hits mit anzufgen done < tmp2.txt & wait) fi sort AllHits-TaxID-${rank}TaxID.txt >> Blast-Hits.xls # Sortierung anhand der Accno -> Hits, Partial wieder untereinander else # wenn DB ex, dann nicht sonst ja sort AllHits.txt >> Blast-Hits.xls # AllHits.txt anhand der Accnos sortieren fi fi # kein Plan was das hier soll... cut -f1 Hits.txt > tmp.txt # Liste mit den ganzen Hit-Accnos $gsflxdir/fnafile -e tmp.txt -o NoHits.txt $query >/dev/null 2>&1 # Hit-Accnos werden ausgeschlossen und demsentspr. NoHit-Accnos grep '>' NoHits.txt 2>/dev/null | cut -d " " -f1 | cut -d ">" -f2 > tmp.txt # in NoHits.txt (eig. fna) geschrieben ; dann Accnos extrahiert if [ -s tmp.txt ] ; then # Wenn NoHits existieren, dann sed '/^$/d' tmp.txt > tmp-accnos.txt # rm Leerzeilen ; manchmal welche drin while read line ; do echo "NoHit" >> tmp-nohit.txt ; done < tmp-accnos.txt # Liste mit NoHit erstellen paste tmp-nohit.txt tmp-accnos.txt > tmp-nohit-accnos.txt # Accnos und NoHit pasten , aber falschrum machen !!! cut -f2 tmp-nohit-accnos.txt > tmp-accnos.txt # Spalte mit Accnos cutten cut -f1 tmp-nohit-accnos.txt > tmp-nohit.txt # Spalte mit NoHit cutten paste tmp-accnos.txt tmp-nohit.txt >> Blast-Hits.xls # diesmal beide richtig herum pasten in xls Datei rm tmp* # tmp Dateien allen entfernen fi # !!! muss wirklich auf die Weise gemacht werden !!! if [ ${blastvek[0]} != map ] ; then echo -ne "\rBLAST ($ntblast) of $anfpart Partial NoHit sequences vs nucleotide database... Data processing... 3/3 finished! " fi ####################################################################### CD-hit ReClustering ############################################################## #echo -n "Reclustering... " #if (( $anf > 1 )) # then # grep '>' $querycdhit | cut -d " " -f1 | cut -d ">" -f2 >> uniq-Accnos.txt # Datei mit den einzelnen Accnos der Cluster # csplit -s ${querycdhit}.clstr /\>Cluster/ {*} -f "Cluster_" -n 6 -z -q # Clusterausgabedatei wird in einzelne Dateien gesplittet # # while read line ; do # die Accno Datei mit den Clustern wird durchgenudelt # grep $line Blast-Hits-cd.txt >> Blast-Hits.xls # zuerst wird Cluster Accno hineingeschrieben # dat=`grep -l "$line" Cluster_*` # Dateiname des Clusters wird bestimmt # if grep 'at ' $dat 1>/dev/null ; then # wenn Cluster noch mehr Accnos enthlt... # count=`grep -c 'at ' $dat` # werden diese gezhlt # x=1 # if [ $referenz == $ntdb ] # wenn ref = Nukleotiddatenbank , dh. es ex. TaxID! # then # in der 9. Spalte der Ausgabedatei # y=`grep $line Blast-Hits.xls | cut -f8 | sed '/^$/d' | sed -e s'/^/ /'g | tr -d "\n"` # y: enthlt alle TaxIDs des Clusters # z=`grep $line Blast-Hits.xls | cut -f9 | sed '/^$/d' | sed -e s'/^/ /'g | tr -d "\n"` # y: enthlt alle Rang TaxIDs des Clusters # until [ $x -gt $count ] ; do echo "Clustered in $line$y$z" >> tmp.txt ; x=$[$x+1] ; done # die im Cluster enthaltenen Accnos werden nach und # else # nach mit den TaxIDs (max 2) darunter geschrieben # until [ $x -gt $count ] ; do echo "Clustered in $line" >> tmp.txt ; x=$[$x+1] ; done # wenn andere ref (keine TaxIDs) dann halt ohne # fi # grep 'at ' $dat | cut -d ">" -f2 | cut -d "." -f1 >> $line-cluster-Accnos.txt # wenn Cluster Accno andere Accnos enthlt wird sie # paste $line-cluster-Accnos.txt tmp.txt >> Blast-Hits.xls # umbenannt -> FHJKCBBCSF-cluster-Accnos.txt (wichtig # rm tmp.txt # fr spter) # fi # done < uniq-Accnos.txt # else # cat Blast-Hits-cd.txt >> Blast-Hits.xls #fi ######################################################################### Datenauswertung ################################################################ if [ ${blastvek[0]} != map ] ; then echo -ne "\nData evaluation... " fi rm `ls $blastordner/* | grep -ve "Blast-Hits.xls\|${query}\|Complete+Partial-Hits.txt"` 2>/dev/null # alles lschen bis auf 'Blast-Hits.xls' ${query} rm -r $blastordner/DB 2>/dev/null ; rm Partial-$query 2>/dev/null # /DB Ordner lsst sich sonst nicht entfernen # Partial-$query muss extra gelscht werden, da es im Ordner verbleibt. -w & \<...\> funzen nicht sed -e '1d' Blast-Hits.xls | sed -e '1d' | grep -v 'NoHit' | cut -f1 | sort | uniq > Blast-Hit-Accnos.txt # -e '1d': erste Zeile entfernen ; danach nochmal da berschrift + Leerzeile # grep -v 'NoHit': alles auer NoHit & PartialNoHit greppen; dann 1.Spalte ausschneiden sortieren und vereinzeln if [ -e Complete+Partial-Hits.txt ] then ((blasthits=`cut -f1 Complete+Partial-Hits.txt | sort | uniq | wc -l`-2)) else blasthits=`wc -l < Blast-Hit-Accnos.txt` fi #grep 'gi|' Blast-Hits.xls | cut -f1 | tr -d " " | sort | uniq > Blast-Hit-Accnos.txt # | #while read line ; do # | bei der Verwendung # cat $line-cluster-Accnos.txt >> Blast-Hit-Accnos.txt 2>/dev/null # | eines Clusterprogramms #done < Blast-Hit-Accnos.txt # | bentigt (zB. CD-Hit) #blasthits=`wc -l < Blast-Hit-Accnos.txt` # V grep 'PartialNoHit' Blast-Hits.xls | cut -f1 | tr -d " " | sort | uniq > Blast-PartialNoHit-Accnos.txt # quivalent zu den Hits #while read line ; do # cut -f1: 1. Spalte separieren # cat $line-cluster-Accnos.txt >> Blast-PartialNoHit-Accnos.txt 2>/dev/null # tr -d " ": entfernt berflssige Leerzeichen #done < Blast-PartialNoHit-Accnos.txt # sort: sortieren ; muss immer vor uniq benutzt blastpartialnohits=`wc -l < Blast-PartialNoHit-Accnos.txt` # werden ; uniq: Duplikate entfernen grep '\ Blast-NoHit-Accnos.txt # \<...: davor darf nix stehen, sonst wrden auch while read line ; do # PartialNoHit gegrept werden cat $line-cluster-Accnos.txt >> Blast-NoHit-Accnos.txt 2>/dev/null done < Blast-NoHit-Accnos.txt blastnohits=`wc -l < Blast-NoHit-Accnos.txt` ###################################################################### Result Protocol ################################################################### echo -n "Results summary... " if [ ${blastvek[3]} == expl ] ; then echo -e "Results summary ! \n" > Result-Protocol.txt ; fi # wenn tool seperat ausgefhrt, headline dazu echo -e "Total number of sequences $anf" >> Result-Protocol.txt echo -e "Hit sequences \t $blasthits" >> Result-Protocol.txt echo -e "Partial no hit sequences $blastpartialnohits" >> Result-Protocol.txt echo -e "No hit sequences \t $blastnohits \n" >> Result-Protocol.txt if [ ${blastvek[2]} != 0 ] ; then # genaue Unterteilung der gefundenen Tax-IDs echo -e "\nIdentified Organisms... \nSuperkingdom Tax-ID " >> Result-Protocol.txt # Superkingdom Tax-ID including Anzahl echo -e " $rank Tax-ID \n Taxonomy-ID Count \tScientific name\n" >> Result-Protocol.txt # + untergeordnete Rnge incl. Anzahl if [ ${blastvek[2]} == retro ] # wenn Retrovirenscanner verwendet, dann then grep '\<10239\>$' Blast-Hits.xls | cut -f10 | tr -d " " | sed '/^$/d' | sort | uniq > tmp-sktax.txt # nur die viralen Sktax-id suchen else grep 'gi|' Blast-Hits.xls | cut -f10 | tr -d " " | sed '/^$/d' | sort | uniq > tmp-sktax.txt # manchmal 1.zeile leer -->> Fehlerausgabe # grep 'gi|' Blast-Hits.xls | cut -f10 | tr -d " " | sort | uniq | sed -e '1d' > tmp.txt # sed -e '1d': 1. Zeile leer, kp warum fi while read line ; do # line: alle Superkingdom Tax-Ids echo -e "$line \t\t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f1 | tr -d " " | sort | uniq | wc -l` \t`grep "^\<$line\>" ${taxdir}/names.dmp | grep '\' | cut -f3`" >> Result-Protocol.txt # z.B. 2759 45 Eukaryota grep "\<$line\>$" Blast-Hits.xls | cut -f9 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs # sed '/^$/d': LeerZeilen aus der Datei entfernen!!! wichtig bei 'clustered in' da cut -f8 leer while read line2 ; do # line2: alle Family Tax-Ids name=`grep "^\<$line2\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-"` grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f1 | tr -d " " | sed '/^$/d' | sort | uniq > TaxID-${line2}_$name.txt # erst sk-tax am ende greppen, abschneiden, dann fam-tax am ende greppen (eindeutig), 1. spalte ausschneiden, sortieren etc... # darin sind alle family Tax-ID spez. Accnos #if (( $line == 10239 )) ; then # | Wenn es sich um eine Virus Familie # $gsflxdir/fnafile -i TaxID-${line2}_$name.txt -o TaxID-${line2}_$name.fna $query 1>/dev/null # | handelt, wird zustzlich zu den Accnos #fi # V eine fasta Datei erstellt if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line2 \t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<${line2}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l` \t $name" >> Result-Protocol.txt # z.B. 9604 34 Hominidae grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f8 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt while read line3 ; do name=`grep "^\<${line3}\>" ${taxdir}/names.dmp | grep '\' | cut -f3` if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line3 \t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<${line2}\>$" | cut -f-8 | tr -d " " | grep "\<${line3}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l` \t $name" >> Result-Protocol.txt # z.B. 9606 22 Homo sapiens done < tmp-tax.txt done < tmp-famtax.txt done < tmp-sktax.txt # <: Einlesen dieser Datei fr's while-loop rm tmp*.txt # rm, da auch nicht mehr bentigt fi ; rm $query 2>/dev/null rm tid-*.txt 2>/dev/null ; rm Gis*.txt 2>/dev/null ; rm gi-tid*.txt 2>/dev/null ; rm uniq-tids.txt 2>/dev/null ; rm AllHits*.txt 2>/dev/null #rm *Hits.txt 2>/dev/null # sonst wird auch Complete+Partial-Hits.txt gelscht # Test auf eine 0er Zeile (Fehler, der ab und zu unerwartet auftritt) #if grep '\<0\>' Result-Protocol.txt | tr -d [:blank:] | grep -q '\<0\>' ; then # wenn die 0 eigenstndig irgendwo auftritt # row=`grep -n '\<0\>' Result-Protocol.txt | tr -d [:blank:] | grep '\<0\>' | cut -d ":" -f1` # row: Zeilennr, in der der Fehler auftritt # # erste alle zeilen greppen in der die null als eigenstndige regexp vorkommt, dann alle leerzeichen entfernen, so dass zeilen in denen mehr # # als nur die 0 steht, diese jetzt nicht mehr allein steht und mit dem vorherigen Befehl erneut gegreppt werden kann # sed "${row}d" Result-Protocol.txt > tmp.txt # entsprechende zeile 'row' wird entfernt # rm Result-Protocol.txt ; mv -f tmp.txt Result-Protocol.txt # und neues Protocol wird zum alten ohne 0 #fi if [ ${blastvek[3]} == expl ] ; then echo -e "\n\n\nExplanation:\n" >> Result-Protocol.txt echo -n " In the first paragraph the 'Hit Reads' and the 'NoHit Reads' resulted in the 'Total Number of Reads'." >> Result-Protocol.txt echo " The 'PartialNoHit Reads' are only related to" >> Result-Protocol.txt echo -n " the 'Hit Reads' and reveal the number of sequences that have a part of >30 nucleotides which does not" >> Result-Protocol.txt echo -e " align anywhere under the respective conditions.\n" >> Result-Protocol.txt echo -n " The last paragraph shows a table of all in the data identified organisms with their Taxonomy-ID," >> Result-Protocol.txt echo " the respective number and its scientific name. At first" >> Result-Protocol.txt echo -n " the userdefined rank Taxonomy-ID is displayed, beneth after a small blank the really identified" >> Result-Protocol.txt echo " Taxonomy-IDs based on Gi numbers of the Blast results." >> Result-Protocol.txt echo -n " Not always the number of Tax-IDs result in the number of the superior user defined rank Taxonomy-ID" >> Result-Protocol.txt echo " because there is still the possibility of identifing" >> Result-Protocol.txt echo -e " two different organisms in one Read but who belong to the same superior Taxonomy-ID.\n" >> Result-Protocol.txt echo "Finished `date`" >> Result-Protocol.txt fi rm *cluster-Accnos.txt 2>/dev/null if [ ${blastvek[0]} != map ] then echo "completed and $blasthits similar sequences identified!" else echo "finished!" fi if [ ${blastvek[3]} == expl ] ; then echo ; fiFurtherAnalysis.sh00007440000026261312470377127016564 0ustar dirk.hoeperdomänen-benutzer# FurtherAnalysis.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash . ~/RIEMS/Config.txt # <- Path of config file (unchanged) zielordner=${arbeitsvz}/FurtherAnalysis #cdhit=/home/software/CD-HIT rank=family identity=0.99 wordsize=10 tool=sub while getopts t:i:j:o: opt 2>/dev/null ; do case ${opt} in t) stype=$OPTARG;; i) input1=$OPTARG file1=${input1/*./} anfrage1=`basename $input1 .$file1`;; # pfadnamen vom input entfernen j) input2=$OPTARG file2=${input2/*./} anfrage2=`basename $input2 .$file2`;; # pfadnamen vom input entfernen o) tool=main o=$OPTARG zielordner=${o}/FurtherAnalysis if [ -d $zielordner ] ; then echo -e "\nThere is already a Folder named 'FurtherAnalysis' in your current output directory." echo -e "Please delete or rename this Folder and start the analysis again.\n" exit # Userinfo auf dem Bildschirm und Programmabruch fi;; *) echo -e "\nThis tool edits unknown Reads or Contigs with a combination of serveral freeware tools to receive as much as possible information.\n" echo "-t obligatory: Enter the sequence type in fasta format to analyse (read/contig/conread (for both))." echo "-o obligatory: Enter a target directory." echo "-i obligatory: Enter a query read file including complete path." echo "-j obligatory: Enter a query contig file including complete path." echo -e "(use both i & j if -t conread)\n" ; exit;; esac done if [ $# -lt 2 ] ; then # wenn fehlerhafte Eingabe dann Abbruch echo -e "\nThis tool edits unknown Reads or Contigs with a combination of serveral freeware tools to receive as much as possible information.\n" echo "-t obligatory: Enter the sequence type in fasta format to analyse (read/contig/conread (for both))." echo "-o obligatory: Enter a target directory." echo "-i obligatory: Enter a query read file including complete path." echo "-j obligatory: Enter a query contig file including complete path." echo -e "(use both i & j if -t conread)\n" ; exit fi ###################################################################### Dateiermittlung ################################################################### echo -e "\n --- STARTING FURTHER ANALYSIS --- `date`\n" mkdir -p $zielordner 2>/dev/null # Vz anlegen, falls es noch nicht existiert cd $zielordner # in Zielordner wechseln if ! [ -z ${input1} ] ; then ln -s ${input1} ${zielordner}/${anfrage1}.fna echo -ne "Accno\tRefsequence-ID\tHit-Range(aa)\t\tORF-Length\tE-value\tHomology\tReadlength(nucl)" > BLASTpReadORF-Hits.xls echo -e "\tTax-ID\tFamily Tax-ID\tSuperkingdom Tax-ID\n" >> BLASTpReadORF-Hits.xls echo -e "Accno\tRefsequence-ID\tHit-Range\t\tLength(nt)\tE-value\tHomology\tTax-ID\t$rank Tax-ID\tSuperkingdom Tax-ID\n" > BLASTnReadLC-Hits.xls fi if ! [ -z ${input2} ] ; then ln -s ${input2} ${zielordner}/${anfrage2}.fna echo -ne "Accno\tRefsequence-ID\tHit-Range(aa)\t\tORF-Length\tE-value\tHomology\tHit-Range(nucl)" > BLASTpContigORF-Hits.xls echo -e "\tAdditional Information\tTax-ID\tFamily Tax-ID\tSuperkingdom Tax-ID\n" >> BLASTpContigORF-Hits.xls fi ######################################################################### Funktionen ##################################################################### # Matrixzuordnung ordnet jeder Aminosuresequenz eine Substitutionsmatrix zu function Matrixzuordnung() # Funktionsdefinition: Seedgrep { # Funktionsbeginn if (( `grep -v '^>' $i | wc -c`-`grep -v '^>' $i | wc -l` >= 85 )) ; then echo "`grep '^>' $i` aminoacids=$((`grep -v '^>' $i | wc -c`-`grep -v '^>' $i | wc -l`))" > $i-tmp-Blosum62.fna grep -v '^>' $i >> $i-tmp-Blosum62.fna elif (( `grep -v '^>' $i | wc -c`-`grep -v '^>' $i | wc -l` >= 50 && `grep -v '^>' $i | wc -c`-`grep -v '>' $i | wc -l` < 85 )) ; then echo "`grep '^>' $i` aminoacids=$((`grep -v '^>' $i | wc -c`-`grep -v '^>' $i | wc -l`))" > $i-tmp-Blosum80.fna grep -v '^>' $i >> $i-tmp-Blosum80.fna elif (( `grep -v '^>' $i | wc -c`-`grep -v '^>' $i | wc -l` >= 35 && `grep -v '^>' $i | wc -c`-`grep -v '>' $i | wc -l` < 50 )) ; then echo "`grep '^>' $i` aminoacids=$((`grep -v '^>' $i | wc -c`-`grep -v '^>' $i | wc -l`))" > $i-tmp-Pam70.fna grep -v '^>' $i >> $i-tmp-Pam70.fna else echo "`grep '^>' $i` aminoacids=$((`grep -v '^>' $i | wc -c`-`grep -v '^>' $i | wc -l`))" > $i-tmp-Pam30.fna grep -v '^>' $i >> $i-tmp-Pam30.fna fi rm $i } # Funktion zum Translatieren der Nukleotidsequenz in die Aminosuresequenz function TranslationRead() # Funktionsdefinition: Translation { # Start der Hauptfunktion $embossdir/sixpack -sequence $i -outfile ${i}_sixpack.txt -outseq ${i}_AllORFs >/dev/null 2>&1 # sixpack Translationsbefehl # -orfminsize 12 funzt leider irgendwie so gar nicht rm $i ; rm ${i}_sixpack.txt # entfernen von Seed-00019 & Seed-00019_sixpack.txt csplit -s ${i}_AllORFs /\>/ {*} -f "${i}_AllORFs-" -n 4 -z -q ; rm ${i}_AllORFs # Split von Seed-00019_AllORFs und entfernen { # der Datei ; Start Subtool for j in ${i}_AllORFs-* ; do # fr jede dieser Splitdateien mache folgendes if (( `grep '>' $j | cut -d " " -f13 | cut -d "a" -f1` < 20 )) # wenn Anzahl AAs > 20, schreibe sie in Datei then rm $j else cat $j >> $i-ORFs fi # | fertsch done # V rm ${i}_AllORFs-* 2>/dev/null # entfernen aller Splitdateien } # Ende Subtool } # Ende Funktion # Ende Funktion # Funktion zur Zuordnug der ORFs zu ihren Substitutionsmatrizen function MatrixAssignment() { csplit -s ${i} /\>/ {*} -f "${i}-" -n 4 -z -q # Split von Seed-00019_AllORFs in die einzelnen ORFs ls -S ${i}-* > ${i}_SortList.txt # Liste mit allen ORFs der Gre nach sortiert filename=`head -1 ${i}_SortList.txt` # 1. Zeile der Sort-List ist Dateineme mit grtem ORF z=`grep '>' $filename | cut -d " " -f13 | cut -d "a" -f1` # z = Anzahl Aminoacids vom 1. (grten) ORF if (( $z < 35 )) ; then cat $filename >> ORFs-Pam30.fna # | elif (( $z >= 35 && $z < 50 )) ; then cat $filename >> ORFs-Pam70.fna # | Einordnung der ORFs anhand ihrer Lnge in elif (( $z >= 50 && $z < 85 )) ; then cat $filename >> ORFs-Blosum80.fna # | die entsprechenden Substitutionsmatrizen elif (( $z >= 85 )) ; then cat $filename >> ORFs-Blosum62.fna # V fi ; rm $filename # entferne anschlieend die Sequenz if (( `wc -l < ${i}_SortList.txt` == 1 )) # wenn letzte aa-sequenz genommen wurde then rm ${i}* # entferne die Datei else cat ${i}-* > ${i} ; rm ${i}-* # zusammenfgen der EinzelORFs zu einer Gesamtdatei sed '1d' ${i}_SortList.txt > ${i}-tmp.txt # 1. zeile mit grtem ORF entfernen mv ${i}-tmp.txt ${i}_SortList.txt # G4PTHTE01DIM7P-Seed-00000_tmp.txt wird ORF-Liste fi } # Schnellere Grep-Funktion zum Auffinden der Taxids zu den Gis function ProtTaxidDetermination() { case "${line}" in # line: jeweilige Gi 1*) case "${line}" in # beginnt diese Gi mit der 1, dann 1) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-1.dmp >> gi-tid.txt ;; # (Fall Gi=1 und nur 1) 10*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-10.dmp >> gi-tid.txt ;; # schau nach der 2. Ziffer und grep sie dann in der 11*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-11.dmp >> gi-tid.txt ;; # entsprechenden Datei 12*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-12.dmp >> gi-tid.txt ;; 13*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-13.dmp >> gi-tid.txt ;; 14*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-14.dmp >> gi-tid.txt ;; 15*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-15.dmp >> gi-tid.txt ;; 16*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-16.dmp >> gi-tid.txt ;; 17*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-17.dmp >> gi-tid.txt ;; 18*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-18.dmp >> gi-tid.txt ;; 19*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-19.dmp >> gi-tid.txt ;; esac ;; 2*) case "${line}" in 2) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-2.dmp >> gi-tid.txt ;; 20*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-20.dmp >> gi-tid.txt ;; 21*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-21.dmp >> gi-tid.txt ;; 22*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-22.dmp >> gi-tid.txt ;; 23*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-23.dmp >> gi-tid.txt ;; 24*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-24.dmp >> gi-tid.txt ;; 25*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-25.dmp >> gi-tid.txt ;; 26*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-26.dmp >> gi-tid.txt ;; 27*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-27.dmp >> gi-tid.txt ;; 28*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-28.dmp >> gi-tid.txt ;; 29*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-29.dmp >> gi-tid.txt ;; esac ;; 3*) case "${line}" in 3) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-3.dmp >> gi-tid.txt ;; 30*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-30.dmp >> gi-tid.txt ;; 31*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-31.dmp >> gi-tid.txt ;; 32*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-32.dmp >> gi-tid.txt ;; 33*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-33.dmp >> gi-tid.txt ;; 34*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-34.dmp >> gi-tid.txt ;; 35*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-35.dmp >> gi-tid.txt ;; 36*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-36.dmp >> gi-tid.txt ;; 37*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-37.dmp >> gi-tid.txt ;; 38*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-38.dmp >> gi-tid.txt ;; 39*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-39.dmp >> gi-tid.txt ;; esac ;; 4*) case "${line}" in 4) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-4.dmp >> gi-tid.txt ;; 40*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-40.dmp >> gi-tid.txt ;; 41*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-41.dmp >> gi-tid.txt ;; 42*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-42.dmp >> gi-tid.txt ;; 43*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-43.dmp >> gi-tid.txt ;; 44*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-44.dmp >> gi-tid.txt ;; 45*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-45.dmp >> gi-tid.txt ;; 46*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-46.dmp >> gi-tid.txt ;; 47*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-47.dmp >> gi-tid.txt ;; 48*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-48.dmp >> gi-tid.txt ;; 49*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-49.dmp >> gi-tid.txt ;; esac ;; 5*) case "${line}" in 5) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-5.dmp >> gi-tid.txt ;; 50*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-50.dmp >> gi-tid.txt ;; 51*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-51.dmp >> gi-tid.txt ;; 52*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-52.dmp >> gi-tid.txt ;; 53*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-53.dmp >> gi-tid.txt ;; 54*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-54.dmp >> gi-tid.txt ;; 55*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-55.dmp >> gi-tid.txt ;; 56*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-56.dmp >> gi-tid.txt ;; 57*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-57.dmp >> gi-tid.txt ;; 58*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-58.dmp >> gi-tid.txt ;; 59*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-59.dmp >> gi-tid.txt ;; esac ;; 6*) case "${line}" in 6) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-6.dmp >> gi-tid.txt ;; 60*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-60.dmp >> gi-tid.txt ;; 61*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-61.dmp >> gi-tid.txt ;; 62*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-62.dmp >> gi-tid.txt ;; 63*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-63.dmp >> gi-tid.txt ;; 64*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-64.dmp >> gi-tid.txt ;; 65*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-65.dmp >> gi-tid.txt ;; 66*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-66.dmp >> gi-tid.txt ;; 67*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-67.dmp >> gi-tid.txt ;; 68*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-68.dmp >> gi-tid.txt ;; 69*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-69.dmp >> gi-tid.txt ;; esac ;; 7*) case "${line}" in 7) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-7.dmp >> gi-tid.txt ;; 70*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-70.dmp >> gi-tid.txt ;; 71*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-71.dmp >> gi-tid.txt ;; 72*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-72.dmp >> gi-tid.txt ;; 73*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-73.dmp >> gi-tid.txt ;; 74*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-74.dmp >> gi-tid.txt ;; 75*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-75.dmp >> gi-tid.txt ;; 76*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-76.dmp >> gi-tid.txt ;; 77*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-77.dmp >> gi-tid.txt ;; 78*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-78.dmp >> gi-tid.txt ;; 79*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-79.dmp >> gi-tid.txt ;; esac ;; 8*) case "${line}" in 8) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-8.dmp >> gi-tid.txt ;; 80*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-80.dmp >> gi-tid.txt ;; 81*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-81.dmp >> gi-tid.txt ;; 82*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-82.dmp >> gi-tid.txt ;; 83*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-83.dmp >> gi-tid.txt ;; 84*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-84.dmp >> gi-tid.txt ;; 85*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-85.dmp >> gi-tid.txt ;; 86*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-86.dmp >> gi-tid.txt ;; 87*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-87.dmp >> gi-tid.txt ;; 88*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-88.dmp >> gi-tid.txt ;; 89*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-89.dmp >> gi-tid.txt ;; esac ;; 9*) case "${line}" in 9) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-9.dmp >> gi-tid.txt ;; 90*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-90.dmp >> gi-tid.txt ;; 91*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-91.dmp >> gi-tid.txt ;; 92*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-92.dmp >> gi-tid.txt ;; 93*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-93.dmp >> gi-tid.txt ;; 94*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-94.dmp >> gi-tid.txt ;; 95*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-95.dmp >> gi-tid.txt ;; 96*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-96.dmp >> gi-tid.txt ;; 97*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-97.dmp >> gi-tid.txt ;; 98*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-98.dmp >> gi-tid.txt ;; 99*) grep -m1 "^\<$line\>" ${fasttaxidprotdb}-99.dmp >> gi-tid.txt ;; esac ;; esac } # Schnellere Funktion zum Auffinden der Family- und Superkingdom Taxids function FamSkTaxDetermination() { famtax=$line # falls $rank schon alte tax-id ist grep "^\<${line}\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}-save.txt # zur Sicherheit falls rank = NA if [ -s tid-${line}-save.txt ] # wenn datei ex und nicht leer ist then grep "^\<${line}\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}.txt # tid.txt: 9606 | 9605 | species | HS | 5 | 1 | .... if ! grep -q "\<$rank\>" tid-${line}.txt ; then # wenn du 'genus' nicht greppen kannst until grep -q "\<$rank\>" tid-${line}.txt || grep -q '\<1\>' tid-${line}.txt ; do # machst du folgendes bis du 'genus' greppen kannst famtax=`cut -f3 tid-${line}.txt` # 3. Spalte ausschneiden (9605) = 'taxneu' grep "^\<$famtax\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}.txt # suche (9605) in der 1. Spalte und berschreibe tmp.txt done fi if grep -q "\<1\>" tid-${line}.txt ; then # wenn family nich existiert dh. NA famtax=NA # muss liste frs superkingdom von vorn durchgearbeitet mv -f tid-${line}-save.txt tid-${line}.txt # werden, da sonst auch superkingdom = 1 (eventuell falsch) fi # Bsp. Tax-ID 77133 Uncultured Bacterium sktax=0 ; sktaxneu=1 until grep -q 'superkingdom' tid-${line}.txt || (( $sktax == $sktaxneu )) ; do # machst du folgendes bis du 'genus' greppen kannst sktax=`cut -f3 tid-${line}.txt` # 3. Spalte ausschneiden (9605) = 'sktax' grep "^\<$sktax\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-${line}.txt # suche (9605) in der 1. Spalte und berschreibe tmp.txt sktaxneu=`cut -f3 tid-${line}.txt` done if [ $famtax == NA ] ; then famtax=`echo $famtax-$sktax` ; fi # um NA eindeutig zum sktax zu machen ; NA-1 grep "\<$line\>" gi-tid.txt > tmp-${line}.txt # tmp.txt: liste mit allen gis der entspr. tax-id while read line2 ; do # line2: 17863474 (Gi) 8704 (Tax-id) echo -e "${line2}\t${famtax}\t$sktax" >> gi-tid-fam-sk-tax.txt # daran wird in jede Zeile taxneu gehngt done < tmp-${line}.txt rm tid-${line}.txt ; rm tmp-${line}.txt # entfernen berschssiger Dateien else grep "\<$line\>" gi-tid.txt > tmp-${line}.txt # ansonsten tmp.txt: liste mit allen gis der entspr. tax-id while read line2 ; do # line2: 17863474 (Gi) 8704 (Tax-id) echo -e "${line2}\tNA-1\t1" >> gi-tid-fam-sk-tax.txt # daran wird in jede Zeile taxneu gehngt done < tmp-${line}.txt rm tmp-${line}.txt fi } # Funktion zur Zuordnung von Reads aus einem sfffile basierend auf ihrer Lnge function Readdistribution1() { if (( $line <= 50 )) ; then echo $line >> tmp/Length_-50.txt elif (( $line > 50 )) && (( $line <= 100 )) ; then echo $line >> tmp/Length_51-100.txt elif (( $line > 100 )) && (( $line <= 150 )) ; then echo $line >> tmp/Length_101-150.txt elif (( $line > 150 )) && (( $line <= 200 )) ; then echo $line >> tmp/Length_151-200.txt elif (( $line > 200 )) && (( $line <= 250 )) ; then echo $line >> tmp/Length_201-250.txt elif (( $line > 250 )) && (( $line <= 300 )) ; then echo $line >> tmp/Length_251-300.txt elif (( $line > 300 )) && (( $line <= 350 )) ; then echo $line >> tmp/Length_301-350.txt elif (( $line > 350 )) && (( $line <= 400 )) ; then echo $line >> tmp/Length_351-400.txt elif (( $line > 400 )) && (( $line <= 450 )) ; then echo $line >> tmp/Length_401-450.txt elif (( $line > 450 )) && (( $line <= 500 )) ; then echo $line >> tmp/Length_451-500.txt else echo $line >> tmp/Length_501-.txt fi } function Readdistribution2() { ma=0 ; mb=0 ; mc=0 ; md=0 ; me=0 ; mf=0 ; mg=0 ; mh=0 ; mi=0 ; mj=0 ; mk=0 ; ml=0 ; mm=0 ; mn=0 ; mo=0 ; mp=0 ; mq=0 ; mr=0 ; ms=0 ; mt=0 ; mu=0 ; mv=0 if [ -s tmp/Length_-50.txt ] ; then ma=`wc -l < tmp/Length_-50.txt` ; ml=0`echo "scale=6 ; ${ma}/${datasize}" | bc` ; fi if [ -s tmp/Length_51-100.txt ] ; then mb=`wc -l < tmp/Length_51-100.txt` ; mm=0`echo "scale=6 ; ${mb}/${datasize}" | bc` ; fi if [ -s tmp/Length_101-150.txt ] ; then mc=`wc -l < tmp/Length_101-150.txt` ; mn=0`echo "scale=6 ; ${mc}/${datasize}" | bc` ; fi if [ -s tmp/Length_151-200.txt ] ; then md=`wc -l < tmp/Length_151-200.txt` ; mo=0`echo "scale=6 ; ${md}/${datasize}" | bc` ; fi if [ -s tmp/Length_201-250.txt ] ; then me=`wc -l < tmp/Length_201-250.txt` ; mp=0`echo "scale=6 ; ${me}/${datasize}" | bc` ; fi if [ -s tmp/Length_251-300.txt ] ; then mf=`wc -l < tmp/Length_251-300.txt` ; mq=0`echo "scale=6 ; ${mf}/${datasize}" | bc` ; fi if [ -s tmp/Length_301-350.txt ] ; then mg=`wc -l < tmp/Length_301-350.txt` ; mr=0`echo "scale=6 ; ${mg}/${datasize}" | bc` ; fi if [ -s tmp/Length_351-400.txt ] ; then mh=`wc -l < tmp/Length_351-400.txt` ; ms=0`echo "scale=6 ; ${mh}/${datasize}" | bc` ; fi if [ -s tmp/Length_401-450.txt ] ; then mi=`wc -l < tmp/Length_401-450.txt` ; mt=0`echo "scale=6 ; ${mi}/${datasize}" | bc` ; fi if [ -s tmp/Length_451-500.txt ] ; then mj=`wc -l < tmp/Length_451-500.txt` ; mu=0`echo "scale=6 ; ${mj}/${datasize}" | bc` ; fi if [ -s tmp/Length_501-.txt ] ; then mk=`wc -l < tmp/Length_501-.txt` ; mv=0`echo "scale=6 ; ${mk}/${datasize}" | bc` ; fi } #################################################################### Ergebnis Header ##################################################################### echo -e "\n ##########################" >> FA_Result-Protocol.txt echo " ## ## Start: `date`" >> FA_Result-Protocol.txt echo " ## Further analysis ## Version: 3.0" >> FA_Result-Protocol.txt if ! [ -z $anfrage1 ] # wenn Readdatei am Anfang an das FA Programm bergeben wurde then echo " ## ## Read sample: `basename $input1`" >> FA_Result-Protocol.txt else echo " ## ## Read sample: -" >> FA_Result-Protocol.txt fi if ! [ -z $anfrage2 ] # wenn Contigdatei am Anfang an das FA Programm bergeben wurde then echo " ########################## Contig sample: `basename $input2`" >> FA_Result-Protocol.txt else echo " ########################## Contig sample: -" >> FA_Result-Protocol.txt fi echo -e "\n ##########################" >> FA_Result-Protocol.xls echo -e " ## ##\tStart:\t`date`" >> FA_Result-Protocol.xls echo -e " ## Further analysis ##\tVersion:\t3.0" >> FA_Result-Protocol.xls if ! [ -z $anfrage1 ] # wenn Readdatei am Anfang an das FA Programm bergeben wurde then echo -e " ## ##\tRead sample:\t`basename $input1`" >> FA_Result-Protocol.xls else echo -e " ## ##\tRead sample:\t-" >> FA_Result-Protocol.xls fi if ! [ -z $anfrage2 ] # wenn Contigdatei am Anfang an das FA Programm bergeben wurde then echo -e " ##########################\tContig sample:\t`basename $input2`" >> FA_Result-Protocol.xls else echo -e " ##########################\tContig sample:\t-" >> FA_Result-Protocol.xls fi ######################################################################## BLASTp Contigs ################################################################## ReadsInNoHitContigs=0 case "$stype" in # fall stype=read oder contig|conread) if [ -s ${anfrage2}.fna ] ; then # conread entspr. Haupttool mkdir $zielordner/BlastpContig ; cd $zielordner/BlastpContig seq=`grep -c '>' $zielordner/${anfrage2}.fna` # Emboss AA-Translater & ORF-Finder (GETORF) echo -n "ORF detection in `grep '>' $zielordner/${anfrage2}.fna | wc -l` contigs... " $embossdir/getorf -sequence $zielordner/${anfrage2}.fna -minsize 60 -find 0 -outseq ${anfrage2}_AllORFs >/dev/null 2>&1 # -find 0 -> nur zw. stopp codons suchen ; -find 1 -> zw. start - und stopp codons suchen echo -n "matrix assignment of `grep -c '^>' ${anfrage2}_AllORFs` ORFs... " csplit -s ${anfrage2}_AllORFs /\>/ {*} -f "ORF-" -n 6 -z -q (for i in ORF-* ; do Matrixzuordnung $i & done ; wait) cat *-tmp-Blosum80.fna > ORFs-Blosum80.fna 2>/dev/null cat *-tmp-Blosum62.fna > ORFs-Blosum62.fna 2>/dev/null cat *-tmp-Pam70.fna > ORFs-Pam70.fna 2>/dev/null cat *-tmp-Pam30.fna > ORFs-Pam30.fna 2>/dev/null rm *-tmp-* 2>/dev/null echo -e "finished.\n" # Protein Blast der Contigs for i in ${zielordner}/BlastpContig/ORFs-* ; do c=`grep '^>' $i | wc -l` echo -n "Run BLASTp of `basename $i` with $c sequence(s)... " query=`basename $i .fna` $blastdir/blastp -db $protdb -num_threads $threads -evalue 0.01 -num_descriptions 1 -num_alignments 1 -out BlastpHits_$query.txt -query $i -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' >/dev/null 2>&1 h=`wc -l < BlastpHits_$query.txt` echo "finished & $h hit(s)" ((g=$g+$h)) done # Zusammenstellen der ORF Hit Liste mit allen Zusatzinfos echo -ne "\nData processing... " if [ -s BlastpHits_ORFs-Blosum62.txt ] || [ -s BlastpHits_ORFs-Blosum80.txt ] || [ -s BlastpHits_ORFs-Pam70.txt ] || [ -s BlastpHits_ORFs-Pam30.txt ] then for i in BlastpHits_ORFs-*.txt ; do while read line ; do grep "\<`(echo $line | cut -d " " -f1)`\>" ${anfrage2}_AllORFs | cut -d " " -f2-4 >> ${i}_tmp_2-4.txt grep "\<`(echo $line | cut -d " " -f1)`\>" ${anfrage2}_AllORFs | cut -d " " -f5- >> ${i}_tmp_5-.txt done < $i paste $i ${i}_tmp_2-4.txt ${i}_tmp_5-.txt >> tmp-BLASTpContigORF-Hits-unsort.txt 2>/dev/null done sort -k2 tmp-BLASTpContigORF-Hits-unsort.txt > tmp-BLASTpContigORF-Hits.txt # Tax-ID Bestimmung grep 'gi|' tmp-BLASTpContigORF-Hits.txt | cut -d "|" -f2 | sort | uniq > Gis-su.txt grep 'gi|' tmp-BLASTpContigORF-Hits.txt | cut -d "|" -f2 > Gis.txt (while read line ; do ProtTaxidDetermination $line & done < Gis-su.txt ; wait) # Family & Superkingdom Taxonomy-ID Bestimmung cut -f2 gi-tid.txt 2>/dev/null | sort | uniq > uniq-tids.txt # doppelte tax-ids entfernt (while read line ; do FamSkTaxDetermination $line & done < uniq-tids.txt ; wait) # Fuktionsaufruf FamSkTaxDetermination + thread verteilung # Einordnung von Tax-ID, Family Tax-ID & Superkingdom Tax-ID in die Blast Excel Datei while read line ; do # line: Gi's rs=`grep "^\<${line}\>" gi-tid-fam-sk-tax.txt 2>/dev/null | cut -f 2,3,4` # ls: Tax-ID Family Tax-ID Superkingdom Tax-ID echo -e "$line \t$rs" >> gi-tid-fam-sk-tax-ununiq.txt done < Gis.txt sort gi-tid-fam-sk-tax-ununiq.txt > gi-tid-fam-sk-tax-ununiq-sort.txt cut -f 2,3,4 gi-tid-fam-sk-tax-ununiq-sort.txt > tmp.txt # numerische Sortierung nach der 1. Spalte (gis) cp $zielordner/BLASTpContigORF-Hits.xls Blast-Hits.xls # Erstellen der Blast-Hits.xls frn Blastordner paste tmp-BLASTpContigORF-Hits.txt tmp.txt | sort >> Blast-Hits.xls # spaltenweise Verknpfung der beiden Dateien sowohl $gsflxdir/fnafile -e BlastpHits_ORFs-Blosum62.txt -e BlastpHits_ORFs-Blosum80.txt -e BlastpHits_ORFs-Pam70.txt -e BlastpHits_ORFs-Pam30.txt -o BlastpContigORF-NoHits.fna ORFs-*.fna >/dev/null 2>&1 # fasta datei mit allen ORFs die nicht getroffen haben grep '^>' BlastpContigORF-NoHits.fna > tmp_BlastpContigORF-NoHits.txt 2>/dev/null if [ -s tmp_BlastpContigORF-NoHits.txt ] ; then # | while read line ; do # | berprfen!!!!!!!!!!!!!!!!!!!!!!!!!!! echo -ne "$(echo $line | cut -d " " -f1 | cut -d ">" -f2)\tNoHit" >> tmp_Blast-Hits.txt # | er machts nicht! echo -ne "\tNA\tNA\tNA\tNA\tNA\t$(echo $line | cut -d " " -f2-4)" >> tmp_Blast-Hits.txt # | sachsenrder probe echo -e "\t$(echo $line | cut -d " " -f5-)\tNA\tNA\tNA" >> tmp_Blast-Hits.txt # | 20111125_Fasan_1.GAC.454Reads_75932 done < tmp_BlastpContigORF-NoHits.txt # | fi # V sort tmp_Blast-Hits.txt >> Blast-Hits.xls 2>/dev/null cp -f Blast-Hits.xls $zielordner/BLASTpContigORF-Hits.xls # ins BlastVz als auch in die finale .xls datei rm Gis*.txt 2>/dev/null ; rm *tid*.txt 2>/dev/null ; rm tmp*.txt 2>/dev/null # Resteessen echo -n "Results summary... " # alle Hits + Anzahl grep 'gi|' Blast-Hits.xls 2>/dev/null | cut -d "_" -f1 | sort | uniq > Blast-Hit-Contigs.txt if [ -s Blast-Hit-Contigs.txt ] then blasthits=`wc -l < Blast-Hit-Contigs.txt` # alle NoHits + Anzahl grep '^>' $zielordner/${anfrage2}.fna | cut -d " " -f1 | cut -d ">" -f2 | sort | uniq > Blast-Contigs.txt anf=`wc -l < Blast-Contigs.txt` diff -w Blast-Contigs.txt Blast-Hit-Contigs.txt | grep '<' | cut -d " " -f2 > Blast-NoHit-Contigs.txt blastnohits=`wc -l < Blast-NoHit-Contigs.txt` else anf=`grep -c '>' $zielordner/${anfrage2}.fna` ; blasthits=$anf ; blastnohits=0 fi $gsflxdir/fnafile -i BlastpHits_ORFs-Blosum62.txt -i BlastpHits_ORFs-Blosum80.txt -i BlastpHits_ORFs-Pam70.txt -i BlastpHits_ORFs-Pam30.txt -o BlastpContigORF-Hits.fna ORFs-*.fna >/dev/null 2>&1 rm *Blosum* 2>/dev/null ; rm *Pam* 2>/dev/null ; rm TaxIDs-ProtDb.* 2>/dev/null ; rm ${anfrage2}_AllORFs 2>/dev/null # Resteessen # Ermittlung aller Reads die in Contigs verbaut wurden, die Contigs aber nicht getroffen haben if [ -s Blast-NoHit-Contigs.txt ] && [[ $tool != main ]] ; then cut -f1-2 $arbeitsvz/Assembly/Reads_Vs_Contigs-MegaBlastHits.xls | grep 'contig' > tmp_1-2.txt while read line ; do grep "$line$" tmp_1-2.txt | cut -f1 >> tmp_1-2-Accnos.txt done < Blast-NoHit-Contigs.txt sort tmp_1-2-Accnos.txt | uniq > ReadsInNoHitContigs-Accnos.txt ReadsInNoHitContigs=`wc -l < ReadsInNoHitContigs-Accnos.txt` rm tmp_1-2* 2>/dev/null fi else echo -e "impossible, cause no hits were found.\n" # Info, wenn keine treffer ReadsInNoHitContigs=`wc -l < $arbeitsvz/Assembly/ReadsInNoHitContigs-Accnos.txt` if [ -s $zielordner/Rest.fna ] then grep '^>' $zielordner/Rest.fna | cut -d " " -f1 | cut -d ">" -f2 | sort > Blast-NoHit-Contigs.txt else grep '^>' $zielordner/${anfrage2}.fna | cut -d " " -f1 | cut -d ">" -f2 | sort > Blast-NoHit-Contigs.txt fi fi if [ -s Blast-Hits.xls ] ; then echo -e "Total Number of contigs $anf" >> Result-Protocol.txt echo -e "Hit contigs \t $blasthits" >> Result-Protocol.txt echo -e "NoHit contigs \t $blastnohits \n" >> Result-Protocol.txt echo -e "\nIdentified Organisms... \nSuperkingdom Tax-ID " >> Result-Protocol.txt # Superkingdom Tax-ID including Anzahl echo -e " $rank Tax-ID \n Taxonomy-ID Count \tScientific name\n" >> Result-Protocol.txt # + untergeordnete Rnge incl. Anzahl grep 'gi|' Blast-Hits.xls | cut -f12 | tr -d " " | sort | uniq > tmp-sktax.txt # manchmal 1.zeile leer -->> Fehlerausgabe while read line ; do # line: alle Superkingdom Tax-Ids echo -e "$line \t\t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f1 | tr -d " " | sort | uniq | wc -l` \t`grep "^\<$line\>" ${taxdir}/names.dmp | grep '\' | cut -f3`" >> Result-Protocol.txt # z.B. 2759 45 Eukaryota grep "\<$line\>$" Blast-Hits.xls | cut -f11 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs # sed '/^$/d': LeerZeilen aus der Datei entfernen!!! wichtig bei 'clustered in' da cut -f8 leer while read line2 ; do # line2: alle Family Tax-Ids name=`grep "^\<$line2\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-"` grep "\<$line\>$" Blast-Hits.xls | cut -f-11 | tr -d " " | grep "\<$line2\>$" | cut -f1 | tr -d " " | sort | uniq > TaxID-${line2}_$name.txt # erst sk-tax am ende greppen, abschneiden, dann fam-tax am ende greppen (eindeutig), 1. spalte ausschneiden, sortieren etc... # darin sind alle family Tax-ID spez. Accnos if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line2 \t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f-11 | tr -d " " | grep "\<${line2}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l` \t $name" >> Result-Protocol.txt # z.B. 9604 34 Hominidae grep "\<$line\>$" Blast-Hits.xls | cut -f-11 | tr -d " " | grep "\<$line2\>$" | cut -f10 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt while read line3 ; do name=`grep "^\<${line3}\>" ${taxdir}/names.dmp | grep '\' | cut -f3` if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line3 \t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f-11 | tr -d " " | grep "\<${line2}\>$" | cut -f-10 | tr -d " " | grep "\<${line3}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l` \t $name" >> Result-Protocol.txt # z.B. 9606 22 Homo sapiens done < tmp-tax.txt done < tmp-famtax.txt done < tmp-sktax.txt # <: Einlesen dieser Datei fr's while-loop rm tmp*.txt # rm, da auch nicht mehr bentigt echo -e "completed.\n" fi else echo -e "No Contigs available for Blastp.\n" # wenn query datei leer, #if [[ $stype == contig ]] ; then echo -e "Further analysis finished!\n" ; fi # dann Info & Abruch fi;; esac ############################################################# (Clustering) + LowComplexity BLAST ######################################################### cd $zielordner case "$stype" in # fall stype=read oder read|conread) if [ -s ${anfrage1}.fna ] ; then seq=`grep -c '>' ${anfrage1}.fna` # CD-Hit # echo -ne "\nRunning CD-Hit Clustering ($identity)... " # Programmstartinfo # ${cdhit}/cd-hit-est -i ${anfrage1}.fna -o ${anfrage1}_CD-${identity}.fna -c $identity -n $wordsize -M 0 -T $threads 1>/dev/null # y=`grep -c '>' ${anfrage1}_CD-${identity}.fna` # # Sequenzen nach dem CD-Hit # ((z=$seq-$y)) ; ((w=100-($y*100/$seq))) # Ermittlung der Anzahl # echo -e "completed and $z of $seq sequence(s) ($w %) were clustered.\n" # geclusterter Sequenzen & in % # Low-complexity Megablast Reads echo -n "Running low-complexity Megablast of `grep -c '^>' ${anfrage1}.fna` reads... " # Userinfo blastvek=(map 0 tax 0 0) # | query=$zielordner/${anfrage1}.fna # | referenz=$ntdb # | Eingaben fr das blastordner=${zielordner}/MegablastLCRead # | Blastunterprogramm ntblast='megablast -dust no' # V . $installdir/Blast.sh # Blast Aufruf $gsflxdir/fnafile -i Blast-NoHit-Accnos.txt -o $zielordner/Rest.fna $zielordner/${anfrage1}.fna 1>/dev/null # Erstellen der Rest Reads aus # den NoHit Sequenzen # Low-complexity Blastn Reads if [ -s $zielordner/Rest.fna ] # nur wenn Rest nicht leer ist then echo -n "Running low-complexity Blastn of remaining `grep '>' $zielordner/Rest.fna | wc -l` reads... " # Userinfo blastvek=(map 0 tax 0 0) # | query=$zielordner/Rest.fna # | referenz=/home/blast_db/ncbi/nt # | Eingaben fr das blastordner=${zielordner}/BlastnLCRead # | Blastunterprogramm ntblast='blastn -dust no' ; evalue=0.001 # V . $installdir/Blast.sh # Blast Aufruf $gsflxdir/fnafile -i Blast-NoHit-Accnos.txt -o $zielordner/Rest.fna $zielordner/${anfrage1}.fna 1>/dev/null # erneutes Estellen einer cd $zielordner # Restdatei aus den NoHits else echo "No more Reads left." # falls Rest doch leer, dann #echo -e "\nFurther analysis finished!\n" # kurze Info und raus fi grep -h 'gi|' *ast*LCRead/Blast-Hits.xls | sort >> BLASTnReadLC-Hits.xls else echo -e "\nNo sequences available for low-complexity Blast." # wenn query datei leer, #if [[ $stype == read ]] ; then echo -e "Further analysis finished!\n" ; fi # dann Info & Abruch fi;; esac ########################################################################## BLASTp Reads ################################################################## case "$stype" in read|conread) if [ -s $zielordner/Rest.fna ] ; then mkdir $zielordner/BlastpRead ; cd $zielordner/BlastpRead # Emboss AA-Translater & ORF-Finder (SIXPACK) echo -ne "\nData split of `grep '>' $zielordner/Rest.fna | wc -l` reads... " csplit -s $zielordner/Rest.fna /\>/ {*} -f "x-" -n 6 -z -q # Split der CD-Hit fasta Datei in Einzelsequenzdateien echo -n "reunion into fragmented files... " for i in x-* ; do # mache folgendes fr jede der gesplitteten Sequenzen cat $i >> tmp.fna # cat sie nach einander ind die tmp.fna Datei if [ `grep -c '^>' tmp.fna` -eq 500 ] ; then # wenn die Anzahl Sequenzen in der tmp.fna = 500 mv tmp.fna Rest-$i.fna # benenne sie um nach part-'letzte Inputsequenz'.fna rm tmp.fna 2>/dev/null # und entferne die tmp.fna Datei fi # fertsch rm $i # entferne nach dem cat immer die Sequenz done if [ -s tmp.fna ] ; then mv tmp.fna Rest-x-1.fna ; fi # letzten brigen Sequenzen noch umbenennen in xxx echo "completed." for part in Rest-x-*.fna ; do echo -ne "\nData split of `grep '>' $part | wc -l` reads... " csplit -s $part /\>/ {*} -f "Read-" -n 6 -z -q # Split der CD-Hit fasta Datei in Einzelsequenzdateien (for i in Read-* ; do mv $i Read-`head -1 $i | cut -d " " -f1 | cut -d ">" -f2` & done ; wait) # Umben. von Seed-00002 zu GYAA0ZC02GW8OL-Seed-00002 echo -n "translation... " # Aufruf der bersetzungsfunktion der ORFs in die (for i in Read-* ; do TranslationRead $i & done ; wait) # Aminosuresequenz und entfernen von ORFs < 12 AAs x=0 for i in Read-*-ORFs ; do ((x=$x+`grep -c '^>' $i`)) ; done echo -e "finished & $x ORFs of >20 amino acids detected." # Bam Info raus xalt=$x # dann ist xalt die # Reads nach dem CD-Hit # brig geblieben ist xneu=$xalt # fr die 1. Runde muss xneu = xalt gesetzt werden until (( `find -name 'Read-*-ORFs' | wc -l` == 0 )) ; do # Sequenzvorbereitung zum Blastp (for i in Read-*-ORFs ; do MatrixAssignment $i & done ; wait) # Blastp Initialisierung g=0 ; xalt=$xneu for i in ORFs-* ; do c=`grep '^>' $i | wc -l` echo -n "Run BLASTp of `basename $i` with $c sequence(s)... " query=`basename $i .fna` $blastdir/blastp -db $protdb -num_threads $threads -evalue 0.001 -num_descriptions 1 -num_alignments 1 -out BlastpHits_$query.txt -query $i -outfmt '6 qseqid sseqid qstart qend qlen evalue pident' >/dev/null 2>&1 h=`wc -l < BlastpHits_$query.txt` echo "finished & $h hit(s)" ((g=$g+$h)) done # Entfernen aller ORFs aus den Hit Dateien echo -n "Collecting hits & removing corresponding accnos... " # Info for i in BlastpHits_*.txt ; do # fr jede der max 4 Subst.matrizen Hits Files mache folgendes if [ -s $i ] ; then # wenn es darin Treffer ORFs gibt, dann grep '_' $i >> tmp-Blastp-Hits.txt # schreib alle in Blastp-Hits.txt while read line ; do # lies jede Zeile einzeln aus accno=$(echo $line | cut -d " " -f1 | cut -d "_" -f1) # speichere die Accessionnummer rm Read-$accno-* 2>/dev/null # Lsche alle weiteren ORFs und die SaveDatei dazu, damit diese done < $i # ORFs nicht mehr in der nchsten Analyse verwendet werden cut -f1 $i > $i-AccnosORF.txt # | $gsflxdir/fnafile -i $i-AccnosORF.txt -o $i-AccnosORF.fna ORFs-*.fna 1>/dev/null # | alle TrefferORFs weren in eine Fasta Datei geschrieben cat $i-AccnosORF.fna >> Blastp_Hit-ORFs.fna # V fi ; rm $i* 2>/dev/null # rm der txt File der Matrixtreffer (BlastpHits_ORFs-Pam70.txt) done # und aller anderen hnlichen Dateien rm ORFs-*.fna # 4 Blastp queries mit den Substitutionsmatrizen entfernen xneu=0 # Initialisierung der restreads=0 if (( `find -name 'Read-*_SortList.txt' | wc -l` != 0 )) # so lang die liste mit potentiellen restreads ex. then for var in Read-*_SortList.txt ; do ((xneu=$xneu+`wc -l < $var`)) ; done # zhle sie alle und summiere sie fi # fertsch echo "completed, $(($xalt-$xneu-$g)) nohit reads & $xneu ORFs left." # Bildschirmausgabe done # Ende der BlastpAbfolge rm $part done # Zusammenstellen der ORF Hit Liste mit allen Zusatzinfos echo -ne "\nData processing... " if [ -s tmp-Blastp-Hits.txt ] then # Tax-ID Bestimmung sort -k2 tmp-Blastp-Hits.txt > tmp-Blastp-Hits-sort.txt grep 'gi|' tmp-Blastp-Hits.txt | cut -d "|" -f2 | sort | uniq > Gis-su.txt grep 'gi|' tmp-Blastp-Hits.txt | cut -d "|" -f2 > Gis.txt (while read line ; do ProtTaxidDetermination $line & done < Gis-su.txt ; wait) # Family & Superkingdom Taxonomy-ID Bestimmung cut -f2 gi-tid.txt 2>/dev/null | sort | uniq > uniq-tids.txt # doppelte tax-ids entfernt (while read line ; do FamSkTaxDetermination $line & done < uniq-tids.txt ; wait) # Fuktionsaufruf FamSkTaxDetermination + thread verteilung # Einordnung von Tax-ID, Family Tax-ID & Superkingdom Tax-ID in die Blast Excel Datei while read line ; do # line: Gi's rs=`grep "^\<${line}\>" gi-tid-fam-sk-tax.txt 2>/dev/null | cut -f 2,3,4` # ls: Tax-ID Family Tax-ID Superkingdom Tax-ID echo -e "$line \t$rs" >> gi-tid-fam-sk-tax-ununiq.txt done < Gis.txt sort gi-tid-fam-sk-tax-ununiq.txt > gi-tid-fam-sk-tax-ununiq-sort.txt cut -f 2,3,4 gi-tid-fam-sk-tax-ununiq-sort.txt > tmp.txt # numerische Sortierung nach der 1. Spalte (gis) cp $zielordner/BLASTpReadORF-Hits.xls Blast-Hits.xls # zum erstellen der Blast-Hits.xls mit header paste tmp-Blastp-Hits-sort.txt tmp.txt >> Blast-Hits.xls # spaltenweise Verknpfung der beiden Dateien in Blast-Hits.xls paste tmp-Blastp-Hits-sort.txt tmp.txt >> $zielordner/BLASTpReadORF-Hits.xls # spaltenweise Verknpfung der beiden Dateien in andere rm Gis*.txt 2>/dev/null ; rm *tid*.txt 2>/dev/null ; rm tmp*.txt 2>/dev/null echo -n "Results summary... " # alle Hits + Anzahl grep 'gi|' Blast-Hits.xls | cut -d "_" -f1 | sort > Blast-Hit-Accnos.txt blasthits=`wc -l < Blast-Hit-Accnos.txt` # alle NoHits + Anzahl grep '^>' $zielordner/Rest.fna | cut -d " " -f1 | cut -d ">" -f2 | sort > Blast-Accnos.txt anf=`wc -l < Blast-Accnos.txt` diff -w Blast-Accnos.txt Blast-Hit-Accnos.txt | grep '<' | cut -d " " -f2 > Blast-NoHit-Accnos.txt blastnohits=`wc -l < Blast-NoHit-Accnos.txt` ; rm Blast-Accnos.txt else echo -ne "impossible, cause no hits were found... " grep '^>' $zielordner/Rest.fna | cut -d " " -f1 | cut -d ">" -f2 | sort > Blast-NoHit-Accnos.txt fi echo -e "Total Number of sequences $anf" >> Result-Protocol.txt echo -e "Hit sequences \t $blasthits" >> Result-Protocol.txt echo -e "NoHit sequences \t $blastnohits \n" >> Result-Protocol.txt echo -e "\nIdentified Organisms... \nSuperkingdom Tax-ID " >> Result-Protocol.txt # Superkingdom Tax-ID including Anzahl echo -e " $rank Tax-ID \n Taxonomy-ID Count \tScientific name\n" >> Result-Protocol.txt # + untergeordnete Rnge incl. Anzahl grep 'gi|' Blast-Hits.xls 2>/dev/null | cut -f10 | tr -d " " | sort | uniq > tmp-sktax.txt 2>/dev/null # manchmal 1.zeile leer -->> Fehlerausgabe while read line ; do # line: alle Superkingdom Tax-Ids echo -e "$line \t\t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f1 | tr -d " " | sort | uniq | wc -l` \t`grep "^\<$line\>" ${taxdir}/names.dmp | grep '\' | cut -f3`" >> Result-Protocol.txt # z.B. 2759 45 Eukaryota grep "\<$line\>$" Blast-Hits.xls | cut -f9 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs # sed '/^$/d': LeerZeilen aus der Datei entfernen!!! wichtig bei 'clustered in' da cut -f8 leer while read line2 ; do # line2: alle Family Tax-Ids name=`grep "^\<$line2\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-"` grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f1 | tr -d " " | sort | uniq > TaxID-${line2}_$name.txt # erst sk-tax am ende greppen, abschneiden, dann fam-tax am ende greppen (eindeutig), 1. spalte ausschneiden, sortieren etc... # darin sind alle family Tax-ID spez. Accnos if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line2 \t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<${line2}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l` \t $name" >> Result-Protocol.txt # z.B. 9604 34 Hominidae grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f8 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt while read line3 ; do name=`grep "^\<${line3}\>" ${taxdir}/names.dmp | grep '\' | cut -f3` if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi echo -e " $line3 \t\t`grep "\<$line\>$" Blast-Hits.xls | cut -f-9 | tr -d " " | grep "\<${line2}\>$" | cut -f-8 | tr -d " " | grep "\<${line3}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l` \t $name" >> Result-Protocol.txt # z.B. 9606 22 Homo sapiens done < tmp-tax.txt done < tmp-famtax.txt done < tmp-sktax.txt # <: Einlesen dieser Datei fr's while-loop rm tmp*.txt # rm, da auch nicht mehr bentigt echo -e "completed.\n" else echo -e "\nNo Reads left for Blastp." # wenn query datei leer, echo -e "Further analysis finished!\n" # dann Info & Abruch fi;; esac ################################################################# Zusammenfassung ######################################################################## # Erstellen eines Arrays fr seperate read & contig result Protokolle cd ${zielordner} # sicherhaltshalber in ordner wechseln case "$stype" in # Erstellen eines Vektors 'resultarray' read) resultarray=(read);; # der je nach Eingabe das contig) resultarray=(contig);; # enstrechende bzw. beide result conread) resultarray=(read contig);; # protocols erstellt esac # Bildschirmausgabe + Zusatzinfo ber den Datenumfang in die txt- & xls Ergebnisdatei schreiben for var in ${resultarray[*]} ; do # fr jedes element im vektor #case "$var" in # read) if [ -s $zielordner/${anfrage1}.fna ] ; # then echo -e "\nIdentified Organisms in `grep -c '^>' ${anfrage1}.fna 2>/dev/null` ${var}s... \n" >> FA_Result-Protocol.txt # echo -e "\nIdentified Organisms in `grep -c '^>' ${anfrage1}.fna 2>/dev/null` ${var}s... \n" >> FA_Result-Protocol.xls # else echo -e "\nNo reads available.\n" >> FA_Result-Protocol.txt # echo -e "\nNo reads available.\n" >> FA_Result-Protocol.xls # fi;; # contig) if [ -s $zielordner/${anfrage2}.fna ] ; # then echo -e "\n\nIdentified Organisms in `grep -c '^>' ${anfrage2}.fna 2>/dev/null` ${var}s... \n" >> FA_Result-Protocol.txt # echo -e "\nIdentified Organisms in `grep -c '^>' ${anfrage2}.fna 2>/dev/null` ${var}s... \n" >> FA_Result-Protocol.xls # else echo -e "\nNo contigs available.\n" >> FA_Result-Protocol.txt # echo -e "\nNo contigs available.\n" >> FA_Result-Protocol.xls # fi;; #esac ################################################################# Zuordnung Reads ######################################################################## # Zusammentragen aller Daten aus den Teilanalysen um ein Gesamtberblick zu erstellen # mache folgendes echo -n "Final data gathering of all hit ${var}s... " # gib aus welches elem. du bearbeitest if [ $var == read ] # bearbeitest du grad den read, dann then grep -h 'gi|' BLAST*Read*-Hits.xls > AllBlastHits.txt 2>/dev/null # grep LC- & ORF- daten grep 'gi|' BLASTnReadLC-Hits.xls | cut -f10 | tr -d " " | sort | uniq > tmp-sktax.txt echo -e "\nIdentified Organisms... \nSuperkingdom Tax-ID " >> Blast-Result-Protocol.txt # Superkingdom Tax-ID including Anzahl echo -e " $rank Tax-ID \n Taxonomy-ID Count \tScientific name\n" >> Blast-Result-Protocol.txt # + untergeordnete Rnge incl. Anzahl while read line ; do # line: alle Superkingdom Tax-Ids echo -e "$line \t\t\t`grep "\<$line\>$" BLASTnReadLC-Hits.xls | cut -f1 | tr -d " " | sort | uniq | wc -l`" >> Blast-Result-Protocol.txt # z.B. 2759 45 Eukaryota grep "\<$line\>$" BLASTnReadLC-Hits.xls | cut -f9 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs # sed '/^$/d': LeerZeilen aus der Datei entfernen!!! wichtig bei 'clustered in' da cut -f8 leer while read line2 ; do # line2: alle Family Tax-Ids echo -e " $line2 \t\t`grep "\<$line\>$" BLASTnReadLC-Hits.xls | cut -f-9 | tr -d " " | grep "\<${line2}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l`" >> Blast-Result-Protocol.txt # z.B. 9604 34 Hominidae grep "\<$line\>$" BLASTnReadLC-Hits.xls | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f8 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt while read line3 ; do echo -e " $line3 \t\t`grep "\<$line\>$" BLASTnReadLC-Hits.xls | cut -f-9 | tr -d " " | grep "\<${line2}\>$" | cut -f-8 | tr -d " " | grep "\<${line3}\>$" | cut -f1 | tr -d " " | sort | uniq | wc -l`" >> Blast-Result-Protocol.txt # z.B. 9606 22 Homo sapiens done < tmp-tax.txt done < tmp-famtax.txt done < tmp-sktax.txt # <: Einlesen dieser Datei fr's while-loop rm tmp*.txt # rm, da auch nicht mehr bentigt else grep -h 'gi|' BLASTpContigORF-Hits.xls > AllBlastHits.txt 2>/dev/null # sonst grep nur ORF-daten fi # groe Gesamtdatenunterteilung linke seite case "$var" in read) s1=8 ; s2=9 ; s3=10 echo -e "\n\nIdentified organisms in `grep -c '^>' ${anfrage1}.fna` Reads... \n" >> FA_Result-Protocol.txt printf "Superkingdom Tax-ID %7s Unfiltered %2s Unfiltered %2s Blastp \n" >> FA_Result-Protocol.txt printf "%3s Family Tax-ID %12s Blast %6s Blast %7s vs %6s Blastp \n" >> FA_Result-Protocol.txt printf "%8s Tax-ID Quantity %2s vs ntdb %3s identities %2s protdb %2s identities Scientific name \n" >> FA_Result-Protocol.txt echo -e "\n\nIdentified organisms in `grep -c '^>' ${anfrage1}.fna` reads... \n" >> FA_Result-Protocol.xls echo -e "Superkingdom Tax-ID\t\t\t\tUnfiltered\tUnfiltered\tBlastp" >> FA_Result-Protocol.xls echo -e "\tFamily Tax-ID\t\t\tBlast\tBlast\tvs\tBlastp" >> FA_Result-Protocol.xls echo -e "\t\tTax-ID\tQuantity\tvs ntdb\tidentities\tprotdb\tidentities\tScientific name" >> FA_Result-Protocol.xls if [ -s AllBlastHits.txt ] ; then grep 'gi|' AllBlastHits.txt | cut -f$s3 | tr -d " " | sort | uniq | sed '/^$/d' > tmp-sktax.txt # gi| in jeder Spalte vorhanden while read line ; do # line: alle Superkingdom Tax-Ids count=`grep "\<$line\>$" AllBlastHits.txt | grep -v 'Results' | cut -f1 | tr -d " " | sort | uniq | wc -l` # Anzahl aus den versch. Blast's countarray=(`grep 'Results' AllBlastHits.txt | grep "\<$line\>$" | cut -f3`) # Anzahl aus den Mappings for i in ${countarray[*]} ; do ((count=${count}+${i})) ; done # Zusammenzhlen aus Map. und Blasts printf "\n%-16s %8s %-50s \n" $line $count >> test-taxcount.txt echo -e "\n$line\t\t\t$count\t\t\t\t" >> test-taxcount2.txt grep "\<$line\>$" AllBlastHits.txt | cut -f$s2 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs # sed '/^$/d': LeerZeilen aus der Datei entfernen!!! wichtig bei 'clustered in' da cut -f8 leer while read line2 ; do # line2: alle Family Tax-Ids count=`grep "\<$line\>$" AllBlastHits.txt | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | grep -v 'Results' | cut -f1 | tr -d " " | sort | uniq | wc -l` countarray=(`grep 'Results' AllBlastHits.txt | grep "\<$line\>$" | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | cut -f3`) for i in ${countarray[*]} ; do ((count=${count}+${i})) ; done printf " %-12s %8s %-52s \n" $line2 $count >> test-taxcount.txt echo -e "\t$line2\t\t$count\t\t\t\t" >> test-taxcount2.txt grep "\<$line\>$" AllBlastHits.txt | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | cut -f$s1 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt while read line3 ; do count=`grep "\<$line\>$" AllBlastHits.txt | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | cut -f-$s1 | tr -d " " | grep "\<$line3\>$" | grep -v 'Results' | cut -f1 | tr -d " " | sort | uniq | wc -l` countarray=(`grep 'Results' AllBlastHits.txt | grep "\<$line\>$" | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | cut -f-$s1 | tr -d " " | grep "\<$line3\>$" | cut -f3`) for i in ${countarray[*]} ; do ((count=${count}+${i})) ; done # Blast- + homologie results if (( `sed -n '/Taxonomy-ID/,// p' Blast-Result-Protocol.txt | cut -f1 | grep "\<$line3\>" | wc -l` == 1 )) && ! tr -s [:blank:] " " < test-taxcount.txt 2>/dev/null | cut -d " " -f2 | grep -q "\<$line3\>" ; then # nicht ndern! hat alles seinen Grund z=`sed -n '/Taxonomy-ID/,// p' Blast-Result-Protocol.txt | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` # z: Zeilennummer in der die Tax-id in dem Ausschnitt von '/Taxonomy-ID/,// p' vorkommt b=`sed -n '/Taxonomy-ID/,// p' Blast-Result-Protocol.txt | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` # mb: Anzahl Sequenzen, die der Tax-id zugeordnet wurden y= ; y=(`cut -f$s1 BLASTnReadLC-Hits.xls | grep -n "$line3" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" BLASTnReadLC-Hits.xls | cut -f7 >> tmp-blast-hom.txt done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-blast-hom.txt | sort -n | head -1` 2>/dev/null # num. sortierung; kleinster Wert oben gr=`cat tmp-blast-hom.txt | sort -nr | head -1` 2>/dev/null # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then bh="$kl-$gr" # 56.78-67.87 else bh="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-blast-hom.txt 2>/dev/null elif (( `sed -n '/Taxonomy-ID/,// p' Blast-Result-Protocol.txt | cut -f1 | grep "\<$line3\>" | wc -l` == 2 )) ; then # es gibt leider Gis, die direkt einer Familie (Retroviridae) zugeordnet werden; Retroviridae taucht dann 2x auf; grrrrrrrrrrr z=`sed -n "/\<$line3\>/,// p" Blast-Result-Protocol.txt | sed '1d' | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` b=`sed -n "/\<$line3\>/,// p" Blast-Result-Protocol.txt | sed '1d' | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` y= ; y=(`cut -f$s1 BLASTnReadLC-Hits.xls | grep -n "$line3" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" BLASTnReadLC-Hits.xls | cut -f7 >> tmp-blast-hom.txt done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-blast-hom.txt | sort -n | head -1` 2>/dev/null # num. sortierung; kleinster Wert oben gr=`cat tmp-blast-hom.txt | sort -nr | head -1` 2>/dev/null # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then bh="$kl-$gr" # 56.78-67.87 else bh="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-blast-hom.txt 2>/dev/null else b=0 ; bh=0 fi # Blastp- + homologie results if (( `sed -n '/Taxonomy-ID/,// p' BlastpRead/Result-Protocol.txt | cut -f1 | grep "\<$line3\>" | wc -l` == 1 )) && ! tr -s [:blank:] " " < test-taxcount.txt 2>/dev/null | cut -d " " -f2 | grep -q "\<$line3\>" ; then # nicht ndern! hat alles seinen Grund z=`sed -n '/Taxonomy-ID/,// p' BlastpRead/Result-Protocol.txt | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` # z: Zeilennummer in der die Tax-id in dem Ausschnitt von '/Taxonomy-ID/,// p' vorkommt bp=`sed -n '/Taxonomy-ID/,// p' BlastpRead/Result-Protocol.txt | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` # bp: Anzahl Sequenzen, die der Tax-id zugeordnet wurden y= ; y=(`cut -f$s1 BLASTpReadORF-Hits.xls | grep -n "$line3" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" BLASTpReadORF-Hits.xls | cut -f7 >> tmp-blastp-hom.txt done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-blastp-hom.txt | sort -n | head -1` 2>/dev/null # num. sortierung; kleinster Wert oben gr=`cat tmp-blastp-hom.txt | sort -nr | head -1` 2>/dev/null # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then bph="$kl-$gr" # 56.78-67.87 else bph="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-blastp-hom.txt 2>/dev/null elif (( `sed -n '/Taxonomy-ID/,// p' BlastpRead/Result-Protocol.txt | cut -f1 | grep "\<$line3\>" | wc -l` == 2 )) ; then # es gibt leider Gis, die direkt einer Familie (Retroviridae) zugeordnet werden; Retroviridae taucht dann 2x auf; grrrrrrrrrrr z=`sed -n "/\<$line3\>/,// p" BlastpRead/Result-Protocol.txt | sed '1d' | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` bp=`sed -n "/\<$line3\>/,// p" BlastpRead/Result-Protocol.txt | sed '1d' | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` y= ; y=(`cut -f$s1 BLASTpReadORF-Hits.xls | grep -n "$line3" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" BLASTpReadORF-Hits.xls | cut -f7 >> tmp-blastp-hom.txt done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-blastp-hom.txt | sort -n | head -1` 2>/dev/null # num. sortierung; kleinster Wert oben gr=`cat tmp-blastp-hom.txt | sort -nr | head -1` 2>/dev/null # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then bph="$kl-$gr" # 56.78-67.87 else bph="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-blastp-hom.txt 2>/dev/null else bp=0 ; bph=0 fi # Zusammenschreiben der Ergebnisse in die entspr. Datei including der Formatierung printf " %-7s %8s %12s %13s %9s %13s %4s\n" $line3 $count $b $bh $bp $bph >> test-taxcount.txt echo -e "\t\t$line3\t$count\t$b\t$bh\t$bp\t$bph" >> test-taxcount2.txt done < tmp-tax.txt # zur FamTaxId entspr. TaxIDs done < tmp-famtax.txt # zur sk entspr. FamilyTaxIds done < tmp-sktax.txt # <: Einlesen der superkingdomTaxIds fr's while-loop rm tmp-*tax.txt fi;; ################################################################# Zuordnung Contigs ###################################################################### contig) s1=10 ; s2=11 ; s3=12 echo -e "\n\nIdentified organisms in `grep -c '^>' ${anfrage2}.fna` Contigs... \n" >> FA_Result-Protocol.txt printf "Superkingdom Tax-ID\n %2s Family Tax-ID %8s Blastp %46s Contig\n %7s Tax-ID %12s vs %5s Hit " >> FA_Result-Protocol.txt printf "%5s ORF %5s Blastp %15s length\n %12s Contig_ORF protdb range(aa) length identities" >> FA_Result-Protocol.txt printf " ORF(nucl) (nucl) Scientific name\n" >> FA_Result-Protocol.txt echo -e "\n\nIdentified organisms in `grep -c '^>' ${anfrage2}.fna` Contigs... \n" >> FA_Result-Protocol.xls echo -e "Superkingdom Tax-ID\n\tFamily Tax-ID\t\t\tBlastp\t\t\t\t\tContig " >> FA_Result-Protocol.xls echo -e "\t\tTax-IDs\t\tvs\tHit\tORF\tBlastp\t\tlength " >> FA_Result-Protocol.xls echo -e "\t\t\tContig_ORF\tprotdb\trange(aa)\tlength\tidentities\tORF(nucl)\t(nucl)\tScientific name " >> FA_Result-Protocol.xls if [ -s AllBlastHits.txt ] ; then grep 'gi|' AllBlastHits.txt | cut -f$s3 | tr -d " " | sort | uniq | sed '/^$/d' > tmp-sktax.txt # gi| in jeder Spalte vorhanden while read line ; do # line: alle Superkingdom Tax-Ids count=`grep -c "\<$line\>$" AllBlastHits.txt` # Anzahl aus den versch. Blast's printf "\n%-16s %16s %-54s \n" $line $count >> test-taxcount.txt echo -e "\n$line\t\t\t\t$count\t\t\t\t\t" >> test-taxcount2.txt grep "\<$line\>$" AllBlastHits.txt | cut -f$s2 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs # sed '/^$/d': LeerZeilen aus der Datei entfernen!!! wichtig bei 'clustered in' da cut -f8 leer while read line2 ; do # line2: alle Family Tax-Ids count=`grep "\<$line\>$" AllBlastHits.txt | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | wc -l` printf " %-12s %16s %-56s \n" $line2 $count >> test-taxcount.txt echo -e "\t$line2\t\t\t$count\t\t\t\t\t" >> test-taxcount2.txt grep "\<$line\>$" AllBlastHits.txt | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | cut -f$s1 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt while read line3 ; do count=`grep "\<$line\>$" AllBlastHits.txt | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | cut -f-$s1 | tr -d " " | grep "\<$line3\>$" | wc -l` printf " %-15s %8s %-58s \n" $line3 $count >> test-taxcount.txt echo -e "\t\t$line2\t\t$count\t\t\t\t\t" >> test-taxcount2.txt grep "\<$line\>$" AllBlastHits.txt | cut -f-$s2 | tr -d " " | grep "\<$line2\>$" | cut -f-$s1 | sed '/^$/d' | grep "\<$line3\>$" | tr -s [:blank:] " " | cut -d " " -f1 | sort | uniq > tmp-contig.txt while read line4 ; do # Blastp results count=`grep -c "\<$line4\>" AllBlastHits.txt` hitraa="`grep "\<$line4\>" AllBlastHits.txt | tr -s [:blank:] " " | cut -d " " -f3`-`grep "\<$line4\>" AllBlastHits.txt | tr -s [:blank:] " " | cut -d " " -f4`" orfl=`grep "\<$line4\>" AllBlastHits.txt | tr -s [:blank:] " " | cut -d " " -f5` hom=`grep "\<$line4\>" AllBlastHits.txt | tr -s [:blank:] " " | cut -d " " -f7` orfnucl="`grep "\<$line4\>" AllBlastHits.txt | tr -s [:blank:] " " | cut -d " " -f8 | tr -d "["`-`grep "\<$line4\>" AllBlastHits.txt | tr -s [:blank:] " " | cut -d " " -f10 | tr -d "]"`" if grep "\<$line4\>" AllBlastHits.txt | grep -q 'length' then conl=`grep "\<$line4\>" AllBlastHits.txt | cut -d "=" -f2 | cut -d " " -f1` else conl=NA fi printf " %-14s %5s %11s %7s %10s %13s %8s %4s \n" $line4 $count $hitraa $orfl $hom $orfnucl $conl >> test-taxcount.txt echo -e "\t\t\t$line4\t$count\t'$hitraa\t$orfl\t$hom\t$orfnucl\t$conl" >> test-taxcount2.txt done < tmp-contig.txt # zu TaxIDs entspr. Contigs done < tmp-tax.txt # zur FamTaxId entspr. TaxIDs done < tmp-famtax.txt # zur sk entspr. FamilyTaxIds done < tmp-sktax.txt # <: Einlesen der superkingdomTaxIds fr's while-loop rm tmp-*tax.txt ; rm tmp-contig.txt fi esac # Scientific name of each tax-id echo -n "assignment of names... " if [ -s test-taxcount.txt ] ; then while read line ; do if [ -z "$line" ] then echo >> test-taxcount-names.txt elif grep "$line" test-taxcount.txt | grep -q 'C\|contig' then echo "--- \" \" ---" >> test-taxcount-names.txt else tax=$(echo $line | cut -d " " -f1) name=`grep "^\<$tax\>" ${taxdir}/names.dmp | grep '\' | cut -f3` if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi if (( `(echo $line | cut -d " " -f3)` == 0 )) 2>/dev/null && (( `(echo $line | cut -d " " -f6)` != 0 )) 2>/dev/null then echo "$name (potentially viral read(s) detected inside an eucaryotic genome)" >> test-taxcount-names.txt else echo $name >> test-taxcount-names.txt fi fi done < test-taxcount.txt paste -d " " test-taxcount.txt test-taxcount-names.txt >> FA_Result-Protocol.txt paste test-taxcount2.txt test-taxcount-names.txt >> FA_Result-Protocol.xls fi ############################################################ Grenverteilung Reads ###################################################################### case "$var" in read|conread) mkdir -p tmp if [ -s $zielordner/${anfrage1}.fna ] ; then cd $zielordner/BlastpRead if [ -s $zielordner/BlastpRead/Blast-NoHit-Accnos.txt ] then leftover=`wc -l < $zielordner/BlastpRead/Blast-NoHit-Accnos.txt` echo -e "\n$leftover\tReads left" >> ${zielordner}/FA_Result-Protocol.txt echo -e "\n$leftover\tReads left" >> ${zielordner}/FA_Result-Protocol.xls $gsflxdir/fnafile -i Blast-NoHit-Accnos.txt -o NoHit-Reads.fna $zielordner/${anfrage1}.fna 1>/dev/null # Berechnung der Leftover sowie dessen Verteilung echo -n "computing read distribution... " ; cd .. $embossdir/infoseq -sequence BlastpRead/NoHit-Reads.fna -outfile tmp/length.txt -only -length >/dev/null 2>&1 grep -v 'Length' tmp/length.txt > tmp/NoHit-Reads_length.txt (while read line ; do Readdistribution1 $line & done < tmp/NoHit-Reads_length.txt ; wait) datasize=`grep -c '^>' BlastpRead/NoHit-Reads.fna` ; Readdistribution2 if [[ $tool == main ]] # separat ohne Metagenomanalyse ausgefhrt then echo -ne "\nSizedistribution: <50 51-100 101-150 151-200 " >> $zielordner/FA_Result-Protocol.txt echo -ne "\nSizedistribution:\t<50\t51-100\t101-150\t151-200\t" >> $zielordner/FA_Result-Protocol.xls echo -e "201-250 251-300 301-350 351-400 401-450 451-500 >500" >> $zielordner/FA_Result-Protocol.txt echo -e "201-250\t251-300\t301-350\t351-400\t401-450\t451-500\t>500" >> $zielordner/FA_Result-Protocol.xls printf " Absolut %16s%11s%12s%12s%12s%12s%12s%12s%12s%12s%9s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk >> $zielordner/FA_Result-Protocol.txt echo -e " Absolut\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk" >> $zielordner/FA_Result-Protocol.xls printf " Portion %16s%11s%12s%12s%12s%12s%12s%12s%12s%12s%9s \n" $ml $mm $mn $mo $mp $mq $mr $ms $mt $mu $mv >> $zielordner/FA_Result-Protocol.txt echo -e " Portion\t$ml\t$mm\t$mn\t$mo\t$mp\t$mq\t$mr\t$ms\t$mt\t$mu\t$mv" >> $zielordner/FA_Result-Protocol.xls else # nach Metagenomanalyse ausgefhrt sed "s/Reads left absolute No data avaliable/`printf "Reads left absolute %12s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk`/g" $arbeitsvz/Result-Protocol_${projektname}.txt > $zielordner/FA_Result-Protocol-1.txt sed "s/Reads left portion No data avaliable/`printf "Reads left portion %13s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ml $mm $mn $mo $mp $mq $mr $ms $mt $mu $mv`/g" $zielordner/FA_Result-Protocol-1.txt > $zielordner/FA_Result-Protocol-2.txt sed "s/Reads left absolute\tNo data avaliable/`echo -e "Reads left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk"`/g" $arbeitsvz/Result-Protocol_${projektname}.xls > $zielordner/FA_Result-Protocol-1.xls sed "s/Reads left portion\tNo data avaliable/`echo -e "Reads left portion\t$ml\t$mm\t$mn\t$mo\t$mp\t$mq\t$mr\t$ms\t$mt\t$mu\t$mv"`/g" $zielordner/FA_Result-Protocol-1.xls > $zielordner/FA_Result-Protocol-2.xls fi else echo -e "\nLeftover:\t0 Reads\n\n" >> $zielordner/FA_Result-Protocol.txt echo -e "\nLeftover:\t0 Reads\n\n" >> $zielordner/FA_Result-Protocol.xls if [[ $tool != main ]] ; then # direkt im Anschluss an Metagenomanalyse ausgefhrt ma=0; mb=0; mc=0; md=0; me=0; mf=0; mg=0; mh=0; mi=0; mj=0; mk=0; ml=0; mm=0; mn=0; mo=0; mp=0; mq=0; mr=0; ms=0; mt=0; mu=0; mv=0 sed "s/Reads left absolute No data avaliable/`printf "Reads left absolute %12s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk`/g" $arbeitsvz/Result-Protocol_${projektname}.txt > $zielordner/FA_Result-Protocol-1.txt sed "s/Reads left portion No data avaliable/`printf "Reads left portion %13s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ml $mm $mn $mo $mp $mq $mr $ms $mt $mu $mv`/g" $zielordner/FA_Result-Protocol-1.txt > $zielordner/FA_Result-Protocol-2.txt sed "s/Reads left absolute\tNo data avaliable/`echo -e " Reads left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk"`/g" $arbeitsvz/Result-Protocol_${projektname}.xls > $zielordner/FA_Result-Protocol-1.xls sed "s/Reads left portion\tNo data avaliable/`echo -e " Reads left portion\t$ml\t$mm\t$mn\t$mo\t$mp\t$mq\t$mr\t$ms\t$mt\t$mu\t$mv"`/g" $zielordner/FA_Result-Protocol-1.xls > $zielordner/FA_Result-Protocol-2.xls fi fi ; cd $zielordner ; rm -r tmp else # wenn Readdatei leer if [[ $tool == main ]] # separat ohne Metagenomanalyse ausgefhrt then echo -e "\nLeftover:\t0 Reads\n\n" >> $zielordner/FA_Result-Protocol.txt echo -e "\nLeftover:\t0 Reads\n\n" >> $zielordner/FA_Result-Protocol.xls else ma=0; mb=0; mc=0; md=0; me=0; mf=0; mg=0; mh=0; mi=0; mj=0; mk=0; ml=0; mm=0; mn=0; mo=0; mp=0; mq=0; mr=0; ms=0; mt=0; mu=0; mv=0 sed "s/Reads left absolute No data avaliable/`printf "Reads left absolute %12s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk`/g" $arbeitsvz/Result-Protocol_${projektname}.txt > $zielordner/FA_Result-Protocol-1.txt sed "s/Reads left portion No data avaliable/`printf "Reads left portion %13s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ml $mm $mn $mo $mp $mq $mr $ms $mt $mu $mv`/g" $zielordner/FA_Result-Protocol-1.txt > $zielordner/FA_Result-Protocol-2.txt sed "s/Reads left absolute\tNo data avaliable/`echo -e " Reads left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk"`/g" $arbeitsvz/Result-Protocol_${projektname}.xls > $zielordner/FA_Result-Protocol-1.xls sed "s/Reads left portion\tNo data avaliable/`echo -e " Reads left portion\t$ml\t$mm\t$mn\t$mo\t$mp\t$mq\t$mr\t$ms\t$mt\t$mu\t$mv"`/g" $zielordner/FA_Result-Protocol-1.xls > $zielordner/FA_Result-Protocol-2.xls fi fi;; ######################################################### Grenverteilung Contigs ###################################################################### contig) mkdir -p tmp if [ -s $zielordner/${anfrage2}.fna ] ; then cd $zielordner/BlastpContig ; if [ -s Blast-NoHit-Contigs.txt ] # wenn contigs nicht zugeordnet werden konnten then $gsflxdir/fnafile -i Blast-NoHit-Contigs.txt -o Blast-NoHit-Contigs.fna $zielordner/${anfrage2}.fna 1>/dev/null # Berechnung der Contig Leftover leftover=`wc -l < Blast-NoHit-Contigs.txt` echo -e "\n$leftover\tContigs left" >> ${zielordner}/FA_Result-Protocol.txt echo -e "\n$leftover\tContigs left" >> ${zielordner}/FA_Result-Protocol.xls # Berechnung der Verteilung des Contig Leftovers cd .. grep 'length=' BlastpContig/Blast-NoHit-Contigs.fna | tr -s [:blank:] " " | cut -d " " -f2 | cut -d "=" -f2 > tmp/NoHit-Contigs_length.txt (while read line ; do Readdistribution1 $line & done < tmp/NoHit-Contigs_length.txt ; wait) datasize=`grep -c '^>' BlastpContig/Blast-NoHit-Contigs.fna` ; Readdistribution2 if [[ $tool == main ]] # separat ohne Metagenomanalyse ausgefhrt then echo -ne "\nSizedistribution: <50 51-100 101-150 151-200" >> $zielordner/FA_Result-Protocol.txt echo -ne "\nSizedistribution:\t<50\t51-100\t101-150\t151-200\t" >> $zielordner/FA_Result-Protocol.xls echo -e " 201-250 251-300 301-350 351-400 401-450 451-500 >500" >> $zielordner/FA_Result-Protocol.txt echo -e "201-250\t251-300\t301-350\t351-400\t401-450\t451-500\t>500" >> $zielordner/FA_Result-Protocol.xls printf " Contigs left absolute %5s %7s %8s %8s %8s %8s %8s %8s %8s %8s %5s \n\n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk >> $zielordner/FA_Result-Protocol.txt echo -e " Contigs left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk\n" >> $zielordner/FA_Result-Protocol.xls else # wenn im Anschluss an RIEMS durchgefhrt sed "s/Contigs left absolute No data avaliable/`printf "Contigs left absolute %10s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk`/g" $zielordner/FA_Result-Protocol-2.txt > $arbeitsvz/Result-Protocol_${projektname}.txt sed "s/Contigs left absolute\tNo data avaliable/`echo -e "Contigs left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk"`/g" $zielordner/FA_Result-Protocol-2.xls > $arbeitsvz/Result-Protocol_${projektname}.xls fi else # wenn alle Contigs zugeordnet werden konnten if [[ $tool == main ]] # separat ohne Metagenomanalyse ausgefhrt then echo -e "\nLeftover:\t0 Contigs\n\n" >> $zielordner/FA_Result-Protocol.txt echo -e "\nLeftover:\t0 Contigs\n\n" >> $zielordner/FA_Result-Protocol.xls else ma=0; mb=0; mc=0; md=0; me=0; mf=0; mg=0; mh=0; mi=0; mj=0; mk=0 sed "s/Contigs left absolute No data avaliable/`printf "Contigs left absolute %10s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk`/g" $zielordner/FA_Result-Protocol-2.txt > $arbeitsvz/Result-Protocol_${projektname}.txt sed "s/Contigs left absolute\tNo data avaliable/`echo -e "Contigs left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk"`/g" $zielordner/FA_Result-Protocol-2.xls > $arbeitsvz/Result-Protocol_${projektname}.xls fi fi cd $zielordner ; rm -r tmp else # wenn Contigdatei aus Metagenomanalyse leer if [[ $tool == main ]] # separat ohne Metagenomanalyse ausgefhrt then echo -e "\nLeftover:\t0 Contigs\n\n" >> $zielordner/FA_Result-Protocol.txt echo -e "\nLeftover:\t0 Contigs\n\n" >> $zielordner/FA_Result-Protocol.xls else ma=0; mb=0; mc=0; md=0; me=0; mf=0; mg=0; mh=0; mi=0; mj=0; mk=0 sed "s/Contigs left absolute No data avaliable/`printf "Contigs left absolute %10s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk`/g" $zielordner/FA_Result-Protocol-2.txt > $arbeitsvz/Result-Protocol_${projektname}.txt sed "s/Contigs left absolute\tNo data avaliable/`echo -e "Contigs left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk"`/g" $zielordner/FA_Result-Protocol-2.xls > $arbeitsvz/Result-Protocol_${projektname}.xls fi fi;; esac rm Blast-Result-Protocol.txt 2>/dev/null ; rm AllBlastHits.txt 2>/dev/null ; rm test* 2>/dev/null #; rm tmp* 2>/dev/null echo "completed." done rm $zielordner/FA_Result-Protocol-* 2>/dev/null rm Rest.fna 2>/dev/null if [[ $tool == main ]] ; then echo -e "\n --- FURTHER ANALYSIS FINISHED --- `date`\n" ; fi Mapping.sh00007550000007501612476374242015036 0ustar dirk.hoeperdomänen-benutzer# Mapping.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash #################################################################### Voreinstellungen #################################################################### . ~/RIEMS/Config.txt # <- Path of config file (unchanged) query=${arbeitsvz}/Ausgangsdateien/Trimmed.fna # Default Einstellung fr die Anfrage referenz=$refseqdir/TID-${tid}_*.fna # Default Einstellung fr die Referenz ziel=${arbeitsvz}/TID-${tid}_`grep "^\<$tid\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-" | tr -d [=\'=],[=\(=],[=\)=],[=\[=],[=\]=] | tr -s [=\/=] "."` # ~/tmp/GS-Lauf_2011_01_31_RL11_Lib73-10/TID-9606_Homo-sapiens zielordner=${ziel}/MappingFiles # Default Einstellung fr den zielordner orginalfile=$file while getopts i:r:o: opt 2>/dev/null ; do # Def. aller mglichen Parameter in der Komandozeile case ${opt} in # Zuordnung der Parameter i) query=$OPTARG # Anfrage tid=0;; # Fremduseridentifizierung r) referenz=$OPTARG # Referenz file referenzsave=$OPTARG;; # da 'referenz' spter berschrieben wird o) z=$OPTARG # zielordner des Users ziel=${z}/Mapping # zielordner des Users + Mapping Ordner zielordner=${ziel}/MappingFiles # Extra MappingOrdner im User Zielordner if [ -d ${ziel} ] ; then # Falls schon ein Mapping Folder im Ziel dir ex. echo -e "\nThere is already a Folder named 'Mapping' in your current output directory." echo -e "Please delete or rename this Folder and start the analysis again.\n" exit # Userinfo auf dem Bildschirm und Programmabruch fi;; *) # fr den Fall einer falschen Parametereingabe erfolgt eine Erluterung echo echo "This tool starts a Mapping and then creates .txt files for each Read assignment status including all Read accessions and a result protocol." echo "-i obligatory: Enter complete query file path (.sff)" echo "-r obligatory: Enter complete reference file path (.fna or .fasta)" echo "-o obligatory: Enter target folder for the output" echo ; exit;; # und exit: sofortiger Abbruch des Programms esac done if [ $# -lt 2 ] ; then # fr den Fall keiner Parameterspezifizierung; normalerweise Fehlermeldung, echo echo "This tool starts a Mapping and then creates .txt files for each Read assignment status including all Read accessions and a result protocol." echo "-i obligatory: Enter complete query file path (.fna, .fasta, or .sff)" echo "-r obligatory: Enter complete reference file path (.fna or .fasta)" echo "-o obligatory: Enter target folder for the output" echo ; exit fi ####################################################################### Functions ######################################################################## function Viralextraction() { while read line ; do # Scanne sie anhand der Accnos und touch tmp-`basename $datei` # leere Datei erstellen um Fehlerausgabe grep -w "$line" $datei >> tmp-`basename $datei` # zu vermeiden diff $datei tmp-`basename $datei` | grep '<' | cut -d " " -f2 > Results/`basename $datei` # schreibe alle anderen Accnos in den Results-Ordner done < Results/Viral-Accnos.txt } ######################################################################## Mapping ######################################################################### InitialQuery=$query file=${query/*./} mkdir -p ${ziel}/MappingFiles organism=`basename $referenz` echo -ne "\nRunning Mapping vs ${organism}... " ; date if [ $tid == 0 ] then ${gsflxdir}/runMapping -force -n -np -ud -cpu $threads -no -o $zielordner $referenz $query #then runMapping -force -ud -cpu $threads -n -no -o $zielordner $referenz $query else ${gsflxdir}/runMapping -force -n -np -ud -cpu $threads -tr -no -o $zielordner -fe ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt $referenz $query if [ -e $zielordner/454TrimmedReads.fastq ] then ${embossdir}/seqret -sequence $zielordner/454TrimmedReads.fastq -snucleotide -sformat fastq -outseq $zielordner/454TrimmedReads.fna fi #else runMapping -force -ud -cpu $threads -n -np -tr -no -o $zielordner -fe ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt $referenz $query #mv $zielordner/454TrimmedReads.fna ${arbeitsvz}/Ausgangsdateien/Trimmed.fna # | noch nicht sicher ob ichs brauch. Theoretisch sollten sich #mv $zielordner/454TrimmedReads.qual ${arbeitsvz}/Ausgangsdateien/Trimmed.qual # V die Dateien nach jedem Mapping nicht ndern fi mkdir ${zielordner}/Results mkdir ${zielordner}/DB if [ $tid != 0 ] ; then mkdir -p ${arbeitsvz}/DB ln -s $referenz ${arbeitsvz}/DB/`basename $referenz` fi ReadsGesamt=`grep 'inputFileNumReads' $zielordner/454NewblerMetrics.txt | tr -s [:blank:] " " | cut -d " " -f4 | cut -d ";" -f1` ####################################################### Erstellen der Fasta Files aus den Mapping Ergebnissen ############################################ cd $zielordner echo -n "Data analysis and Read accession assignments... " if [ -s 454ReadStatus.txt ] then z=`wc -l < 454ReadStatus.txt` MapUsedReads=$(($z-2)) else MapUsedReads=$ReadsGesamt fi if grep -q "Full" 454ReadStatus.txt then grep Full 454ReadStatus.txt | tr -s [:blank:] " " | cut -d " " -f3 > sff/Full-Mapped_Accnos.txt else touch Results/Full-Mapped_Accnos.txt ; Full=0 fi if grep -q "Repeat" 454ReadStatus.txt then grep Repeat 454ReadStatus.txt | tr -s [:blank:] " " | cut -d " " -f3 > sff/Repeat-Mapped_Accnos.txt else touch Results/Repeat-Mapped_Accnos.txt ; Repeat=0 fi if grep -q "Chimeric" 454ReadStatus.txt then grep Chimeric 454ReadStatus.txt | tr -s [:blank:] " " | cut -d " " -f3 > sff/Chimeric-Mapped_Accnos.txt else touch Results/Chimeric-Mapped_Accnos.txt ; Chimeric=0 fi if grep -q "Unmapped" 454ReadStatus.txt || grep -q "Singleton" 454ReadStatus.txt then grep Unmapped 454ReadStatus.txt | tr -s [:blank:] " " | cut -d " " -f3 > sff/Unmapped_Accnos.txt grep Singleton 454ReadStatus.txt | tr -s [:blank:] " " | cut -d " " -f3 >> sff/Unmapped_Accnos.txt elif ! [ -s 454ReadStatus.txt ] ; then grep '^>' $query | cut -d " " -f1 | cut -d ">" -f2 > sff/Unmapped_Accnos.txt else touch Results/Unmapped_Accnos.txt ; Unmapped=0 fi if [ -s ${arbeitsvz}/Ausgangsdateien/TooShort_Accnos.txt ] # | ? then TooShort=`wc -l < ${arbeitsvz}/Ausgangsdateien/TooShort_Accnos.txt` # | ? else TooShort=0 # | ? touch Results/TooShort_Accnos.txt # | ? touch Results/TooShort_BlastHit-Accnos.txt # | ? touch Results/TooShort_BlastNoHit-Accnos.txt # | ? fi # V ? if grep -q "TooShort" 454ReadStatus.txt ; then grep TooShort 454ReadStatus.txt | tr -s [:blank:] " " | cut -d " " -f3 > sff/TooShort_Accnos.txt fi if grep -q "Partial" 454ReadStatus.txt then grep Partial 454ReadStatus.txt | tr -s [:blank:] " " | cut -d " " -f3,4 > sff/Partial-Mapped_Accnos.txt grep 9.$ sff/Partial-Mapped_Accnos.txt | cut -d " " -f1 > sff/Partial90+_Accnos.txt 2>/dev/null grep -v 9.$ sff/Partial-Mapped_Accnos.txt | cut -d " " -f1 > sff/Partial10-89_Accnos.txt 2>/dev/null else Partial=0 ; Partial90=0 ; Partial10bis89=0 touch Results/Partial-Mapped_Accnos.txt ; touch Results/Partial90+_Accnos.txt touch Results/Partial10-89_Accnos.txt ; touch Results/Partial10-89_BlastHit-Accnos.txt ; touch Results/Partial10-89_BlastNoHit-Accnos.txt fi # Bestimmung aller loq quality reads, die aus unerfindlichem Grund nicht mit ins Mapping mit aufgenommen werden echo -ne "\nExtracting unused low quality Reads... " if (( $ReadsGesamt > $MapUsedReads )) then ((lq=$ReadsGesamt-$MapUsedReads)) grep -v 'Read' 454ReadStatus.txt | grep -v 'Accno' | cut -f3 | sort > 454ReadStatus-Accnos.txt # nur Accnos aus 454ReadStatus.txt grep -v 'Accno' 454TrimStatus.txt | cut -f2 | sort > 454TrimStatus-Accnos.txt # nur Accnos aus 454TrimStatus.txt diff 454TrimStatus-Accnos.txt 454ReadStatus-Accnos.txt | grep '<' | cut -d " " -f2 > Results/Unused-Accnos.txt if [ $tid != 0 ] ; then $gsflxdir/fnafile -i Results/Unused-Accnos.txt -o lowquality-reads.fna $InitialQuery 1>/dev/null cat lowquality-reads.fna >> ${arbeitsvz}/Ausgangsdateien/lowquality-reads.fna fi else lq=0 fi ################################################################## Erstellen der Blast Datenbank ######################################################### if [ -s sff/Partial10-89_Accnos.txt ] || [ -s sff/TooShort_Accnos.txt ] then echo -e "\nRunning Blast" ; echo -n "Creating Blast database... " infilesize=`du -sbL $referenz | cut -f1` # Bestimmung der Dateigre in Byte dbsize=`echo "$infilesize*0.26*(1/${threads})/1" | bc` # Verteilung der DBGre auf alle Kerne ref=${zielordner}/DB/DB.fna # neue ref: .../DB.fna $blastdir/makeblastdb -dbtype nucl -in $referenz -out $ref -max_file_sz $dbsize 1>/dev/null # Befehl zur Erstellung der Datenbank if [[ $parblast == y ]] ; then blastvek=(map 0 tax 0 par) ; else blastvek=(map 0 tax 0 0) ; fi # partial Blast oder nicht referenz=$ref ; ntblast=megablast # alte referenz: .../*TID:${tid}.fna -> neuen else ln -s $referenz ${arbeitsvz}/DB/`basename $referenz` 2>/dev/null # ln -s: Link -> DB/... fr sptere Analyse fi #################################################################### Blast Vorbereitung ################################################################## # nur relevant, wenn Mapping als Haupttool ausgefhrt wird if [ $tid == 0 ] ; then # Initialisierung Mapping als Haupttool mkdir $zielordner/Ausgangsdateien # Ordner ex. nicht, wird aber beim Blast bentigt arbeitsvz=$zielordner # arbeitsvz ex. ebenfalls nicht if [ $file == sff ] # im Fall eines sff-files then $gsflxdir/sffinfo -s $query > ${arbeitsvz}/Ausgangsdateien/trimmed.fna # muss daraus noch eine fna-Datei prozessiert werden else cp $query ${arbeitsvz}/Ausgangsdateien/trimmed.fna # ansonsten wird die Ausgangsdatei nur kopiert fi fi ############################################################################ Blast ####################################################################### if [ -s sff/Partial10-89_Accnos.txt ] then $gsflxdir/fnafile -o Partial10-89Reads.fna -i sff/Partial10-89_Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna 1>/dev/null query=${zielordner}/Partial10-89Reads.fna # | Eingaben fr das blastordner=${zielordner}/Blast # V Blastunterprogramm echo -ne "\nMegablast Partial <90% Mapped Reads... " . $installdir/Blast.sh # Blast tool Aufruf cd $zielordner # damit nach dem Blast wieder im richtigen Zielo. diff Blast/Blast-Hit-Accnos.txt Blast/Blast-PartialNoHit-Accnos.txt | grep '<' | cut -d " " -f2 > sff/Partial10-89_BlastHit-Accnos.txt # | grep '<' | cut -d " " -f2: wegen blder diff Ausgabe cat Blast/Blast-PartialNoHit-Accnos.txt Blast/Blast-NoHit-Accnos.txt > sff/Partial10-89_BlastNoHit-Accnos.txt mv Blast/Blast-Hits.xls Results/Blast-Partial10-89-Hits.xls # nicht 100%ig richtig, da immer noch virale Seq. darin enth. sein knnten! mv Blast/Complete+Partial-Hits.txt Results/Complete+Partial-Hits.xls 2>/dev/null rm -r Blast else echo -e "\nNo Partial <90% Mapped Reads available" touch Results/Partial10-89_BlastHit-Accnos.txt touch Results/Partial10-89_BlastNoHit-Accnos.txt fi if [ -s sff/TooShort_Accnos.txt ] then $gsflxdir/fnafile -o TooShort_Reads.fna -i sff/TooShort_Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna 1>/dev/null query=${zielordner}/TooShort_Reads.fna blastordner=${zielordner}/Blast echo -n "Megablast TooShort Reads... " . $installdir/Blast.sh cd $zielordner mv Blast/Blast-Hits.xls Results/Blast-TooShort-Hits.xls # nicht 100%ig richtig, da immer noch virale Seq. darin enth. sein knnten! cp Blast/Blast-Hit-Accnos.txt sff/TooShort_BlastHit-Accnos.txt cp Blast/Blast-NoHit-Accnos.txt sff/TooShort_BlastNoHit-Accnos.txt else echo "No TooShort Reads available" fi ######################################################################### Viren Scanner ################################################################## if [ $tid != 0 ] && [ -s 454ReadStatus.txt ] then grep "^\<${tid}\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-line.txt # tid-line.txt: 9606 | 9605 | species | HS | 5 | 1 | .... until cut -f1 tid-line.txt | grep -q '\(\<2759\>\|\<1\>\)' ; do # mache bis du '2579' o. '1(root)' greppen kannst eukaryot=`cut -f3 tid-line.txt` # 3. Spalte ausschneiden (9605) = 'famtax' grep "^\<$eukaryot\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-line.txt # suche (9605) in der 1. Spalte und berschreibe tid-line.txt done if [ $eukaryot == 2759 ] && [ -s $fasttaxid/TID-10239_Viridae.fna-DB.nhr ] ; then echo -e "Eucaryot detected... Starting viral screening! " cat sff/Full-Mapped_Accnos.txt sff/Repeat-Mapped_Accnos.txt sff/Partial10-89_BlastHit-Accnos.txt > sff/Hit-Accnos.txt 2>/dev/null cat sff/Chimeric-Mapped_Accnos.txt sff/Partial90+_Accnos.txt sff/TooShort_BlastHit-Accnos.txt >> sff/Hit-Accnos.txt 2>/dev/null $gsflxdir/fnafile -o MapHits.fna -i sff/Hit-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna 1>/dev/null ; rm sff/Hit-Accnos.txt 2>/dev/null if [ -s MapHits.fna ] then echo -n "First, Megablast Hits vs Viridae... " blastvek=(map 0 retro 0 0) ; ntblast=megablast # | Parametereinstellungen fr query=${zielordner}/MapHits.fna ; blastordner=${zielordner}/Blast # | das Unterprogramm referenz=$fasttaxid/TID-10239_Viridae.fna-DB # | SP_Blast.sh (1. Scan aller Hits gegen die Virendb) . $installdir/Blast.sh 1>/dev/null # V Aufruf cd ${zielordner} # ~/.../TID-89462_Bubalus-bubalis/MappingFiles if grep -q '\<10239\>$' Blast/Blast-Hits.xls then echo -n "Second, E-Value Comparison... " grep '\<10239\>$' Blast/Blast-Hits.xls | cut -f1 | sort | uniq > Viral-Accnos.txt # alle Virus Hit-Accnos $gsflxdir/fnafile -o PotViral-Reads.fna -i Viral-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna 1>/dev/null grep '\<10239\>$' Blast/Blast-Hits.xls | cut -f2 | cut -d "|" -f2 | sort | uniq > Viral-GIs.txt # alle Virus GIs gilist=$zielordner/Viral-GIs.txt # | Parametereinstellungen fr zieldatei=$zielordner/Viral-GI-Sequenzen.fna # | das Unterprogramm arbeitsvzGI=$zielordner/tmp # | SP_Multi-Gi-Sequenzisolation.sh . $installdir/Multi-Gi-Sequenzisolation.sh 1>/dev/null # V Aufruf cat $refseqdir/TID-${tid}_*.fna >> $zielordner/Viral-GI-Sequenzen.fna referenz=$zielordner/Viral-GI-Sequenzen.fna infilesize=`du -sbL $referenz | cut -f1` # Bestimmung der Dateigre in Byte dbsize=`echo "$infilesize*0.26*(1/${threads})/1" | bc` # Verteilung der DBGre auf alle Kerne ref=${zielordner}/DB/DB.fna # neue ref: .../DB.fna $blastdir/makeblastdb -dbtype nucl -in $referenz -out $ref -max_file_sz $dbsize 1>/dev/null # Befehl zur Erstellung der Datenbank blastvek=(map 0 tax 0 0) referenz=$ref ; ntblast=megablast # alte referenz: .../*TID:${tid}.fna -> neuen query=${zielordner}/PotViral-Reads.fna . $installdir/Blast.sh 1>/dev/null cd ${zielordner} if grep -q '\<10239\>$' Blast/Blast-Hits.xls # 3. Instanz: Megablast PotHits vs NtDb then echo -n "Third, Hit Verification... " cat Blast/TaxID-*.fna > PotViral-Reads.fna 2>/dev/null # alle pot. Reads werden zu neuen Query blastvek=(0 0 retro 0 0) ; ntblast=megablast # | Parametereinstellungen fr query=${zielordner}/PotViral-Reads.fna ; referenz=/home/blast_db/ncbi/nt # | das Unterprogramm . $installdir/Blast.sh 1>/dev/null # V SP_Blast.sh cd ${zielordner} echo "completed." else echo "No hits detected." fi else echo "No hits detected." fi else echo "No hits detected." fi # Eleminierung der viral zugeordneten Reads aus den bisherigen Accno-Listen if grep -q '\<10239\>$' Blast/Blast-Hits.xls 2>/dev/null # wenn in letzter Blast Ergebnisdatei Viren ex then head -2 Blast/Blast-Hits.xls > Results/Blast-Retro-Hits.xls # Header + Newline in neue Datei schreiben grep '\<10239\>$' Blast/Blast-Hits.xls >> Results/Blast-Retro-Hits.xls # dazu einmal alle VirenReads grep '\<10239\>$' Blast/Blast-Hits.xls | cut -f1 | tr -d " " > Results/Viral-Accnos.txt # und das andere Mal nur die Accnos (for datei in sff/*Accnos.txt ; do # fr jede der Accno Dateien mache folgendes Viralextraction $datei & done ; wait) (for datei in Blast/TaxID-*.fna ; do cp $datei Results/`basename $datei` ; done & wait) # cp der viralen fasta Dateien ins Ergebnis else (for datei in sff/*Accnos.txt ; do cp $datei Results/`basename $datei` ; done & wait) fi else cd $zielordner ; (for datei in sff/*Accnos.txt ; do cp $datei Results/`basename $datei` ; done & wait) fi else cd $zielordner ; (for datei in sff/*Accnos.txt ; do cp $datei Results/`basename $datei` ; done & wait) fi # Entfernen von Virus Accnos aus den Excel Listen vom Blast der Partial- und der TooShort Reads #if [ -s Results/Blast-Retro-Hits.xls ] && `cut -f10 Results/Blast-Retro-Hits.xls | grep -q '10239'` ; then # if `grep -q '10239$' Results/Blast-Partial10-89-Hits.xls` ; then # grep 'gi|NoHit' Results/Blast-Partial10-89-Hits.xls > tmp-gi_Blast-Partial10-89-Hits.txt # head -2 Results/Blast-Partial10-89-Hits.xls > tmp-head_Blast-Partial10-89-Hits.txt # (while read line ; do # if ! `echo $line | grep -q '10239$'` ; then echo $line | tr -s [:blank:] "\t" >> tmp-retro.txt ; fi # done < tmp-gi_Blast-Partial10-89-Hits.txt & wait) # cat tmp-head_Blast-Partial10-89-Hits.txt `sort tmp-retro.txt | tr -s [:blank:] "\t"` > Results/Blast-Partial10-89-Hits.xls # rm tmp-*.txt 2>/dev/null # fi # if `grep -q '10239$' Results/Blast-TooShort-Hits.xls` ; then # head -2 Results/Blast-Partial10-89-Hits.xls > tmp-head_Blast-TooShort-Hits.txt # grep 'gi|NoHit' Results/Blast-Partial10-89-Hits.xls > tmp-gi_Blast-TooShort-Hits.txt # (while read line ; do # if ! `echo $line | grep -q '10239$'` ; then echo $line >> tmp-retro.txt ; fi # done < tmp-gi_Blast-TooShort-Hits.txt & wait) # cat tmp-head_Blast-TooShort-Hits.txt `sort tmp-retro.txt | tr -s [:blank:] "\t"` > Results/Blast-TooShort-Hits.xls # rm tmp-*.txt 2>/dev/null # fi #fi ########################################################################### Protokoll #################################################################### echo -n "Data collecting... " if [ -s Results/Blast-Retro-Hits.xls ] ; then retro=`grep 'gi|' Results/Blast-Retro-Hits.xls | wc -l` ; else retro=0 ; fi Full=`wc -l < Results/Full-Mapped_Accnos.txt` Repeat=`wc -l < Results/Repeat-Mapped_Accnos.txt` Chimeric=`wc -l < Results/Chimeric-Mapped_Accnos.txt` Partial=`wc -l < Results/Partial-Mapped_Accnos.txt` Partial90=`wc -l < Results/Partial90+_Accnos.txt` Partial10bis89=`wc -l < Results/Partial10-89_Accnos.txt` Partial10bis89BlastHits=`wc -l < Results/Partial10-89_BlastHit-Accnos.txt` TooShort=`wc -l < Results/TooShort_Accnos.txt` TooShortHits=`wc -l < Results/TooShort_BlastHit-Accnos.txt` Unmapped=`wc -l < Results/Unmapped_Accnos.txt` GesamtMapped=$(($Full+$Repeat+$Chimeric+$Partial90+$retro)) echo -n "$GesamtMapped of $ReadsGesamt Reads mapped to ${organism}, " >> Results/Protocol.txt echo -e "$(($Partial10bis89BlastHits+$TooShortHits)) were additionally assigned by Megablast, " >> Results/Protocol.txt echo -n "$lq low quality Reads were excluded from the outset " >> Results/Protocol.txt echo -e "and $(($ReadsGesamt-$GesamtMapped-$Partial10bis89BlastHits-$TooShortHits-$lq)) Reads remained unaligned." >> Results/Protocol.txt echo -e "Subdivision...\n" >> Results/Protocol.txt echo "Full mapped Reads ${Full}" >> Results/Protocol.txt echo "Repeat mapped Reads ${Repeat}" >> Results/Protocol.txt echo "Chimeric mapped Reads ${Chimeric}" >> Results/Protocol.txt echo "Partial mapped Reads ${Partial}" >> Results/Protocol.txt echo " >90% match ${Partial90}" >> Results/Protocol.txt echo " <90% match ${Partial10bis89}" >> Results/Protocol.txt echo " Megablast Hits ${Partial10bis89BlastHits}" >> Results/Protocol.txt echo "TooShort Reads ${TooShort}" >> Results/Protocol.txt echo " Megablast Hits ${TooShortHits}" >> Results/Protocol.txt echo -e "Unmapped Reads ${Unmapped}" >> Results/Protocol.txt # Ermitteln der Family- und Superkingdom Taxonomy-ID, wenn tool von einer main bash ausgefhrt wird if [ $tid != 0 ] ; then echo -e "\nSuperkingdom Tax-ID\n Family Tax-ID" >> Results/Protocol.txt echo -e " Taxonomy-ID Count \tScientific name\n" >> Results/Protocol.txt famtax=$tid # falls $rank schon alte tax-id ist grep "^\<${tid}\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-line-save.txt # zur Sicherheit falls rank = NA grep "^\<${tid}\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-line.txt # tid-line.txt: 9606 | 9605 | species | HS | 5 | 1 | .... if ! grep -q '\' tid-line.txt ; then # wenn du 'family' in deiner tax noch nicht greppen kannst until grep -q '\' tid-line.txt || grep -q "\<1\>" tid-line.txt ; do # mache bis du 'family' greppen kannst oder die 1 (root) famtax=`cut -f3 tid-line.txt` # 3. Spalte ausschneiden (9605) = 'famtax' grep "^\<$famtax\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-line.txt # suche (9605) in der 1. Spalte und berschreibe tid-line.txt done # bei zB. synthtic contructs ex. keine falily rank, ergo endet er fi # irgendwann im root verzeichnis if grep -q "\<1\>" tid-line.txt ; then # wenn family nich existiert dh. NA famtax=NA # muss liste frs superkingdom von vorn durchgearbeitet mv -f tid-line-save.txt tid-line.txt # werden, da sonst auch superkingdom = 1 (eventuell falsch) fi # Bsp. Tax-ID 77133 Uncultured Bacterium sktax=0 ; sktaxneu=1 # ermitteln des superkindom ranks until grep -q "superkingdom" tid-line.txt || (( $sktax == $sktaxneu )) ; do # do... bis du 'superkingdom' greppen kannst, oder beide sk id. sktax=`cut -f3 tid-line.txt` # 3. Spalte ausschneiden (9605) = 'sktax' grep "^\<$sktax\>" ${taxdir}/nodes.dmp | cut -f 1-5 > tid-line.txt # suche (9605) in der 1. Spalte und berschreibe tmp.txt sktaxneu=`cut -f3 tid-line.txt` # im root verzeichnis ist irgendwann alte tax = neue tax = 1 done # dann ebenfalls stopp, sonst endlosschleife if [ $famtax == NA ] ; then famtax=`echo $famtax-$sktax` ; fi # um NA eindeutig zum sktax zu machen ; NA-1 rm tid*.txt echo -e "$sktax \t\t\t$GesamtMapped \t`grep "^\<$sktax\>" ${taxdir}/names.dmp | grep '\' | cut -f3`" >> Results/Protocol.txt echo -e " $famtax \t\t$GesamtMapped \t `grep "^\<${famtax}\>" ${taxdir}/names.dmp | grep '\' | cut -f3`" >> Results/Protocol.txt echo -e " $tid \t\t$GesamtMapped \t `grep "^\<${tid}\>" ${taxdir}/names.dmp | grep '\' | cut -f3`\n" >> Results/Protocol.txt fi # Test auf eine 0er Zeile (Fehler, der ab und zu unerwartet auftritt) if grep '\<0\>' Results/Protocol.txt | tr -d [:blank:] | grep -q '\<0\>' ; then # wenn die 0 eigenstndig irgendwo auftritt row=`grep -n '\<0\>' Results/Protocol.txt | tr -d [:blank:] | grep '\<0\>' | cut -d ":" -f1` # row: Zeilennr, in der der Fehler auftritt # erst alle zeilen greppen in der die null als eigenstndige regexp vorkommt, dann alle leerzeichen entfernen, so dass zeilen in denen mehr # als nur die 0 steht, diese jetzt nicht mehr allein steht und mit dem vorherigen Befehl erneut gegreppt werden kann sed "${row}d" Results/Protocol.txt > tmp.txt # entsprechende zeile 'row' wird entfernt rm Results/Protocol.txt ; mv -f tmp.txt Results/Protocol.txt # und neues Protocol wird zum alten ohne 0 fi # Einfgen der Viren Datenanalyse in das Protocol.txt if [[ $eukaryot == 2759 ]] ; then # wenn gegen Eukaryot gemapped wurde, dann echo -n "Therein included viral Reads... " >> Results/Protocol.txt # entsprechende Info in die Datei if grep -q 'Viruses' Blast/Result-Protocol.txt 2>/dev/null # wenn was beim retrovirenscan gefunden then echo -e "\n\n`sed -n '/Viruses/,//p' Blast/Result-Protocol.txt`" >> Results/Protocol.txt # wird entspr. teil aus der Blast Datei cp. else echo "no such sequences detected." >> Results/Protocol.txt # wenn nich, kurze info in die datei fi fi echo -e "\n" >> Results/Protocol.txt mv Results/* $ziel cd .. ; rm -r MappingFiles if [ tid == 0 ] ; then mv sff/* $zielordner ; fi rm -r sff 2>/dev/null ; rm -r DB 2>/dev/null echo -e "\n\n$GesamtMapped of $ReadsGesamt Reads mapped to ${organism}," echo -ne "$(($Partial10bis89BlastHits+$TooShortHits)) were additionally assigned by Megablast, " echo -ne "$lq low quality Reads were excluded from the outset " echo -e "and $(($ReadsGesamt-$GesamtMapped-$Partial10bis89BlastHits-$TooShortHits-$lq)) Reads remained unaligned.\n"MegaBlast-Contigs-Reads.sh00007440000002546512470377127017742 0ustar dirk.hoeperdomänen-benutzer# MegaBlast-Contigs-Reads.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash . ~/RIEMS/Config.txt # <- Path of config file (unchanged) cd ${arbeitsvz}/MultiBlast # cd: Wechsel ins zuvor definierte Arbeitsverzeichnis/Blast case "$mbcr" in contig) echo -e "\nMEGABLAST of Contigs vs nucleotide database... " # Bildschirminfo + date: aktuelle Datum des Servers cp ${arbeitsvz}/assembly/454AllContigs.fna 454AllContigs.fna # Contig Datei wird ins aktuelle Arbeitsverzeichnis kopiert ${blastdir}/blastn -db $ntdb -num_threads $threads -evalue $evalue -max_target_seqs 1 -out Blast-Hits.txt -query 454AllContigs.fna -outfmt '6 qseqid sseqid' 2>/dev/null # wg. Problemen mit BLAST bei culling_limit entfernt: if ! [ -s Blast-Hits.txt ] ; then rm 454AllContigs.fna echo No hits found! ((rndseqextract=`head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt`+1)) echo "$rndseqextract" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt break fi gesamt=`wc -l < Blast-Hits.txt` ((anteil=100/${gesamt})) 2>/dev/null ; neuanteil=$anteil # 2>/dev/null: falls keine Blast Treffer cut -f2 Blast-Hits.txt 2>/dev/null | cut -d "|" -f2 >> gis.txt while read line ; do echo -ne "\rData processing... $neuanteil% completed" grep "^\<${line}\>" ${taxdir}/gi_taxid_nucl.dmp | cut -f2 >> tid.txt & ((neuanteil=${neuanteil}+${anteil})) done < gis.txt ; wait cat tid.txt 2>/dev/null | sort | uniq > uniq-tids.txt # wenn keine Blast Treffer, dann auch keine tid.txt echo -e "\rData processing... 100% completed" echo -n "Following Tax-IDs found: " while read line ; do echo -n "$line " done < uniq-tids.txt echo ((rndseqextract=`head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt`+1)) echo "$rndseqextract" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt if [ -s uniq-tids.txt ] ; then while read line ; do tid=`echo "$line" | cut -d " " -f1` if grep -q "TID-${tid}" ${arbeitsvz}/AnBlast.txt # evtl tid trotzdem mit >3 in Tax-Count-bigger3.txt then echo "TID ${tid} has been isolated before." #echo rndseqextract3=$rndseqextract #elif (( $tid == 10090 )) || (( $tid == 9606 )) || (( $tid == 77133 )) || (( $tid == 7955 )) # 11320 ist Influenza A; darin nur 2 refs enthalten <- Schwachsinn! #then echo "TID ${tid} will be possibly isolated later." else . ${installdir}/TaxID-Sequenzisolation.sh # starte das Unterprgramm SP_TaxID-Sequenzisolation.sh if ! grep -q "TID-${tid}" ${arbeitsvz}/AnBlast.txt ; then echo "TID-${tid}" >> ${arbeitsvz}/AnBlast.txt # nochmal, da sich tax-id gendert haben knnte . ${installdir}/Mapping.sh # anschlieend das Unterprgramm Me_Mapping.sh echo "0" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt cat Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt # .MappingFiles und mssen eins drber frs Protocol cat Full-Mapped_Accnos.txt Chimeric-Mapped_Accnos.txt Repeat-Mapped_Accnos.txt > Aligned-Accnos.txt 2>/dev/null cat Partial90+_Accnos.txt Partial10-89_BlastHit-Accnos.txt TooShort_BlastHit-Accnos.txt >> Aligned-Accnos.txt 2>/dev/null cat Aligned-Accnos.txt >> ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt 2>/dev/null cat Viral-Accnos.txt >> ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt 2>/dev/null cat Unused-Accnos.txt >> ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt 2>/dev/null if [ -s ${arbeitsvz}/Ausgangsdateien/Orginaldatei-trimmed.sff ] ; then $gsflxdir/sfffile -o ${arbeitsvz}/Ausgangsdateien/Rest.sff -e ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Orginaldatei-trimmed.sff >/dev/null 2>&1 fi rest=`grep -c '^>' ${arbeitsvz}/Ausgangsdateien/Trimmed.fna` if (( $rest == 0 )) ; then # Falls beim letzten Mapping alles zugeordnet wurde, echo -e "All Reads have been assigned!" # Bildschirminfo & break echo -e "Metagenomic analysis finished `date`.\n" ; break fi fi fi done < uniq-tids.txt fi;; read) echo -e "MEGABLAST of random Reads vs nucleotide database... " ${blastdir}/blastn -db $ntdb -num_threads $threads -evalue $evalue -max_target_seqs 1 -out Blast-Hits.txt -query ${arbeitsvz}/Ausgangsdateien/pick.fna -outfmt '6 qseqid sseqid' 2>/dev/null # wg. Problemen mit BLAST bei culling_limit entfernt: if [ -s Blast-Hits.txt ] then gesamt=`wc -l < Blast-Hits.txt` # -c: zhlt alle Zeilen, in denen '>' vorkommt; entspr. # Reads ((anteil=100/${gesamt})) 2>/dev/null ; neuanteil=$anteil # 2>/dev/null: falls keine Blast Treffer cut -f2 Blast-Hits.txt | cut -d "|" -f2 >> gis.txt while read line ; do echo -ne "\rData processing... $neuanteil% completed" grep "^\<${line}\>" ${taxdir}/gi_taxid_nucl.dmp | cut -f2 >> tid.txt & ((neuanteil=${neuanteil}+${anteil})) done < gis.txt ; wait cat tid.txt | sort | uniq > uniq-tids.txt # wenn keine Blast Treffer, dann auch keine tid.txt gesamt=`wc -l < uniq-tids.txt` paste Blast-Hits.txt tid.txt > gis.txt while read line ; do # fr jede Tax-id aus der uniq-tid.txt Datei count=`grep -c "$line" gis.txt` # Anzahl Vorkommen einer Tax-id in den Blast-Hits.txt echo "$line $count" >> Tax-Count.txt done < uniq-tids.txt echo -e "\rData processing... 100% completed" echo -n "Following Tax-IDs found: " # Zhlen der Restreads if [[ $file == sff ]] then restreads=`$gsflxdir/sffinfo -a ${arbeitsvz}/Ausgangsdateien/Rest.sff | wc -l` else restreads=`grep -c '^>' ${arbeitsvz}/Ausgangsdateien/Trimmed.fna` fi # Berechnung der kritischen Grenze if (( $restreads >= 100000 )) ; then krit=2 elif (( $restreads >= 80000 && $restreads < 100000 )) ; then krit=3 elif (( $restreads >= 60000 && $restreads < 80000 )) ; then krit=4 elif (( $restreads >= 40000 && $restreads < 60000 )) ; then krit=5 else krit=6 fi # Extrahieren aller Organismen, die eine bestimmte Trefferanzahl berschreiten if [ -s Tax-Count.txt ] ; then while read line ; do if (( `echo "$line" | cut -d " " -f2` >= $krit )) ; then echo "`echo "$line" | cut -d " " -f1`" >> Tax-Count-bigger10.txt echo -n "`echo "$line" | cut -d " " -f1` " fi done < Tax-Count.txt fi ; echo if [ -s Tax-Count-bigger10.txt ] ; then while read line ; do tid=`echo "$line" | cut -d " " -f1` if grep -q "TID-${tid}" ${arbeitsvz}/AnBlast.txt # evtl tid trotzdem mit >3 in Tax-Count-bigger3.txt then echo "TID ${tid} has been isolated before." else . ${installdir}/TaxID-Sequenzisolation.sh # starte das Unterprgramm TaxID-Sequenzisolation.sh if ! grep -q "TID-${tid}" ${arbeitsvz}/AnBlast.txt ; then echo "TID-${tid}" >> ${arbeitsvz}/AnBlast.txt # nochmal, da sich tax-id gendert haben knnte . ${installdir}/Mapping.sh # anschlieend das Unterprgramm Mapping.sh echo "0" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt cat Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt cat Full-Mapped_Accnos.txt Chimeric-Mapped_Accnos.txt Repeat-Mapped_Accnos.txt > Aligned-Accnos.txt 2>/dev/null cat Partial90+_Accnos.txt Partial10-89_BlastHit-Accnos.txt TooShort_BlastHit-Accnos.txt >> Aligned-Accnos.txt 2>/dev/null cat Aligned-Accnos.txt >> ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt 2>/dev/null cat Viral-Accnos.txt >> ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt 2>/dev/null cat Unused-Accnos.txt >> ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt 2>/dev/null if [ -s ${arbeitsvz}/Ausgangsdateien/Orginaldatei-trimmed.sff ] ; then $gsflxdir/sfffile -o ${arbeitsvz}/Ausgangsdateien/Rest.sff -e ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Orginaldatei-trimmed.sff >/dev/null 2>&1 fi fi fi done < Tax-Count-bigger10.txt ((rndseqextract=`head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt`+1)) echo "$rndseqextract" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt else ((rndseqextract=`head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt`+1)) echo "$rndseqextract" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt fi else echo -e "No hits found.\n" ((rndseqextract=`head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt`+1)) echo "$rndseqextract" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt fi;; esac rm -r ${arbeitsvz}/MultiBlast/* 2>/dev/null Metagenomanalyse.sh00007500000022203312470400125016700 0ustar dirk.hoeperdomänen-benutzer# Metagenomanalyse.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash . ~/RIEMS/Config.txt # <- Path of config file echo -e "\n\n ***************** RIEMS - Reliable Information Extraction of Metagenomic Sequence datasets *****************\n\n" # Benutzerinfo auf Bildschirm echo " Copyright (C) 2009-2015 Matthias Scheuch, Dirk Hoeper" echo " This program comes with ABSOLUTELY NO WARRANTY" echo " This is free software, and you are welcome to redistribute it" echo -e " under certain conditions.\n\n" dataformat=unspecific # Falls Datenformat vom Benutzer nicht spezifiziert wird, dann erfolgt unten die Erkennung anhand der Dateinamenserweiterung while getopts c:v:b:f:d:p:o:i: opt 2>/dev/null ; do # Def. aller mglichen Parameter in der Komandozeile case ${opt} in # Zuordnung der Parameter o) outputordner=$OPTARG;; # Eingabe fr den Zielordner d) dataformat=$OPTARG;; # if using multiple sequence files, input data format must be specified p) projektname=$OPTARG;; # if using multiple sequence files, a name for the output folder must be specified i) pfad=$OPTARG;; # Dateipfad zur Inputdatei inklusive Dateiname f) furtheranalysis=$OPTARG;; # Optional: Further Analysis im Anschluss wenn -f y eingegeben wurde c) copy=$OPTARG;; # if -c y, then copy input file to output folder v) vectrim=$OPTARG;; # wenn apriori Vektor trimming durchgefhrt werden soll b) parblast=$OPTARG;; # wenn auch partielle Sequenzen geblastet werden sollen *) echo " -i obligatory: Specify sequence input file including path" # | Benutzerinfo auf Bildschirm falls unvollstaendiger Programmaufruf echo " If using multiple sequence input files, pls..." # | echo " 1. Specify common dataformat (sff, fastq, fna, fasta, fas, txt, etc.)" # | echo " using \"-d\" option" # | echo " 2. Specify project name containing the output data using \"-p\" option" # | echo " 3. Ensure not to have any \" \" or \",\" characters in your files" # | echo " 4. Files must be seperated using \",\" between" # | echo " -o obligatory: Enter target directory for the output" # | echo " If using multiple input files, the common project name will be added automatically." # | echo " -d optional: Common data format; only specify if using multiple sequence input files" # | echo " (sff, fastq, fna, fasta, fas, txt etc.)" # | echo " -p optional: Project name; only specify if using multiple sequence input files" # | echo " -v optional: specify a vector trimming sequence file." # | echo " -b optional: Further Blast of no hit parts of partial hit sequences (default: no, y)." # | echo " -f optional: Further Analysis performance at the end (default: no, y)" # | echo " -c optional: Copy input file into output directory (default: no, y)" # | echo " (Automatically \"y\" if using multiple sequence input files)" ; echo # | echo " Example1: ../RIEMS/Metagenomanalyse.sh -i path/filename.fna -o outputdir" # | echo " Example2: ../RIEMS/Metagenomanalyse.sh -i path/filename1.fas,path/filename2.fas -o outputdir -d fas -p ProjectX -f y" # | echo ; exit;; # V esac done if [ $# -lt 2 ] ; then # wenn fehlerhafte echo " -i obligatory: Specify input sequence file including path" # Eingabe, dann Abbruch und Benutzerinfo auf Bildschirm echo " If using multiple sequence input files, pls..." # | echo " 1. Specify common dataformat (sff, fastq, fna, fasta, fas, txt, etc.)" # | echo " using \"-d\" option" # | echo " 2. Specify project name containing the output data using \"-p\" option" # | echo " 3. Ensure not to have any \" \" or \",\" characters in your files" # | echo " 4. Files must be seperated using \",\" between" # | echo " -o obligatory: Enter target directory for the output" # | echo " If using multiple input files, the common project name will be added automatically." # | echo " -d optional: Common data format; only specify if using multiple sequence input files" # | echo " (sff, fastq, fna, fasta, fas, txt etc.)" # | echo " -p optional: Project name; only specify if using multiple sequence input files" # | echo " -v optional: specify a vector trimming sequence file." # | echo " -b optional: Further Blast of no hit parts of partial hit sequences (default: no, y)." # | echo " -f optional: Further Analysis performance at the end (default: no, y)" # | echo " -c optional: Copy input file into output directory (default: no, y)" # | echo " (Automatically \"y\" if using multiple sequence input files)" ; echo # | echo " Example1: ../RIEMS/Metagenomanalyse.sh -i path/filename.fna -o outputdir" # | echo " Example2: ../RIEMS/Metagenomanalyse.sh -d fas -i path/filename1.fas,path/filename2.fas -o outputdir -p ProjectX -f y" # | echo ; exit # V fi ################################################################# Parameterdefinitionen ################################################################## # Erstellen aller relevanten Verzeichnisse und Dateien echo -n " Preparing files and directories... " # Benutzerinfo ausgeben if [ $dataformat == unspecific ] # Pruefung ob Datenformat spezifiziert wurde then file=${pfad/*./} # wenn NICHT spezifiziert, dann Dateinamen ohne Verzeichnispfad und Erweiterung ermitteln projektname=`basename ${pfad} .$file` # Projektnamen definieren aus Namen der Inputdatei (ohne Verz.-pfad und Erweiterung) arbeitsvz=${outputordner}/${projektname} # Def. des Arbeitzverzeichnisses else file=$dataformat # wenn Datenformat mit -d spezifiziert wurde, dann Datenformat aus $dataformat uebernehmen arbeitsvz=${outputordner}/${projektname} # Arbeitsverzeichnis aus -o und -p definieren fi if [ -d $arbeitsvz ] ; then # wenn Arbeitsverzeichnis bereits existiert echo -e "\n\nThere is already a Folder named '${arbeitsvz}' in your current output directory." # Benutzerinfo ausgeben und Programm beenden echo -e "Please delete or rename this Folder and start the analysis again.\n" ; exit fi mkdir -p ${arbeitsvz}/Ausgangsdateien # ArbVerz und Unterverzeichnis Ausgangsdateien erstellen if ! [ -z $vectrim ] ; then cp $vectrim ${arbeitsvz}/Trimfile.txt ; fi # wenn Vektortrimming gewaehlt wurde, dann Trimmingdatabase kopieren if [ $dataformat == unspecific ] ; then file=${pfad/*./} # wenn Datenformat nicht spezifiziert wurde ln -s ${pfad} ${arbeitsvz}/Ausgangsdateien/Orginaldatei.$file # ?? Verlinkung der Ausgangsdatei als Alignmentreferenz ?? elif [ $dataformat == sff ] ; then file=$dataformat # wenn Datenformat mit -d spezifiziert als sff und mehrere Inputdateien pfad2=($(echo $pfad | tr -s "," " ")) # Uebertragung der ","-getrennten Dateinamen in Vektor pfad2 for i in ${pfad2[*]}; do $gsflxdir/sffinfo -a $i >> $arbeitsvz/tmp.txt ; done # Ermittlung der Readaccessions aller Reads aller sff-Dateien $gsflxdir/sfffile -o ${arbeitsvz}/${projektname}.$file -i $arbeitsvz/tmp.txt ${pfad2[*]} 1>/dev/null # kombinieren aller sff-Dateien in eine einzelne sff-Datei rm $arbeitsvz/tmp.txt # Liste der zuvor ermittelten Readaccessions loeschen ln -s ${arbeitsvz}/${projektname}.$file ${arbeitsvz}/Ausgangsdateien/Orginaldatei.$file # Verlinkung der Ausgangsdatei als Alignmentreferenz else # Datenformat mit -d spezifiziert und nicht sff pfad2=($(echo $pfad | tr -s "," " ")) # Uebertragung der ","-getrennten Dateinamen in Vektor pfad2 for i in ${pfad2[*]}; do cat $i >> ${arbeitsvz}/${projektname}.$file ; done # Inputdateien in eine Datei zusammenfuehren ln -s ${arbeitsvz}/${projektname}.$file ${arbeitsvz}/Ausgangsdateien/Orginaldatei.$file # Verlinkung der Ausgangsdatei als Alignmentreferenz fi if [[ $copy == y ]] && [ $dataformat == unspecific ] ; then # wenn Kopie der Daten mit -c y angefordert wurde und nur eine Inputdatei cp ${pfad} ${arbeitsvz}/${projektname}.$file # Kopieren der Ausgangsdatei in Projektunterverzeichnis Ausgangsdatei elif [[ $copy != y ]] && [[ $dataformat == unspecific ]] ; then # wenn keine Kopie mit -c y angefordert, dann nur Verknuepfung zum Input anlegen ln -s ${pfad} ${arbeitsvz}/${projektname}.$file # Verlinkung der Ausgangsdatei fi mkdir -p $refseqdir # refseqdir aus Config.txt, falls nicht vorhanden anlegen mkdir ${arbeitsvz}/MultiBlast # Blast Verzeichnisse erstellen touch ${arbeitsvz}/AnBlast.txt # leere Anblast.txt Datei erstellen touch ${arbeitsvz}/Ausgangsdateien/AllAligned-Accnos.txt # fr -fe beim 1. Mapping bentigt echo -e "MAPPING Results\n" > ${arbeitsvz}/Result-Protocol.txt # Headline fr das Ergebnisprotokoll ######################################################################## Funktionen ###################################################################### # Funktionen zur Groessenklassifzierung von Reads aus einer Inputdatei basierend auf ihrer Lnge zur Erstellung des Histogramms im Resultprotocol # Sortierung nach Groessenklassen function Readdistribution1() { if (( $line <= 50 )) ; then echo $line >> tmp/Length_-50.txt # $line wird beim Aufruf uebergeben elif (( $line > 50 )) && (( $line <= 100 )) ; then echo $line >> tmp/Length_51-100.txt elif (( $line > 100 )) && (( $line <= 150 )) ; then echo $line >> tmp/Length_101-150.txt elif (( $line > 150 )) && (( $line <= 200 )) ; then echo $line >> tmp/Length_151-200.txt elif (( $line > 200 )) && (( $line <= 250 )) ; then echo $line >> tmp/Length_201-250.txt elif (( $line > 250 )) && (( $line <= 300 )) ; then echo $line >> tmp/Length_251-300.txt elif (( $line > 300 )) && (( $line <= 350 )) ; then echo $line >> tmp/Length_301-350.txt elif (( $line > 350 )) && (( $line <= 400 )) ; then echo $line >> tmp/Length_351-400.txt elif (( $line > 400 )) && (( $line <= 450 )) ; then echo $line >> tmp/Length_401-450.txt elif (( $line > 450 )) && (( $line <= 500 )) ; then echo $line >> tmp/Length_451-500.txt else echo $line >> tmp/Length_501-.txt fi } # Ermittlung der absoluten und relativen Anteile der groessenklassifizierten Reads function Readdistribution2() { ma=0 ; mb=0 ; mc=0 ; md=0 ; me=0 ; mf=0 ; mg=0 ; mh=0 ; mi=0 ; mj=0 ; mk=0 ; ml=0 ; mm=0 ; mn=0 ; mo=0 ; mp=0 ; mq=0 ; mr=0 ; ms=0 ; mt=0 ; mu=0 ; mv=0 if [ -s tmp/Length_-50.txt ] ; then ma=`wc -l < tmp/Length_-50.txt` ; ml=0`echo "scale=6 ; ${ma}/${datasize}" | bc` ; fi if [ -s tmp/Length_51-100.txt ] ; then mb=`wc -l < tmp/Length_51-100.txt` ; mm=0`echo "scale=6 ; ${mb}/${datasize}" | bc` ; fi if [ -s tmp/Length_101-150.txt ] ; then mc=`wc -l < tmp/Length_101-150.txt` ; mn=0`echo "scale=6 ; ${mc}/${datasize}" | bc` ; fi if [ -s tmp/Length_151-200.txt ] ; then md=`wc -l < tmp/Length_151-200.txt` ; mo=0`echo "scale=6 ; ${md}/${datasize}" | bc` ; fi if [ -s tmp/Length_201-250.txt ] ; then me=`wc -l < tmp/Length_201-250.txt` ; mp=0`echo "scale=6 ; ${me}/${datasize}" | bc` ; fi if [ -s tmp/Length_251-300.txt ] ; then mf=`wc -l < tmp/Length_251-300.txt` ; mq=0`echo "scale=6 ; ${mf}/${datasize}" | bc` ; fi if [ -s tmp/Length_301-350.txt ] ; then mg=`wc -l < tmp/Length_301-350.txt` ; mr=0`echo "scale=6 ; ${mg}/${datasize}" | bc` ; fi if [ -s tmp/Length_351-400.txt ] ; then mh=`wc -l < tmp/Length_351-400.txt` ; ms=0`echo "scale=6 ; ${mh}/${datasize}" | bc` ; fi if [ -s tmp/Length_401-450.txt ] ; then mi=`wc -l < tmp/Length_401-450.txt` ; mt=0`echo "scale=6 ; ${mi}/${datasize}" | bc` ; fi if [ -s tmp/Length_451-500.txt ] ; then mj=`wc -l < tmp/Length_451-500.txt` ; mu=0`echo "scale=6 ; ${mj}/${datasize}" | bc` ; fi if [ -s tmp/Length_501-.txt ] ; then mk=`wc -l < tmp/Length_501-.txt` ; mv=0`echo "scale=6 ; ${mk}/${datasize}" | bc` ; fi } ######################################################################### Trimming ####################################################################### # Bildschirmausgabe und Ausgabe in die Fortschrittsdatei mit einigen allgemeinen Infos echo -e "\n\n ######################## Run analysis" | tee -a ${arbeitsvz}/Progress-Info.txt echo " ## ## Start: `date`" | tee -a ${arbeitsvz}/Progress-Info.txt echo " ## Basic analysis ## Version: 3.0.2" | tee -a ${arbeitsvz}/Progress-Info.txt echo " ## ## Sample: ${projektname}.$file" | tee -a ${arbeitsvz}/Progress-Info.txt echo -e " ######################## \n" | tee -a ${arbeitsvz}/Progress-Info.txt # Aufruf des Unterprogramms SP_TrimSff.sh zum Trimmen der Reads . ${installdir}/TrimSff.sh | tee -a ${arbeitsvz}/Progress-Info.txt # Aufruf TrimSff.sh im RIEMS-Stammverzeichnis; TrimSff.sh fuehrt mit jedem Inputformat ein Trimming durch und gibt als Ergebnis alle getrimmten Reads im FASTA-Format in Trimmed.fna plus (wenn vorhanden im Input) Trimmed.qual aus trim=`grep -c '^>' ${arbeitsvz}/Ausgangsdateien/Trimmed.fna` # Zaehlen der uebrig gebliebenen Reads if [[ $file == sff ]] ; then untrim=`$gsflxdir/sffinfo -a ${arbeitsvz}/${projektname}.$file | wc -l` # Ermittlung der Anzahl Reads im Input wenn Input im sff-Format elif [[ $file == fastq ]] ; then untrim=`awk 'NR%2' ${arbeitsvz}/${projektname}.$file | awk 'NR%2' | wc -l` # Ermittlung der Anzahl Reads im Input wenn Input im FASTQ-Format else untrim=`grep -c '^>' ${arbeitsvz}/${projektname}.$file` # wenn Input weder sff noch FASTQ dann zaehlen der Reads anhand ">" im FASTA fi # Bildschirmausgabe + Zusatzinfo ber den Datenumfang in die Excel-Ergebnisdatei schreiben echo -e "\n ******************** RIEMS - Reliable Extraction of Metagenomic Sequence data sets ********************\n" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e " ########################## \t\tRun analysis" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e " ## ## \t\tStart: `date`" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e " ## Metagenomic analysis ## \t\tVersion: 3.0.1" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e " ## ## \t\tSample: ${projektname}.$file" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e " ########################## \t\tSize: $untrim Reads -> $trim high quality Reads\n" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -ne "Size distribution\t<50\t51-100\t101-150\t151-200\t" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e "201-250\t251-300\t301-350\t351-400\t401-450\t451-500\t>500\n" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls # Bildschirmausgabe + Zusatzinfo ber den Datenumfang in die txt-Ergebnisdatei (spter pdf) schreiben echo -e "\n ******************** RIEMS - Reliable Extraction of Metagenomic Sequence data sets ********************\n" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo -e " ############################## Run analysis" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo " ## ## Start: `date`" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo " ## Matagenomic analysis ## Version: 3.0.1" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo " ## ## Sample: ${projektname}.$file" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo -e " ############################## Size: $untrim Reads -> $trim high quality Reads\n" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo -n "Size distribution <50 51-100 101-150 151-200 " >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo -e "201-250 251-300 301-350 351-400 401-450 451-500 >500\n" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt ######################################################################### Assembly ####################################################################### # Zhlen der getrimmten Reads zur Feststellung, ob Assembly sinnvoll if [[ $file == sff ]] then restreads=`$gsflxdir/sffinfo -a ${arbeitsvz}/Ausgangsdateien/Rest.sff | wc -l` # Speichern der Anzahl Reads in $restreads (aus sff-Datei) else restreads=`grep -c '^>' ${arbeitsvz}/Ausgangsdateien/Trimmed.fna` # Speichern der Anzahl Reads in $restreads (aus FASTA-Datei) fi echo "0" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt # rndseqextract enthaelt Info ueber Status des Assemblies und der Auswertung der dabei erhaltenen Contigs # moegliche rndseqextract.txt Status: # 0 Anfangsstatus vor Assembly & erfolgreiches Mapping durchgefuehrt # 1 keine Contigs im Assembly oder keine neuen Spezies in den Contigs # 2 wenn zweimal nacheinander Status 1 auftritt while (( $restreads > 10000 && `head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt` < 2 )) ; do # Pruefung, ob die spezifizierten Vorgaben erreicht werden, rnsseqextract.txt Status siehe oben echo "Random sequence extraction of approximately 5000 reads... " | tee -a ${arbeitsvz}/Progress-Info.txt # Benutzerinfo cd ${arbeitsvz}/Ausgangsdateien # in Ordner mit Inputdaten wechseln if [[ $file == sff ]] # Pruefung auf Datenformat then $gsflxdir/sfffile -o pick.sff -pickr 5000 Rest.sff 1>/dev/null # wenn Input im sff-Format vorliegt dann mittels sfffile Teildatensatz generieren $gsflxdir/sffinfo -s pick.sff > pick.fna # Teildatensatz in FASTA speichern $gsflxdir/sffinfo -q pick.sff > pick.qual # Basequalities zu Teildatensatz in FASTA speichern else # wenn Input nicht sff csplit Trimmed.fna 35000 -f "Datei-" -q # bei FASTA/FASTQ Input Teildatensatzgroesse ueber Zeilenzahl definieren und Original nach 35000 Zeilen splitten (35000 Zeilen entsprechen ca. 5000 Reads mit 400bp) grep '^>' Datei-00 > Datei-00-Accnos.txt # nur erste Datei verwenden und daraus Readaccessions extrahieren $gsflxdir/fnafile -o pick.fna -i Datei-00-Accnos.txt Trimmed.fna 1>/dev/null # FASTA-Datei aus Input anhand der Readaccessions erstellen (notwendig um unvollstaendige Reads zu verhindern) $gsflxdir/fnafile -o notpick.fna -e Datei-00-Accnos.txt Trimmed.fna 1>/dev/null # vom Originaldatensatz verbleibende Reads speichern fi echo -n "Running ASSEMBLY... " | tee -a ${arbeitsvz}/Progress-Info.txt # Benutzerinfo ausgeben ${gsflxdir}/runAssembly -o ${arbeitsvz}/assembly -force -cpu $threads -nobig -noinfo -a 100 pick.fna 1>/dev/null # Assembly des Teildatensatzes # Assembly: -a 100 (min Sequenzlnge eines Contigs) min 100nt contig # 1>/dev/null: keine Bildschirmausgabe # -force: falls schon vorhanden -> berschreiben ; -nobig, -noinfo: alle greren Dateien weglassen -> spart viel Zeit if [[ $file != sff ]] ; then # wenn Input kein sff cat notpick.fna pick.fna > Trimmed.fna # anhaengen des Teildatensatzes an den nicht verwendeten Teil der Daten (verhindert wiederholte Verwendung der selben Reads als Teildatensatz) # cat notpick.qual pick.qual > Trimmed.qual # wie vor aber basequalities deaktiviert wg. Fehlern wenn keine BQ vorhanden fi # Herausfiltern besserer Contigs ber die Menge darin assemblierter Reads, da sonst Mapping Results mit rndseqextract.txt=2, oder 0 mapped von insgesamt ... if [ -s ${arbeitsvz}/assembly/454AllContigs.fna ] # wenn berhaupt Contigs gebildet werden konnten then cd ${arbeitsvz}/assembly # Wechsel ins Arbeitsvz csplit -s 454AllContigs.fna /\>/ {*} -f "contig-" -n 5 -z -q # Coniggesamt- wird in Einzelcontigdateien gesplittet mv 454AllContigs.fna 454AllContigs-original.fna # entfernen der alten Contigdatei for i in contig-* ; do # mache folgendes fr jede Contigdatei numread=`grep 'numreads*' $i | cut -d "=" -f3` # numread: Menge an verbauten Reads fr Contig $i if (( $numread >= 10 )) ; then # ist diese Menge >= 10 cat $i >> 454AllContigs.fna # wird sie in die neue 454AllContig.fna geschrieben fi done if [ -s ${arbeitsvz}/assembly/454AllContigs.fna ] # sofern Contigs gebildet werden konnten, then # wird das Unterprogramm mbcr=contig # mbcr: MegaBlast-Contig-Read.sh tool # MegaBlast-Contigs.sh aufgerufen . ${installdir}/MegaBlast-Contigs-Reads.sh | tee -a ${arbeitsvz}/Progress-Info.txt echo else ((rndseqextract=`head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt`+1)) echo "$rndseqextract" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt echo "No Contigs could be generated!" | tee -a ${arbeitsvz}/Progress-Info.txt # ansonsten erfolgt eine Bildschirmmitteilung, rm ${arbeitsvz}/Blastn/* 2>/dev/null # alles im Blastn Verzeichnis wird gelscht echo fi else ((rndseqextract=`head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt`+1)) echo "$rndseqextract" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt echo "No Contigs could be generated!" | tee -a ${arbeitsvz}/Progress-Info.txt # wenn keine Contigs gebildet, Mitteilung rm ${arbeitsvz}/Blastn/* 2>/dev/null # alles im Blastn Verzeichnis wird gelscht echo fi rm ${arbeitsvz}/assembly/contig* 2>/dev/null cd ${arbeitsvz}/Ausgangsdateien if [[ $file == sff ]] then restreads=`$gsflxdir/sffinfo -a Rest.sff | wc -l` else $gsflxdir/fnafile -e AllAligned-Accnos.txt -o rest.fna Trimmed.fna 1>/dev/null restreads=`grep -c '^>' ${arbeitsvz}/Ausgangsdateien/rest.fna` fi done echo -e "\nToo few reads or no more significantly present organisms left!" | tee -a ${arbeitsvz}/Progress-Info.txt echo -e "Stopping extraction of random datasets (part 1)... \n" | tee -a ${arbeitsvz}/Progress-Info.txt rm -r ${arbeitsvz}/assembly 2>/dev/null ################################################################# Megablast der Rnd. Reads ############################################################### #echo "Random sequence isolation of 100 Reads... " | tee -a ${arbeitsvz}/Progress-Info.txt #if (( `grep -c '^>' ${arbeitsvz}/Ausgangsdateien/Trimmed.fna` > 5000 )) # then i=1 ; unset array # cd ${arbeitsvz}/Ausgangsdateien # $gsflxdir/fnafile -o Trimmed-2.fna -e AllAligned-Accnos.txt Trimmed.fna 1>/dev/null # neurest=`grep -c '^>' Trimmed.fna` # until (( $i > 100 )) ; do array[$i]=`echo $(($RANDOM % $neurest + 1))` ; ((i=$i+1)) ; done # grep '^>' Trimmed-2.fna | cut -d " " -f1 | cut -d ">" -f2 > Trimmed-Accnos.txt # for i in ${array[*]} ; do sed -n "${i}p" Trimmed-Accnos.txt >> pick-Accnos.txt ; done # sort pick-Accnos.txt | uniq > pick-Accnos-su.txt # $gsflxdir/fnafile -o ${arbeitsvz}/MultiBlast/pick.fna -i pick-Accnos-su.txt Trimmed-2.fna 1>/dev/null # mbcr=read # mbcr: MegaBlast-Contig-Read.sh tool # # SP_MegaBlast-Contigs.sh aufgerufen # . $installdir/MegaBlast-Contigs-Reads.sh | tee -a ${arbeitsvz}/Progress-Info.txt # else # echo -e "Canceled, cause too less reads left!\n" | tee -a ${arbeitsvz}/Progress-Info.txt #fi if [[ $file == sff ]] then restreads=`$gsflxdir/sffinfo -a ${arbeitsvz}/Ausgangsdateien/Rest.sff | wc -l` else restreads=`grep -c '^>' ${arbeitsvz}/Ausgangsdateien/Trimmed.fna` fi echo "0" > ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt while (( $restreads > 10000 && `head -1 ${arbeitsvz}/Ausgangsdateien/rndseqextract.txt` < 2 )) ; do echo -e "\nRandom sequence extraction of approximately 100 reads... " | tee -a ${arbeitsvz}/Progress-Info.txt cd ${arbeitsvz}/Ausgangsdateien if [[ $file == sff ]] then $gsflxdir/sfffile -o pick.sff -pickr 100 Rest.sff 1>/dev/null $gsflxdir/sffinfo -s pick.sff > pick.fna $gsflxdir/sffinfo -q pick.sff > pick.qual else csplit Trimmed.fna 700 -f "Datei-" -q grep '^>' Datei-00 > Datei-00-Accnos.txt $gsflxdir/fnafile -o pick.fna -i Datei-00-Accnos.txt Trimmed.fna 1>/dev/null $gsflxdir/fnafile -o notpick.fna -e Datei-00-Accnos.txt Trimmed.fna 1>/dev/null fi # SP_MegaBlast-Contigs.sh aufgerufen mbcr=read . $installdir/MegaBlast-Contigs-Reads.sh | tee -a ${arbeitsvz}/Progress-Info.txt cd ${arbeitsvz}/Ausgangsdateien if ! [[ $file == sff ]] ; then cat notpick.fna pick.fna > Trimmed.fna # cat notpick.qual pick.qual > Trimmed.qual fi # Zhlen der brig gebliebenen Reads fr die nchste Runde if [[ $file == sff ]] then restreads=`$gsflxdir/sffinfo -a Rest.sff | wc -l` else $gsflxdir/fnafile -e AllAligned-Accnos.txt -o rest.fna Trimmed.fna 1>/dev/null restreads=`grep -c '^>' ${arbeitsvz}/Ausgangsdateien/rest.fna` fi done echo -e "\nToo few reads or no more significantly present organisms left!" | tee -a ${arbeitsvz}/Progress-Info.txt echo -e "Stopping extraction of random datasets (part 2)... \n" | tee -a ${arbeitsvz}/Progress-Info.txt ################################################################# Rest Assembly ########################################################################## . $installdir/Assembly-ContigBlast.sh | tee -a ${arbeitsvz}/Progress-Info.txt cat ${arbeitsvz}/Assembly/454AllContigs-Result-Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt cat ${arbeitsvz}/Assembly/Read-Result-Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt 2>/dev/null # wenn im final Assembly keine contigs gebildet wurden, ex auch keine Read-Result-Protocol.txt Datei # Wenn das Assembly fehlschlgt assfailcounter=0 until ls ${arbeitsvz}/Assembly/Assembly | grep -q '454NewblerMetrics.txt' || (( $assfailcounter == 2 )) ; do rm -r ${arbeitsvz}/Assembly/ ((assfailcounter=$assfailcounter+1)) . $installdir/Assembly-ContigBlast.sh | tee -a ${arbeitsvz}/Progress-Info.txt cat ${arbeitsvz}/Assembly/454AllContigs-Result-Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt cat ${arbeitsvz}/Assembly/Read-Result-Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt 2>/dev/null done ################################################################ Megablast vs Orgs ####################################################################### if [ -s ${arbeitsvz}/Assembly/Unassigned-Accnos.txt ] then assrest=`wc -l < ${arbeitsvz}/Assembly/Unassigned-Accnos.txt` else assrest=0 fi echo -e "\nRunning MEGABLAST of all $assrest unassigned Reads against all before detected organisms." | tee -a ${arbeitsvz}/Progress-Info.txt echo -ne "\n-----------------------------------------------------------------------" >> ${arbeitsvz}/Result-Protocol.txt echo -e "----------------------------------------------------------------------------------\n" >> ${arbeitsvz}/Result-Protocol.txt echo -e "MEGABLAST of all $assrest unassigned Reads against all before detected organisms\n" >> ${arbeitsvz}/Result-Protocol.txt if [ -e ${arbeitsvz}/DB ] then if [ -s ${arbeitsvz}/Assembly/Unassigned-Accnos.txt ] then $gsflxdir/fnafile -o ${arbeitsvz}/Ausgangsdateien/Megablast-vs-orgs.fna -i ${arbeitsvz}/Assembly/Unassigned-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna 1>/dev/null cat ${arbeitsvz}/DB/TID-*.fna > ${arbeitsvz}/DB/AllOrgs.fna # Blast tool Aufruf # | if [[ $parblast == y ]] ; then blastvek=(0 db tax 0 par) ; else blastvek=(0 db tax 0 0) ; fi # | # | query=${arbeitsvz}/Ausgangsdateien/Megablast-vs-orgs.fna # | Eingaben fr das referenz=${arbeitsvz}/DB/AllOrgs.fna # | Blastunterprogramm blastordner=${arbeitsvz}/MultiBlast/Megablast-vs-Orgs # | ntblast=megablast ; evalue=0.001 # V . $installdir/Blast.sh | tee -a ${arbeitsvz}/Progress-Info.txt cat ${arbeitsvz}/MultiBlast/Megablast-vs-Orgs/Result-Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt else echo -ne "...not necessary, as all Reads have been assigned before! \t`date`" | tee -a ${arbeitsvz}/Progress-Info.txt echo "All Reads have been assigned before!" >> ${arbeitsvz}/Result-Protocol.txt fi else echo "...impossible, as no Mapping has been performed before." | tee -a ${arbeitsvz}/Progress-Info.txt echo "Impossible, as no Mapping has been performed before." >> ${arbeitsvz}/Result-Protocol.txt mkdir ${arbeitsvz}/MultiBlast/Megablast-vs-Orgs cp ${arbeitsvz}/Assembly/Unassigned-Accnos.txt ${arbeitsvz}/MultiBlast/Megablast-vs-Orgs/Blast-NoHit-Accnos.txt fi echo ################################################################# Rest Megablast ######################################################################### if [ -s ${arbeitsvz}/MultiBlast/Megablast-vs-Orgs/Blast-NoHit-Accnos.txt ] then megorgrest=`wc -l < ${arbeitsvz}/MultiBlast/Megablast-vs-Orgs/Blast-NoHit-Accnos.txt` else megorgrest=0 fi echo -e "\nRunning MEGABLAST of all $megorgrest unassigned Reads" | tee -a ${arbeitsvz}/Progress-Info.txt echo -ne "\n-----------------------------------------------------------------------" >> ${arbeitsvz}/Result-Protocol.txt echo -e "----------------------------------------------------------------------------------\n" >> ${arbeitsvz}/Result-Protocol.txt echo -e "MEGABLAST of all $megorgrest unassigned Reads\n" >> ${arbeitsvz}/Result-Protocol.txt if [ -s ${arbeitsvz}/MultiBlast/Megablast-vs-Orgs/Blast-NoHit-Accnos.txt ] then $gsflxdir/fnafile -o ${arbeitsvz}/Ausgangsdateien/Megablast.fna -i ${arbeitsvz}/MultiBlast/Megablast-vs-Orgs/Blast-NoHit-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna 1>/dev/null if [[ $parblast == y ]] ; then blastvek=(0 0 tax 0 par) ; else blastvek=(0 0 tax 0 0) ; fi # | query=${arbeitsvz}/Ausgangsdateien/Megablast.fna # | referenz=$ntdb # | Eingaben fr das blastordner=${arbeitsvz}/MultiBlast/Megablast # | Blastunterprogramm ntblast=megablast ; evalue=0.001 # V # Blast tool Aufruf . $installdir/Blast.sh | tee -a ${arbeitsvz}/Progress-Info.txt cat ${arbeitsvz}/MultiBlast/Megablast/Result-Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt else echo -ne "...not necessary cause all Reads had been assigned before! \t`date`" | tee -a ${arbeitsvz}/Progress-Info.txt echo "All Reads had been assigned before!" >> ${arbeitsvz}/Result-Protocol.txt fi #################################################################### Rest Blastn ######################################################################### if [ -s ${arbeitsvz}/MultiBlast/Megablast/Blast-NoHit-Accnos.txt ] then megrest=`wc -l < ${arbeitsvz}/MultiBlast/Megablast/Blast-NoHit-Accnos.txt` else megrest=0 fi echo -e "\n\nRun BLASTN of all $megrest unassigned Reads" | tee -a ${arbeitsvz}/Progress-Info.txt echo -ne "\n-----------------------------------------------------------------------" >> ${arbeitsvz}/Result-Protocol.txt echo -e "----------------------------------------------------------------------------------\n" >> ${arbeitsvz}/Result-Protocol.txt echo -e "BLASTN of all $megrest unassigned Reads\n" >> ${arbeitsvz}/Result-Protocol.txt if [ -s ${arbeitsvz}/MultiBlast/Megablast/Blast-NoHit-Accnos.txt ] then $gsflxdir/fnafile -o ${arbeitsvz}/Ausgangsdateien/Blastn.fna -i ${arbeitsvz}/MultiBlast/Megablast/Blast-NoHit-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna 1>/dev/null if [[ $parblast == y ]] ; then blastvek=(0 0 tax 0 par) ; else blastvek=(0 0 tax 0 0) ; fi # | query=${arbeitsvz}/Ausgangsdateien/Blastn.fna # | referenz=$ntdb # | Eingaben fr das blastordner=${arbeitsvz}/MultiBlast/Blastn # | Blastunterprogramm ntblast=blastn ; evalue=0.001 # V # Blast tool Aufruf . $installdir/Blast.sh | tee -a ${arbeitsvz}/Progress-Info.txt cat ${arbeitsvz}/MultiBlast/Blastn/Result-Protocol.txt >> ${arbeitsvz}/Result-Protocol.txt $gsflxdir/fnafile -o ${arbeitsvz}/MultiBlast/Blastn/NoHit-Reads.fna -i ${arbeitsvz}/MultiBlast/Blastn/Blast-NoHit-Accnos.txt ${arbeitsvz}/Ausgangsdateien/Trimmed.fna >/dev/null 2>&1 else echo -e "...not necessary cause all Reads had been assigned before!\n" | tee -a ${arbeitsvz}/Progress-Info.txt echo "All Reads had been assigned before!" >> ${arbeitsvz}/Result-Protocol.txt fi ################################################################# Zusammenfassung ######################################################################## # Berechnung der Read Verteilung (Einschub) echo -ne "\nComputing read distribution... for raw reads... " cd $arbeitsvz ; mkdir tmp $embossdir/infoseq -sequence Ausgangsdateien/Trimmed.fna -outfile tmp/length.txt -only -length >/dev/null 2>&1 grep -v 'Length' tmp/length.txt > tmp/NoHit-Reads_length.txt (while read line ; do Readdistribution1 $line & done < tmp/NoHit-Reads_length.txt ; wait) # erst ermittelt werden datasize=$untrim ; Readdistribution2 rm -r tmp echo " Basic analysis" >> Result-Protocol_${projektname}.txt echo " Basic analysis" >> Result-Protocol_${projektname}.xls printf " Raw reads absolute %13s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk >> Result-Protocol_${projektname}.txt printf " Raw reads portion %14s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ml $mm $mn $mo $mp $mq $mr $ms $mt $mu $mv >> Result-Protocol_${projektname}.txt echo -e " Raw reads absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk" >> Result-Protocol_${projektname}.xls echo -e " Raw reads portion\t$ml\t$mm\t$mn\t$mo\t$mp\t$mq\t$mr\t$ms\t$mt\t$mu\t$mv" >> Result-Protocol_${projektname}.xls # Ermittlung aller Reads die nicht zugeordnet wurden if [ -s $arbeitsvz/MultiBlast/Blastn/Blast-NoHit-Accnos.txt ] then gleftover=`wc -l < $arbeitsvz/MultiBlast/Blastn/Blast-NoHit-Accnos.txt` else gleftover=0 fi # Berechnung der Leftover sowie dessen Verteilung echo -n "for remaining reads... " if [ -s $arbeitsvz/MultiBlast/Blastn/Blast-NoHit-Accnos.txt ] then cd $arbeitsvz/MultiBlast/Blastn ; mkdir tmp # Wechsel ins BlastVz und tmp ordner erstellen $embossdir/infoseq -sequence NoHit-Reads.fna -outfile tmp/length.txt -only -length >/dev/null 2>&1 grep -v 'Length' tmp/length.txt > tmp/NoHit-Reads_length.txt (while read line ; do Readdistribution1 $line & done < tmp/NoHit-Reads_length.txt ; wait) datasize=$gleftover ; Readdistribution2 rm -r tmp ; cd $arbeitsvz printf " Reads left absolute %12s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk >> Result-Protocol_${projektname}.txt printf " Reads left portion %13s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ml $mm $mn $mo $mp $mq $mr $ms $mt $mu $mv >> Result-Protocol_${projektname}.txt echo -e " Reads left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk" >> Result-Protocol_${projektname}.xls echo -e " Reads left portion\t$ml\t$mm\t$mn\t$mo\t$mp\t$mq\t$mr\t$ms\t$mt\t$mu\t$mv" >> Result-Protocol_${projektname}.xls else ma=0; mb=0; mc=0; md=0; me=0; mf=0; mg=0; mh=0; mi=0; mj=0; mk=0; ml=0; mm=0; mn=0; mo=0; mp=0; mq=0; mr=0; ms=0; mt=0; mu=0; mv=0 printf " Reads left absolute %12s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk >> Result-Protocol_${projektname}.txt printf " Reads left portion %13s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n" $ml $mm $mn $mo $mp $mq $mr $ms $mt $mu $mv >> Result-Protocol_${projektname}.txt echo -e " Reads left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk" >> Result-Protocol_${projektname}.xls echo -e " Reads left portion\t$ml\t$mm\t$mn\t$mo\t$mp\t$mq\t$mr\t$ms\t$mt\t$mu\t$mv" >> Result-Protocol_${projektname}.xls fi # Berechnung der Leftover sowie dessen Verteilung echo -n "and contigs... " if [ -s $arbeitsvz/Assembly/NoHit-Contigs.fna ] then cd $arbeitsvz/Assembly ; mkdir tmp # Wechsel ins AssemblyVZ und tmp ordner erstellen grep 'length=' NoHit-Contigs.fna | tr -s [:blank:] " " | cut -d " " -f2 | cut -d "=" -f2 > tmp/NoHit-Contigs_length.txt (while read line ; do Readdistribution1 $line & done < tmp/NoHit-Contigs_length.txt ; wait) Readdistribution2 printf " Contigs left absolute %10s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n\n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk >> $arbeitsvz/Result-Protocol_${projektname}.txt echo -e " Contigs left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk\n" >> $arbeitsvz/Result-Protocol_${projektname}.xls rm -r tmp else ma=0; mb=0; mc=0; md=0; me=0; mf=0; mg=0; mh=0; mi=0; mj=0; mk=0 printf " Contigs left absolute %10s%11s%12s%12s%12s%12s%12s%12s%12s%12s%10s \n\n" $ma $mb $mc $md $me $mf $mg $mh $mi $mj $mk >> $arbeitsvz/Result-Protocol_${projektname}.txt echo -e " Contigs left absolute\t$ma\t$mb\t$mc\t$md\t$me\t$mf\t$mg\t$mh\t$mi\t$mj\t$mk\n" >> $arbeitsvz/Result-Protocol_${projektname}.xls fi echo -e " Further analysis" >> $arbeitsvz/Result-Protocol_${projektname}.txt echo -e " Reads left absolute No data avaliable" >> $arbeitsvz/Result-Protocol_${projektname}.txt echo -e " Reads left portion No data avaliable" >> $arbeitsvz/Result-Protocol_${projektname}.txt echo -e " Contigs left absolute No data avaliable\n" >> $arbeitsvz/Result-Protocol_${projektname}.txt echo -e " Further analysis" >> $arbeitsvz/Result-Protocol_${projektname}.xls echo -e " Reads left absolute\tNo data avaliable" >> $arbeitsvz/Result-Protocol_${projektname}.xls echo -e " Reads left portion\tNo data avaliable" >> $arbeitsvz/Result-Protocol_${projektname}.xls echo -e " Contigs left absolute\tNo data avaliable\n" >> $arbeitsvz/Result-Protocol_${projektname}.xls echo "finished." # Zusammentragen aller Daten aus den Teilanalysen um ein Gesamtberblick zu erstellen echo -ne "Final data gathering... " | tee -a ${arbeitsvz}/Progress-Info.txt cd ${arbeitsvz} echo -e "\n ########################\n ## ##" >> Result-Protocol_${projektname}.txt echo -e " ## Basic analysis ##\n ## ##" >> Result-Protocol_${projektname}.txt echo -e " ########################" >> Result-Protocol_${projektname}.txt echo -e "\n ###################\n ## ##" >> Result-Protocol_${projektname}.xls echo -e " ## Basic analysis ##\n ## ##" >> Result-Protocol_${projektname}.xls echo -e " ##################" >> Result-Protocol_${projektname}.xls # Zusammentragen aller Daten aus den verschiedenen Blast Analysen grep -h 'gi|' MultiBlast/*/Blast-Hits.xls > AllBlastHits.txt 2>/dev/null grep -h 'gi|' TID-*/Blast-Retro-Hits.xls >> AllBlastHits.txt 2>/dev/null grep -h 'gi|' TID-*/Blast-TooShort-Hits.xls >> AllBlastHits.txt 2>/dev/null grep -h 'gi|' TID-*/Complete+Partial-Hits.xls >> AllBlastHits.txt 2>/dev/null # Zusammentragen aller Daten aus den Virenscannern grep -h 'gi|' TID-*/Blast-Retro-Hits.xls >> tmp-VirenScannerHits.txt 2>/dev/null # Zusammentragen der einzelnen Mapping Results if ls | grep -q 'TID-' ; then for i in TID-* ; do echo -ne "gi|`basename $i` \tResults \t`head -1 ${i}/Protocol.txt 2>/dev/null | cut -d " " -f1`" >> AllBlastHits.txt # enthlt gi|'organism name' echo -ne "\tNN \tNN \tNN \tNN \t`head -22 ${i}/Protocol.txt 2>/dev/null | tail -1 | cut -f1 | tr -d " "`" >> AllBlastHits.txt # enthlt tax-id echo -ne "\t`head -21 ${i}/Protocol.txt 2>/dev/null | tail -1 | cut -f1 | tr -d " "`" >> AllBlastHits.txt # enthlt Family tax-id echo -e "\t`head -20 ${i}/Protocol.txt 2>/dev/null | tail -1 | cut -f1 | tr -d " "`" >> AllBlastHits.txt # enthlt Superkingdom tax-id done fi # Zusammentragen der Assembly results echo -ne "Read accno\tHit contig\tRead hit range\t\tRead length\tE-value" > MultiBlast/Megablast-vs-Orgs/fromAssembly_Megablast-Hits.xls echo -e "\tIdentity (%)\tTax-ID\tFamily Tax-ID\tSuperkingdom Tax-ID\n" >> MultiBlast/Megablast-vs-Orgs/fromAssembly_Megablast-Hits.xls if [ -s Assembly/454AllContigs-BlastnHits.xls ] ; then grep '^contig*' Assembly/454AllContigs-BlastnHits.xls > tmp-454AllContigs-BlastnHits.txt grep -v 'NoHit' tmp-454AllContigs-BlastnHits.txt | cut -f8 | tr -d " " | sed '/^$/d' | sort | uniq > tmp-taxids.txt # sed '/^$/d' da sonst newline dabei und fhrt zum fehler, da tmp-contig-reads-.txt nicht existiert while read line ; do # line: einzelnen tax-ids famtax=`cut -f8- tmp-454AllContigs-BlastnHits.txt | grep "$line" | cut -f2 | sort | uniq` sktax=`cut -f8- tmp-454AllContigs-BlastnHits.txt | grep "$line" | cut -f3 | sort | uniq` countarray=(`grep "\<$line\>" tmp-454AllContigs-BlastnHits.txt | cut -f1 | sort | uniq`) # enthlt alle dazu entspr. contigs for i in ${countarray[*]} ; do # schreibe zu jedem contig die grep 'Assembly' Assembly/Reads_Vs_Contigs-MegaBlastHits.xls | grep "\<$i\>" | cut -f1 >> tmp-contig-reads-${line}.txt 2>/dev/null grep 'Megablast' Assembly/Reads_Vs_Contigs-MegaBlastHits.xls | grep "\<$i\>" | cut -f1-7 > tmp-contig-reads.txt 2>/dev/null if [ -s tmp-contig-reads.txt ] ; then while read line2 ; do echo -e "$line2\t$line\t$famtax\t$sktax" >> tmp-mbvo.txt done < tmp-contig-reads.txt cat tmp-mbvo.txt >> MultiBlast/Megablast-vs-Orgs/fromAssembly_Megablast-Hits.xls fi done # entspr. contigs zur entspr. tax-id count=`sort tmp-contig-reads-${line}.txt | uniq | wc -l` # zhlen dieser Reads echo -n "gi|`grep "^\<${line}\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-"` " >> AllBlastHits.txt echo -e "\tResults \t$count \tNN \tNN \tNN \tNN \t`grep -m1 "\<$line\>" tmp-454AllContigs-BlastnHits.txt | cut -f 8-`" >> AllBlastHits.txt done < tmp-taxids.txt cat tmp-mbvo.txt >> AllBlastHits.txt 2>/dev/null fi # Zusammentragen der Blast results aus den Mappings und dem Megablast vs orgs if ls | grep -q 'TID-' ; then # | im maparray stehen alle Namen maparray=(`ls | grep 'TID-'`) # | der Mapping Ordner for mapi in ${maparray[*]} ; do # | aus Complete+Partial-Hits.xls im ln $mapi/Complete+Partial-Hits.xls MultiBlast/Megablast-vs-Orgs/from${mapi}_Megablast-Hits.xls 2>/dev/null # | Mapping Ordner wird ein Link in den done # V Megablast vs Orgs Ordner erstellt fi grep -h 'gi|' TID-*/Complete+Partial-Hits.xls 2>/dev/null | tr -d " " | sort | uniq >> tmp-mbvo.txt 2>/dev/null grep -h 'gi|' TID-*/Blast-TooShort-Hits.xls 2>/dev/null | tr -d " " | sort | uniq >> tmp-mbvo.txt 2>/dev/null # aus den einzelnen Mappings grep -h 'gi|' MultiBlast/Megablast-vs-Orgs/Blast-Hits.xls 2>/dev/null >> tmp-mbvo.txt 2>/dev/null # und dem Megablast vs Orgs # Tabellenheader in die Excel- und Text Ergebnisdatei schreiben (Part 2) echo -e "\nIdentified Organisms... \n" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo "Superkingdom Tax-ID" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt printf "%3s Family Tax-ID %17s Containing %11s Megablast %3s Megablast" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt printf "%2s Megablast %3s Megablast %1s Blastn %4s Blastn \n" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt printf "%8s Tax-ID Quantity Mapping viral Reads Assembly vs orgs" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt printf "%6s Identities vs ntdb %5s identities vs ntdb %3s identities %1s Scientific name \n" >> ${arbeitsvz}/Result-Protocol_${projektname}.txt echo -e "\nIdentified Organisms... \n" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo "Superkingdom Tax-ID" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e "\tFamily Tax-ID\t\t\t\tContaining\t\tMegablast\tMegablast\tMegablast\tMegablast\tBlastn\tBlastn" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -ne "\t\tTaxonomy-ID\tQuantity\tMapping\tviral Reads\tAssembly" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e "\tvs orgs.\tidentities\tvs ntdb\tidentities\tvs ntdb\tidentities\tScientific name" >> ${arbeitsvz}/Result-Protocol_${projektname}.xls # groe Gesamtdatenunterteilung linke seite grep 'gi|' AllBlastHits.txt | cut -f10 | tr -d " " | sort | uniq | sed '/^$/d' > tmp-sktax.txt # gi| in jeder Spalte vorhanden while read line ; do # line: alle Superkingdom Tax-Ids count=`grep "\<$line\>$" AllBlastHits.txt | grep -v 'Results' | cut -f1 | tr -d " " | sort | uniq | wc -l` # Anzahl aus den versch. Blast's countarray=(`grep 'Results' AllBlastHits.txt | grep "\<$line\>$" | cut -f3`) # Anzahl aus den Mappings for i in ${countarray[*]} ; do ((count=${count}+${i})) ; done # Zusammenzhlen aus Map. und Blasts echo -e "\n$line\t\t\t$count\t\t\t\t\t\t\t\t\t" >> test-2.txt # z.B. 2759 45 printf "\n%-16s %8s %-108s \n" $line $count >> test-taxcount.txt grep "\<$line\>$" AllBlastHits.txt | cut -f9 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-famtax.txt # darin alle family Tax-IDs # sed '/^$/d': LeerZeilen aus der Datei entfernen!!! wichtig bei 'clustered in' da cut -f8 leer while read line2 ; do # line2: alle Family Tax-Ids count=`grep "\<$line\>$" AllBlastHits.txt | cut -f-9 | tr -d " " | grep "\<$line2\>$" | grep -v 'Results' | cut -f1 | tr -d " " | sort | uniq | wc -l` countarray=(`grep 'Results' AllBlastHits.txt | grep "\<$line\>$" | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f3`) for i in ${countarray[*]} ; do ((count=${count}+${i})) ; done echo -e "\t$line2\t\t$count\t\t\t\t\t\t\t\t\t" >> test-2.txt # z.B. 9604 34 printf " %-12s %8s %-110s \n" $line2 $count >> test-taxcount.txt grep "\<$line\>$" AllBlastHits.txt | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f8 | sed '/^$/d' | tr -d " " | sort | uniq > tmp-tax.txt while read line3 ; do count=`grep "\<$line\>$" AllBlastHits.txt | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f-8 | tr -d " " | grep "\<$line3\>$" | grep -v 'Results' | cut -f1 | tr -d " " | sort | uniq | wc -l` countarray=(`grep 'Results' AllBlastHits.txt | grep "\<$line\>$" | cut -f-9 | tr -d " " | grep "\<$line2\>$" | cut -f-8 | tr -d " " | grep "\<$line3\>$" | cut -f3`) for i in ${countarray[*]} ; do ((count=${count}+${i})) ; done echo -e "\t\t$line3\t$count" >> test-2.txt # Mapping- + retro results if sed -n '/Superkingdom/,/Therein/p' TID-${line3}*/Protocol.txt 2>/dev/null | cut -f1 | grep -q "\<$line3\>" # wenn tax in den TID...-Ordnern then map=`head -1 TID-${line3}_*/Protocol.txt | cut -d " " -f1` if grep -q 'Therein included' TID-${line3}_*/Protocol.txt then if ! grep -q 'no such sequences detected.' TID-${line3}_*/Protocol.txt then retro=`grep 'Viruses' TID-${line3}_*/Protocol.txt | tr -s [:blank:] " " | cut -d " " -f2` else retro=0 fi else retro=0 fi else map=0 ; retro=0 fi # Assembly results if [ -s Assembly/Read-Result-Protocol.txt ] && sed -n '/Identified/,// p' Assembly/Read-Result-Protocol.txt | cut -f1 | grep -q "\<$line3\>" then z=`sed -n '/Identified/,// p' Assembly/Read-Result-Protocol.txt | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` ass=`sed -n '/Identified/,// p' Assembly/Read-Result-Protocol.txt | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` else ass=0 fi # Megablast vs orgs + homologie results if [ -s tmp-mbvo.txt ] && cut -f8 tmp-mbvo.txt | grep -q "$line3" then mbvo=`cut -f8 tmp-mbvo.txt | grep -c "$line3"` ; y= y=(`cut -f8 tmp-mbvo.txt | grep -n "$line3" | cut -d ":" -f1`) # array z enthlt alle zeilennr. mit der Tax-id for i in ${y[*]} ; do # Auslesen der Fundstellen im Array sed -n "${i}p" tmp-mbvo.txt | cut -f7 >> tmp-bvo-pis.txt # x: pident zur korrespondierenden Zeile done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-bvo-pis.txt | sort -n | head -1` 2>/dev/null # num. sortierung; kleinster Wert oben gr=`cat tmp-bvo-pis.txt | sort -nr | head -1` 2>/dev/null # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then mbvopi="$kl-$gr" # 56.78-67.87 else mbvopi="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-bvo-pis.txt 2>/dev/null # wichtig! entfernen der pis Datei else mbvo=0 ; mbvopi=0 fi # Megablast- + homologie results if (( `sed -n '/Taxonomy-ID/,// p' MultiBlast/Megablast/Result-Protocol.txt | cut -f1 | grep "\<$line3\>" | wc -l` == 1 )) && ! tr -s [:blank:] " " < test-taxcount.txt | cut -d " " -f2 | grep -q "\<$line3\>" ; then # nicht ndern! hat alles seinen Grund z=`sed -n '/Taxonomy-ID/,// p' MultiBlast/Megablast/Result-Protocol.txt | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` # z: Zeilennummer in der die Tax-id in dem Ausschnitt von '/Taxonomy-ID/,// p' vorkommt mb0=`sed -n '/Taxonomy-ID/,// p' MultiBlast/Megablast/Result-Protocol.txt | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` # mb: Anzahl Sequenzen, die der Tax-id zugeordne wurden y= ; y=(`cut -f8 MultiBlast/Megablast/Blast-Hits.xls | grep -n "\<$line3\>" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" MultiBlast/Megablast/Blast-Hits.xls | cut -f7 >> tmp-megablast-pis.txt 2>/dev/null done # Ende der Array-Schleife elif (( `sed -n '/Taxonomy-ID/,// p' MultiBlast/Megablast/Result-Protocol.txt | cut -f1 | grep "\<$line3\>" | wc -l` == 2 )) ; then # es gibt leider Gis, die direkt einer Familie (Retroviridae) zugeordnet werden; Retroviridae taucht dann 2x auf; grrrrrrrrrrr z=`sed -n "/\<$line3\>/,// p" MultiBlast/Megablast/Result-Protocol.txt | sed '1d' | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` 2>/dev/null mb0=`sed -n "/\<$line3\>/,// p" MultiBlast/Megablast/Result-Protocol.txt | sed '1d' | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` 2>/dev/null y= ; y=(`cut -f8 MultiBlast/Megablast/Blast-Hits.xls | grep -n "\<$line3\>" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" MultiBlast/Megablast/Blast-Hits.xls | cut -f7 >> tmp-megablast-pis.txt 2>/dev/null done # Ende der Array-Schleife else mb0=0 ; mbpi=0 ; mb=0 fi # Megablast Hits einschlielich deren Homologies mssen um die detektierten Viren ergnzt werden if [ -s tmp-VirenScannerHits.txt ] && `cut -f8 tmp-VirenScannerHits.txt | grep -q "\<$line3\>"` ; then mb1=`cut -f8 tmp-VirenScannerHits.txt | grep "\<$line3\>" | wc -l` ((mb=$mb0 + $mb1)) y= ; y=(`cut -f8 tmp-VirenScannerHits.txt | grep -n "\<$line3\>" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" tmp-VirenScannerHits.txt | cut -f7 >> tmp-megablast-pis.txt 2>/dev/null done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-megablast-pis.txt | sort -n | head -1` 2>/dev/null # num. sortierung; kleinster Wert oben gr=`cat tmp-megablast-pis.txt | sort -nr | head -1` 2>/dev/null # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then mbpi="$kl-$gr" # 56.78-67.87 else mbpi="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-megablast-pis.txt 2>/dev/null elif [[ $mb0 != 0 ]] ; then mb=$mb0 kl= ; gr= kl=`cat tmp-megablast-pis.txt | sort -n | head -1` 2>/dev/null gr=`cat tmp-megablast-pis.txt | sort -nr | head -1` 2>/dev/null if [[ $kl != $gr ]] ; then mbpi="$kl-$gr" ; else mbpi="$kl" ; fi fi ; rm tmp-megablast-pis.txt 2>/dev/null # Blastn- + homologie results if (( `sed -n '/Taxonomy-ID/,// p' MultiBlast/Blastn/Result-Protocol.txt 2>/dev/null | cut -f1 | grep "\<$line3\>" | wc -l` == 1 )) && ! tr -s [:blank:] " " < test-taxcount.txt | cut -d " " -f2 | grep -q "\<$line3\>" ; then z=`sed -n '/Taxonomy-ID/,// p' MultiBlast/Blastn/Result-Protocol.txt | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` 2>/dev/null bn=`sed -n '/Taxonomy-ID/,// p' MultiBlast/Blastn/Result-Protocol.txt | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` 2>/dev/null y= ; y=(`cut -f8 MultiBlast/Blastn/Blast-Hits.xls | grep -n "\<$line3\>" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" MultiBlast/Blastn/Blast-Hits.xls | cut -f7 >> tmp-blastn-pis.txt 2>/dev/null done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-blastn-pis.txt | sort -n | head -1` # num. sortierung; kleinster Wert oben gr=`cat tmp-blastn-pis.txt | sort -nr | head -1` # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then bnpi="$kl-$gr" # 56.78 - 67.87 else bnpi="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-blastn-pis.txt elif (( `sed -n '/Taxonomy-ID/,// p' MultiBlast/Blastn/Result-Protocol.txt 2>/dev/null | cut -f1 | grep "\<$line3\>" | wc -l` == 2 )) ; then z=`sed -n "/\<$line3\>/,// p" MultiBlast/Blastn/Result-Protocol.txt | sed '1d' | cut -f1 | grep -n "\<$line3\>" | cut -d ":" -f1` 2>/dev/null mb=`sed -n "/\<$line3\>/,// p" MultiBlast/Blastn/Result-Protocol.txt | sed '1d' | sed -n "$z p" | tr -s [:blank:] " " | cut -d " " -f3` 2>/dev/null y= ; y=(`cut -f8 MultiBlast/Blastn/Blast-Hits.xls | grep -n "\<$line3\>" | cut -d ":" -f1`) for i in ${y[*]} ; do sed -n "${i}p" MultiBlast/Blastn/Blast-Hits.xls | cut -f7 >> tmp-blastn-pis.txt 2>/dev/null done # Ende der Array-Schleife kl= ; gr= # lschen beider Variablen kl=`cat tmp-blastn-pis.txt | sort -n | head -1` # num. sortierung; kleinster Wert oben gr=`cat tmp-blastn-pis.txt | sort -nr | head -1` # num. sortierung; grter Wert oben if [[ $kl != $gr ]] # wenn grter und kleinster Wert unterschiedlich sind then bnpi="$kl-$gr" # 56.78 - 67.87 else bnpi="$kl" # ansonsten lass nur den einen stehen fi # zum Vermeiden von 94.65 - 94.65 rm tmp-blastn-pis.txt else bn=0 ; bnpi=0 fi # Zusammenschreiben der Ergebnisse in die entspr. Datei including der Formatierung printf " %-7s %8s %8s %11s %10s " $line3 $count $map $retro $ass >> test-taxcount.txt printf "%10s %14s %10s %14s %8s %14s %-4s \n" $mbvo $mbvopi $mb $mbpi $bn $bnpi >> test-taxcount.txt echo -e "\t\t$line3\t$count\t$name" >> test.txt # z.B. 9606 22 Homo sapiens done < tmp-tax.txt done < tmp-famtax.txt done < tmp-sktax.txt # <: Einlesen dieser Datei fr's while-loop # Scientific name of each tax-id echo -n "assignment of names... " while read line ; do if [ -z "$line" ] then echo >> test-taxcount-names.txt else tax=$(echo $line | cut -d " " -f1) name=`grep "^\<$tax\>" ${taxdir}/names.dmp | grep '\' | cut -f3` if [ -z "$name" ] ; then name='No name found to Tax-ID' ; fi if `cut -f8 tmp-VirenScannerHits.txt | grep -q "\<$tax\>"` then echo "$name (potentially viral read(s) detected inside a eucaryotic genome)" >> test-taxcount-names.txt else echo $name >> test-taxcount-names.txt fi fi done < test-taxcount.txt paste -d " " test-taxcount.txt test-taxcount-names.txt >> ${arbeitsvz}/Result-Protocol_${projektname}.txt # Ermittlung aller Reads die in Contigs verbaut wurden, die Contigs aber nicht getroffen haben ReadsInNoHitContigs=0 ; NoHitContigs=0 if [ -s Assembly/Blast/Blast-NoHit-Accnos.txt ] ; then cut -f1-2 Assembly/Reads_Vs_Contigs-MegaBlastHits.xls | grep 'contig' > tmp_1-2.txt while read line ; do grep "$line$" tmp_1-2.txt | cut -f1 >> tmp_1-2-Accnos.txt done < Assembly/Blast/Blast-NoHit-Accnos.txt sort tmp_1-2-Accnos.txt | uniq > Assembly/ReadsInNoHitContigs-Accnos.txt ReadsInNoHitContigs=`wc -l < Assembly/ReadsInNoHitContigs-Accnos.txt` NoHitContigs=`grep -c '^>' Assembly/NoHit-Contigs.fna` rm tmp_1-2* 2>/dev/null fi # Bestimmung der Anzahl von LowQuality Reads, die nicht mit in die Analyse aufgenommen wurden if [ -s ${arbeitsvz}/Ausgangsdateien/lowquality-reads.fna ] then mv ${arbeitsvz}/Ausgangsdateien/lowquality-reads.fna ${arbeitsvz}/LowQuality-Reads.fna lq=`grep '^>' ${arbeitsvz}/LowQuality-Reads.fna | wc -l` else lq=0 fi echo -e "\n$gleftover\tReads left and" >> Result-Protocol_${projektname}.txt echo -e "$ReadsInNoHitContigs\tReads assembled into $NoHitContigs Contigs without producing a significant alignment." >> Result-Protocol_${projektname}.txt echo -e "$lq\tLow quality Reads were not taken into the analysis.\n" >> Result-Protocol_${projektname}.txt if [[ $furtheranalysis != y ]] ; then echo -e "\n\n\n" >> Result-Protocol_${projektname}.txt ; fi rm ${arbeitsvz}/AnBlast.txt 2>/dev/null ; rm -r ${arbeitsvz}/DB 2>/dev/null ; rm -r ${arbeitsvz}/Ausgangsdateien 2>/dev/null rm ${arbeitsvz}/Assembly/tmp* 2>/dev/null ; rm -r ${arbeitsvz}/Assembly/Assembly 2>/dev/null # Excel Tabelle generieren echo -n "Creating Excel table... " tr -s [:blank:] " " < test-taxcount.txt | cut -d " " -f4- | tr -s [:blank:] "\t" > test-taxcount-rest.txt paste test-2.txt test-taxcount-rest.txt >> test-taxcount-2-rest.txt paste -d " " test-taxcount-2-rest.txt test-taxcount-names.txt >> ${arbeitsvz}/Result-Protocol_${projektname}.xls echo -e "\n$gleftover\tReads left and" >> Result-Protocol_${projektname}.xls echo -e "$ReadsInNoHitContigs\tReads assembled into $NoHitContigs Contigs without a significant alignment." >> Result-Protocol_${projektname}.xls echo -e "$lq\tLow quality Reads were not taken into the analysis.\n" >> Result-Protocol_${projektname}.xls echo "completed." # Beginn der Further Analysis if [[ $furtheranalysis == y ]] then echo -e "\n --- METAGENOMIC ANALYSIS FINISHED --- `date`\n" | tee -a ${arbeitsvz}/Progress-Info.txt if [ -e $arbeitsvz/MultiBlast/Blastn/NoHit-Reads.fna ] || [ -e $arbeitsvz/Assembly/NoHit-Contigs.fna ] ; then zielordner=$arbeitsvz/FurtherAnalysis stype=conread input1=$arbeitsvz/MultiBlast/Blastn/NoHit-Reads.fna anfrage1=NoHit-Reads input2=$arbeitsvz/Assembly/NoHit-Contigs.fna anfrage2=NoHit-Contigs . $installdir/FurtherAnalysis.sh | tee -a ${arbeitsvz}/Progress-Info.txt cat $zielordner/FA_Result-Protocol.txt >> Result-Protocol_${projektname}.txt cat $arbeitsvz/FurtherAnalysis/FA_Result-Protocol.xls >> Result-Protocol_${projektname}.xls fi else echo -e "\n\n\n" >> Result-Protocol_${projektname}.xls fi rm tmp*.txt ; rm test*.txt ; rm AllBlastHits.txt 2>/dev/null # Legende fr die Ergebnisdatei .xls echo -e "\n\n\nExplanation:\n" >> Result-Protocol_${projektname}.xls echo -n " The above table displays all in the data identified organisms with their Taxonomy-ID and" >> Result-Protocol_${projektname}.xls echo " their respective superior Taxonomy-IDs for the family " >> Result-Protocol_${projektname}.xls echo -n " and the superkingdom including count and scientific name. The adjacent columns divide" >> Result-Protocol_${projektname}.xls echo " the total number of one detected organism into the numbers " >> Result-Protocol_${projektname}.xls echo -n " of the single analysis parts. Not always the number of Tax-IDs result in the number of the" >> Result-Protocol_${projektname}.xls echo " superior Taxonomy-IDs because there is still the " >> Result-Protocol_${projektname}.xls echo -n " possibility of identifing two different organisms in one Read but who belong to the same" >> Result-Protocol_${projektname}.xls echo -ne " family or superkingdom. \n All retroviral reads that were identified after a Mapping against" >> Result-Protocol_${projektname}.xls echo " an eucaryot are located once as an absolut amount within the corresponding " >> Result-Protocol_${projektname}.xls echo -n " organism row and more detailed in the 'Megablast vs orgs' column. They are addionally marked with " >> Result-Protocol_${projektname}.xls echo "'(potentially viral read(s) detected inside " >> Result-Protocol_${projektname}.xls echo " an eucaryotic genome)' behind the scientific name." >> Result-Protocol_${projektname}.xls echo -e "\nCompleted `date`" >> Result-Protocol_${projektname}.xls # und die Ergebnisdatei .txt echo -e "\n\n\nExplanation:\n" >> Result-Protocol_${projektname}.txt echo -n " The above table displays all in the data identified organisms with their Taxonomy-ID and" >> Result-Protocol_${projektname}.txt echo " their respective superior Taxonomy-IDs for the family " >> Result-Protocol_${projektname}.txt echo -n " and the superkingdom including count and scientific name. The adjacent columns divide" >> Result-Protocol_${projektname}.txt echo " the total number of one detected organism into the numbers " >> Result-Protocol_${projektname}.txt echo -n " of the single analysis parts. Not always the number of Tax-IDs result in the number of the" >> Result-Protocol_${projektname}.txt echo " superior Taxonomy-IDs because there is still the " >> Result-Protocol_${projektname}.txt echo -n " possibility of identifing two different organisms in one Read but who belong to the same" >> Result-Protocol_${projektname}.txt echo -ne " family or superkingdom. \n All retroviral reads that were identified after a Mapping against" >> Result-Protocol_${projektname}.txt echo " an eucaryot are located once as an absolut amount within the corresponding " >> Result-Protocol_${projektname}.txt echo -n " organism row and more detailed in the 'Megablast vs orgs' column. They are addionally marked with " >> Result-Protocol_${projektname}.txt echo "'(potentially viral read(s) detected inside " >> Result-Protocol_${projektname}.txt echo " an eucaryotic genome)' behind the scientific name." >> Result-Protocol_${projektname}.txt echo -e "\nCompleted `date`\n" >> Result-Protocol_${projektname}.txt if [[ $furtheranalysis == y ]] ; then echo -e "\n --- FURTHER ANALYSIS FINISHED --- `date`\n" | tee -a ${arbeitsvz}/Progress-Info.txt else echo -e "\n --- METAGENOMIC ANALYSIS FINISHED --- `date`\n" | tee -a ${arbeitsvz}/Progress-Info.txt fi Multi-Gi-Sequenzisolation.sh00007550000000605412470377127020437 0ustar dirk.hoeperdomänen-benutzer# Multi-Gi-Sequenzisolation.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash echo ####################################################### Voreinstellungen bei direkter Benutzung ########################################################## . ~/RIEMS/Config.txt # <- Path of config file (unchanged) while getopts i:o: opt 2>/dev/null ; do # Def. aller mglichen Parameter in der Komandozeile case ${opt} in # Zuordnung der Parameter i) gilist=$OPTARG;; o) zieldatei=$OPTARG fileGI=${zieldatei/*./} arbeitsvzGI=`dirname $zieldatei`/tmp-`basename $zieldatei .$fileGI`;; *) echo "This tool extracts all nucleotide sequences in fasta format of a NCBI database from a GI list." echo "-i: Enter a GI list .txt file (one GI per line)" echo "-o: Enter an output file name" echo ; exit;; esac done if [ $# -lt 2 ] ; then echo "This tool extracts all nucleotide sequences in fasta format of a NCBI database from a GI list." echo "-i: Enter a GI list .txt file (one GI per line)" echo "-o: Enter an output file name" echo ; exit fi ################################################################## Sequenzisolierung ##################################################################### function Extraction() { echo -ne "\r`grep -n "\<$line\>" neulist.txt | cut -d ":" -f1` / $maxneu GI's" $blastdir/blastdbcmd -db $ntdb -entry $line -out GI-${line}.fna 2>/dev/null cat $arbeitsvzGI/GI-${line}.fna >> GI-list.fna rm $arbeitsvzGI/GI-${line}.fna } echo "RUN multiple GI sequence isolation... `date`" mkdir -p $arbeitsvzGI ; cd $arbeitsvzGI max=`wc -l < $gilist` cat $gilist | tr -d [:blank:] | sort | uniq | sort | uniq > neulist.txt maxneu=`wc -l < neulist.txt` echo "$max -> $maxneu nonduplicate GI's" echo "Avg. 6000 GI's / min " (while read line ; do Extraction $line & done < neulist.txt ; wait) mv GI-list.fna $zieldatei ; rm -r $arbeitsvzGI echo -e "completed! `date`\n"SequenceExtraction.sh00007440000002127512476374424017252 0ustar dirk.hoeperdomänen-benutzer# SequenceExtraction.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2015 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash . ~/RIEMS/Config.txt # <- Path of config file (unchanged) echo -e "\n\n ***************** Extraction of taxonomic specific reads *****************" outputordner= while getopts i:r:o: opt 2>/dev/null ; do # Def. aller mglichen Parameter in der Komandozeile case ${opt} in # Zuordnung der Parameter i) taxlist=$OPTARG;; # Eingabe fr den Zielordner r) ref=$OPTARG;; o) outputordner=$OPTARG;; *) # *) wenn -w nicht spezifiziert wurde echo -e "\n -i obligatory: List that includes all Tax-IDs (one ID per line!)" # | echo " -r obligatory: Reference file for the extraction" # | echo " -o optional: Enter target directory were a folder named SeqExtr is automatically created." # | echo " Otherwise the same folder is chosen in which the reference file is located." # | echo ; exit;; # V esac done if [ $# -lt 2 ] ; then # wenn fehlerhafte Eingabe dann Abbruch echo -e "\n -i obligatory: List that includes all Tax-IDs (one ID per line!)" # | echo " -r obligatory: Reference file for the extraction" # | echo " -o optional: Enter target directory were a folder named SeqExtr is automatically created." # | echo " Otherwise the same folder is chosen in which the reference file is located." # | echo ; exit # V fi ######################################################################## Funktionen ###################################################################### function BlastAccnoCat() { grep "\<$line\>$" MultiBlast/Megablast-vs-Orgs/Blast-Hits.xls | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null grep "\<$line\>$" MultiBlast/Megablast/Blast-Hits.xls | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null grep "\<$line\>$" MultiBlast/Blastn/Blast-Hits.xls | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null cut -f1-9 MultiBlast/Megablast-vs-Orgs/Blast-Hits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null cut -f1-9 MultiBlast/Megablast/Blast-Hits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null cut -f1-9 MultiBlast/Blastn/Blast-Hits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null cut -f1-8 MultiBlast/Megablast-vs-Orgs/Blast-Hits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null cut -f1-8 MultiBlast/Megablast/Blast-Hits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null cut -f1-8 MultiBlast/Blastn/Blast-Hits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null } function AssemblyAccnoCat() { grep "\<$line\>$" Assembly/454AllContigs-BlastnHits.xls | cut -f1 >> $workdir/TaxID-${line}-contigs.txt 2>/dev/null cut -f1-9 Assembly/454AllContigs-BlastnHits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}-contigs.txt 2>/dev/null cut -f1-8 Assembly/454AllContigs-BlastnHits.xls | grep "\<$line\>$" | cut -f1 >> $workdir/TaxID-${line}-contigs.txt 2>/dev/null if [ -s $workdir/TaxID-${line}-contigs.txt ] ; then grep -f $workdir/TaxID-${line}-contigs.txt Assembly/Reads_Vs_Contigs-MegaBlastHits.xls | cut -f1 >> $workdir/TaxID-${line}.txt 2>/dev/null fi } #################################################################### Preprocessing ####################################################################### if [ -z "$outputordner" ] ; then outputordner=`dirname $ref` ; fi workdir=$outputordner/SeqExtr/tmp mkdir -p $workdir ; cd $outputordner echo -ne "\n Determining file type of reference sequence... " file=${ref/*./} if [[ $file == fastq ]] ; then cd $workdir echo -ne "\n Fastq file detected, Generating fasta file... " echo ">Dummyreferenz" > dummyref.fna # | echo "AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA" >> dummyref.fna # | Erzeugen einer Dummy Referenz Datei echo "AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA" >> dummyref.fna # V ${gsflxdir}/runMapping -force -cpu $threads -ud -np -no -tr -o D-Mapping dummyref.fna $ref 1>/dev/null # Befehl fr Dummy-Mapping if [ -e D-Mapping/454TrimmedReads.fastq ] then ${embossdir}/seqret -sequence D-Mapping/454TrimmedReads.fastq -snucleotide -sformat fastq -outseq D-Mapping/454TrimmedReads.fna fi ref=$workdir/D-Mapping/454TrimmedReads.fna cd $outputordner fi ###################################################################### Extraction ######################################################################## echo -ne "\n Determining scientific names to corresponding TaxIDs... " sort $taxlist | uniq > $workdir/suftlist.txt while read line ; do name=`grep "^\<$line\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-"` echo -e "$line\t$name" >> $workdir/`basename $workdir/suftlist.txt .txt`_TaxName.txt done < $workdir/suftlist.txt echo -ne "\n Retrieving Accnos from BLAST applications... " (while read line ; do BlastAccnoCat $line & done < $workdir/suftlist.txt ; wait) echo -ne "\n Retrieving Accnos from Assembly... " (while read line ; do AssemblyAccnoCat $line & done < $workdir/suftlist.txt ; wait) echo -ne "\n Retrieving Accnos from Mapping... " ls | grep 'TID' | cut -d "-" -f2 | cut -d "_" -f1 > $workdir/MappingList.txt while read line ; do echo "$line" > $workdir/TID-${line}_ until grep -qw '^1' $workdir/TID-${line}_ ; do taxid=`tail -1 $workdir/TID-${line}_` grep -w "^$taxid" ${taxdir}/nodes.dmp | cut -f3 >> $workdir/TID-${line}_ done done < $workdir/MappingList.txt while read line ; do if grep -qw "$line" $workdir/TID-*_ ; then array=(`grep -lw "$line" $workdir/TID-*_`) for i in ${array[*]} ; do cat `basename ${i}`*/Aligned-Accnos.txt >> $workdir/TaxID-${line}.txt done fi done < $workdir/suftlist.txt echo -ne "\n Preparing sequence extraction... " while read line ; do sort $workdir/TaxID-${line}.txt | uniq > $workdir/TaxID-${line}_su.txt done < $workdir/suftlist.txt echo -e "\n Starting sequence extraction...\n" for i in $workdir/TaxID-*_su.txt ; do out="`basename $ref .$file`_`basename $i _su.txt`" # Rat1_1_sequence _ TaxID-1204514 if (( `basename $i | cut -d "-" -f2 | cut -d "_" -f1` != NA )) # if 1204514 != NA then name=`basename $i | cut -d "-" -f2 | cut -d "_" -f1` # name=1204514 taxname=`grep "^\<$name\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-" | tr -d [=\'=],[=\(=],[=\)=],[=\[=],[=\]=] | tr -s [=\/=] "."` # Campylobacter-phage else taxname=Unclassified-organism fi if [[ $file == sff ]] then $gsflxdir/sfffile -i $i -o SeqExtr/${out}_${taxname}.sff $ref $gsflxdir/sffinfo -s SeqExtr/${out}_${taxname}.sff > SeqExtr/${out}_${taxname}.fna else $gsflxdir/fnafile -i $i -o SeqExtr/${out}_${taxname}.fna $ref fi done rm -r SeqExtr/tmp/ echo -e "\n ***************** Extraction process finished *****************\n" TaxID-Sequenzisolation.sh00007550000003563712470377127017772 0ustar dirk.hoeperdomänen-benutzer# TaxID-Sequenzisolation.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash ####################################################### Voreinstellungen bei direkter Benutzung ########################################################## . ~/RIEMS/Config.txt # <- Path of config file (unchanged) out=${installdir}/reftmp user=eigen while getopts t:o: opt 2>/dev/null ; do # Def. aller mglichen Parameter in der Komandozeile case ${opt} in # Zuordnung der Parameter t) tid=$OPTARG user=fremd;; o) refseqdir=$OPTARG out=$refseqdir/tmp;; *) # fr den Fall einer falschen Parametereingabe erfolgt eine Erluterung echo echo "This tool loads all local NCBI nucleotide sequences of a single Taxonomy ID into a Fasta file." echo "-t obligatory: Enter Taxonomy ID (e.g. -t 40051)" echo "-o optional: Enter target folder (default: ~/RefSequenzen)" echo ; exit;; # und exit: sofortiger Abbruch des Programms esac done if [ $# -lt 2 ] ; then # fr den Fall keiner Parameterspezifizierung; normalerweise Fehlermeldung, echo # da 'tid' fehlt; so aber Abbruch und Erluterung echo "This tool loads all local NCBI nucleotide sequences of a single Taxonomy ID into a Fasta file." echo "-t obligatory: Enter Taxonomy ID (e.g. -t 40051)" echo "-o optional: Enter target folder (default: ~/RefSequenzen)" echo ; exit fi ##################################################################### Funktionen ######################################################################### function GiDownload() { more $i | $blastdir/blastdbcmd -db $ntdb -entry_batch - -out ${i}.fna 2>/dev/null } # Mit Hilfe dieser Funktion werden doppelte GIs aus den Referenzgenomen entfernt und zwar entgltig! function DoubbleKill() { dls=`grep '>gi' ${out}/TID-${tid}.fna | cut -d "|" -f2 | sort | wc -l` # dls: Anzahl Sequenzen udls=`grep '>gi' ${out}/TID-${tid}.fna | cut -d "|" -f2 | sort | uniq | wc -l` # udls: Anzahl Sequenzen wenn sort & uniq if (( $udls < $dls )) # quasi wenn GI's doppelt then echo -ne "\nCAUTION !!! identical GI's detected... remove duplicates... " grep '>gi' ${out}/TID-${tid}.fna | cut -d "|" -f2 | sort | uniq > ${out}/udls.txt z=`wc -l < ${out}/udls.txt` if (( $z >= 23 )) then ((p=$z/23)) split -l $p ${out}/udls.txt ${out}/part- (for i in ${out}/part-* ; do GiDownload $i & done ; wait) cat ${out}/part-*.fna > ${out}/TID-${tid}.fna else $blastdir/blastdbcmd -db $ntdb -entry_batch ${out}/udls.txt -out ${out}/TID-${tid}.fna 2>/dev/null fi dls=`grep '>gi' ${out}/TID-${tid}.fna | cut -d "|" -f2 | sort | wc -l` # dls: Anzahl Sequenzen udls=`grep '>gi' ${out}/TID-${tid}.fna | cut -d "|" -f2 | sort | uniq | wc -l` # udls: Anzahl Sequenzen wenn sort & uniq if (( $udls < $dls )) # quasi wenn GI's doppelt then echo -ne "\nDAMN IT !!! still identical GI's left... eliminate duplicates... " csplit -s ${out}/TID-${tid}.fna /\>gi\|/ {*} -f "${out}/GI-" -n 8 -z -q for i in ${out}/GI-* ; do x=`head -1 $i` if ! grep -q "$x" ${refseqdir}/TID-${tid}_$name.fna 2>/dev/null ; then cat $i >> ${refseqdir}/TID-${tid}_$name.fna fi rm $i done else mv -f ${out}/TID-${tid}.fna ${refseqdir}/TID-${tid}_$name.fna # schieb die Datei in entsprechende Verzeichnis fi else mv -f ${out}/TID-${tid}.fna ${refseqdir}/TID-${tid}_$name.fna # schieb die Datei in entsprechende Verzeichnis fi } ################################################################## Sequenzisolierung ##################################################################### mkdir -p $out ; chmod -R 777 $out # -p: Erzeugen falls nicht vorhanden und keine Fehlermeldung if [ $user = fremd ] # plus Rechtevergabe falls vom 3. ausgefhrt then echo -ne "\nSequence isolation... " # zum besseren Aussehen fr Fremduser if [ -f $refseqdir/TID-${tid}_*.fna ] # existiert die Fasta Datei der Taxonomie ID schon in der lok. Db? then # ja -> Bildschirmausgabe echo "suitable sequences are already available in the local database!" # ansonsten herunterladen echo -n "copying sequences into the output folder... " cp $refseqdir/TID-${tid}*.fna ${refseqdir}/TID-${tid}*.fna echo -e "completed!\n" else name=`grep "^\<$tid\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-" | tr -d [=\'=],[=\(=],[=\)=],[=\[=],[=\]=] | tr -s [=\/=] "."` if [ -z "$name" ] ; then name=No-Name-Found ; fi grep "\<${tid}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 > ${out}/TID-${tid}_Gis.txt z=`wc -l < ${out}/TID-${tid}_Gis.txt` if (( $z >= 23 )) then ((p=$z/23)) split -l $p ${out}/TID-${tid}_Gis.txt ${out}/part- (for i in ${out}/part-* ; do GiDownload $i & done ; wait) cat ${out}/part-*.fna > ${out}/TID-${tid}.fna # taxdir/gi_taxid_nucl.dmp: besteht nur aus 2 Spalten; Linke enthlt die Gi's und Rechte dazu die entsprechende Taxonomie ID # \<${tid}\>$: beschrnkt die Suche nur auf die rechte Spalte und alle Zeilen mit genau der Tax. ID ohne davor o. dahinter stehende Ziffern # cut -f1: isoliert jetzt alle zu der Tax. ID gehrigen Gi's (1.Spalte) und bergibt sie an das Blast Extraktionstool (blastdbcmd) # -entry_batch: Eingabeliste der Gi's (-: weil aus dem vorherigen Befehl einfach bergeben und keine extra Datei angegeben wird) # -out: Output in ~/RefSequenzen/ mit der Taxonomie ID als Namen im Fasta Format # -out: name darf keine Sonderzeichen wie Klammern oder hnliches enthalten! else grep "\<${tid}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 | $blastdir/blastdbcmd -db $ntdb -entry_batch - -out ${out}/TID-${tid}.fna 2>/dev/null fi DoubbleKill rm -r $out 2>/dev/null echo "completed!" if [ -s ${refseqdir}/TID-${tid}_$name.fna ] ; then echo ; else echo -e "No sequences found!\n" ; fi fi else tidsave=`echo "$tid"` # tidsave: Sicherungskopie fr die eingegangene 'tid' echo -n "Sequence isolation of Tax-ID ${tid}... " if grep -q "^\<${tid}\>" ${taxdir}/nodes.dmp ; then grep "^\<${tid}\>" ${taxdir}/nodes.dmp > tmp.txt # tmp.txt: 9606 | 9605 | species | HS | 5 | 1 | .... elif grep -q "\<${tid}\>$" $taxdir/gi_taxid_nucl.dmp ; then if ! [ -s ${refseqdir}/TID-${tid}_*.fna ] # und die Referenz noch nicht existiert, extrahiere sie then name=`grep "^\<$tid\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-" | tr -d [=\'=],[=\(=],[=\)=],[=\[=],[=\]=] | tr -s [=\/=] "."` if [ -z "$name" ] ; then name=No-Name-Found ; fi grep "\<${tid}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 > ${out}/TID-${tid}_Gis.txt z=`wc -l < ${out}/TID-${tid}_Gis.txt` if (( $z >= 23 )) then ((p=$z/23)) split -l $p ${out}/TID-${tid}_Gis.txt ${out}/part- (for i in ${out}/part-* ; do GiDownload $i & done ; wait) cat ${out}/part-*.fna > ${out}/TID-${tid}.fna rm ${out}/part-*.fna 2>/dev/null else grep "\<${tid}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 | $blastdir/blastdbcmd -db $ntdb -entry_batch - -out ${out}/TID-${tid}.fna 2>/dev/null fi # Sequenzen der GI's werden manchmal mehrfach herunter geladen; obwohl keine Duplikate in der Gi-Liste; # auch nicht durch sort, uniq, & sed '/^$/d' zu beheben DoubbleKill rm -r $out 2>/dev/null echo "completed!" else echo "suitable sequences are already available in the local database!" fi else rm -r $out 2>/dev/null ; break fi if grep -q 'species' tmp.txt 2>/dev/null # wenn du 'species' greppen kannst then if ! [ -s ${refseqdir}/TID-${tid}_*.fna ] # und die Referenz noch nicht existiert, extrahiere sie then name=`grep "^\<$tid\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-" | tr -d [=\'=],[=\(=],[=\)=],[=\[=],[=\]=] | tr -s [=\/=] "."` if [ -z "$name" ] ; then name=No-Name-Found ; fi grep "\<${tid}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 > ${out}/TID-${tid}_Gis.txt z=`wc -l < ${out}/TID-${tid}_Gis.txt` if (( $z >= 23 )) then ((p=$z/23)) split -l $p ${out}/TID-${tid}_Gis.txt ${out}/part- (for i in ${out}/part-* ; do GiDownload $i & done ; wait) cat ${out}/part-*.fna > ${out}/TID-${tid}.fna rm ${out}/part-*.fna 2>/dev/null else grep "\<${tid}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 | $blastdir/blastdbcmd -db $ntdb -entry_batch - -out ${out}/TID-${tid}.fna 2>/dev/null fi # Sequenzen der GI's werden manchmal mehrfach herunter geladen; obwohl keine Duplikate in der Gi-Liste; # auch nicht durch sort, uniq, & sed '/^$/d' zu beheben DoubbleKill rm -r $out 2>/dev/null echo "completed!" else echo "suitable sequences are already available in the local database!" fi elif [ -s ${refseqdir}/TID-${tid}_*.fna ] then echo "impossible to isolate superior rank sequences!" else # wenn du 'species' nicht greppen kannst until grep -q 'species' tmp.txt || cut -f3 tmp.txt | grep -q "\<1\>" ; do # machst du folgendes bis du es kannst # falls tid schon ber species beginnt nur bis 1 laufen (root), sonst natrlich endlosschleife taxneu=`cut -f3 tmp.txt` # 3. Spalte ausschneiden (9605) = 'taxneu' taxalt=`cut -f1 tmp.txt` # 1. Spalte (9606) = 'taxalt' grep "^\<$taxneu\>" ${taxdir}/nodes.dmp > tmp.txt # suche (9605) in der 1. Spalte und berschreibe tmp.txt echo "$taxalt" >> tax.txt # tax.txt: 9606 9605 9604 etc. done if cut -f3 tmp.txt | grep -q "\<1\>" ; then break ; fi tid=`echo "$taxneu"` if ! [ -s ${refseqdir}/TID-${taxneu}_*.fna ] ; then # wenn neue taxid noch nicht isoliert wurde , isoliere! name=`grep "^\<$taxneu\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-" | tr -d [=\'=],[=\(=],[=\)=],[=\[=],[=\]=] | tr -s [=\/=] "."` # ',(,) muss aus dem namen entfernt werden, da sont Mapping, mv etc nicht mglich if [ -z "$name" ] ; then name=No-Name-Found ; fi grep "\<${taxneu}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 | $blastdir/blastdbcmd -db $ntdb -entry_batch - -out ${out}/TID-${taxneu}.fna 2>/dev/null if ! [ -s ${out}/TID-${taxneu}.fna ] ; then # wenn isolierte ref (species) leer ist tac tax.txt > tmp.txt ; rm tax.txt # reihenfolge der bis zur species isolierten ref wird invertiert until [ -s ${out}/TID-${tid}.fna ] ; do # isoliere den Quatsch bis eine ref nicht mehr leer ist while read line ; do # fr jede taxid in der invertierten Liste name=`grep "^\<${line}\>" ${taxdir}/names.dmp | grep '\' | cut -f3 | tr -s [:blank:] "-" | tr -d [=\'=],[=\(=],[=\)=],[=\[=],[=\]=] | tr -s [=\/=] "."` grep "\<${line}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 > ${out}/TID-${line}_Gis.txt z=`wc -l < ${out}/TID-${line}_Gis.txt` if (( $z >= 23 )) then ((p=$z/23)) split -l $p ${out}/TID-${line}_Gis.txt ${out}/part- (for i in ${out}/part-* ; do GiDownload $i & done ; wait) cat ${out}/part-*.fna > ${out}/TID-${line}.fna else grep "\<${line}\>$" $taxdir/gi_taxid_nucl.dmp | cut -f1 | $blastdir/blastdbcmd -db $ntdb -entry_batch - -out ${out}/TID-${line}.fna 2>/dev/null fi tid=`echo "$line"` # dabei ist jedes Mal $line = tid neu definiert done < tmp.txt # tid wird fr die folgenden tool bentigt done fi DoubbleKill rm -r $out 2>/dev/null fi if grep -q "$taxneu" ${arbeitsvz}/AnBlast.txt 2>/dev/null then echo "Taxonomy-ID $tidsave is part of previous isolated sequences from Taxonomy-ID $taxneu !" echo "TID-$tidsave" >> ${arbeitsvz}/AnBlast.txt else echo "completed!" fi fi rm tax.txt 2>/dev/null ; rm tmp.txt 2>/dev/null fi rm -r $out 2>/dev/nullTrimSff.sh00007550000002551612476372562015020 0ustar dirk.hoeperdomänen-benutzer# TrimSff.sh - part of RIEMS - Reliable Information Extraction from MEtagenomic Sequence datasets # Copyright (C) 2009-2014 Matthias Scheuch, Dirk Hoeper # # This program is free software: you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation, either version 3 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program. If not, see . #!/bin/bash ####################################################### Voreinstellungen bei direkter Benutzung ########################################################## . ~/RIEMS/Config.txt # <- Path of config file (unchanged) query=${arbeitsvz}/Ausgangsdateien/Orginaldatei.$file # Default Einstellung fr die Anfrage output=${arbeitsvz}/Ausgangsdateien/Trimmed.fna # Default Einstellung fr getrimmte Reads (bei Verw. als SP) while getopts i:o: opt 2>/dev/null ; do # Def. aller mglichen Parameter in der Komandozeile case ${opt} in # Zuordnung der Parameter o) arbeitsvz=$OPTARG/TrimData;; i) query=$OPTARG file=${query/*./} q=`basename $query .$file`;; *) # fr den Fall einer falschen Parametereingabe erfolgt eine Erluterung echo echo "This tool runs a Mapping vs an artificial referenz to receive all Mapping trimpoints and uses those to create a new trimmed sff file" echo "-i obligatory: Enter complete query .sff file path" echo "-o obligatory: Enter target folder for the output" echo ; exit;; # und exit: sofortiger Abbruch des Programms esac done if [ $# -lt 2 ] ; then # fr den Fall keiner Parameterspezifizierung; normalerweise Fehlermeldung, echo echo "This tool runs a Mapping vs an artificial referenz to receive all Mapping trimpoints and uses those to create a new trimmed sff file" echo "-i obligatory: Enter complete query .sff file path" echo "-o obligatory: Enter target folder for the output" echo ; exit # und exit: sofortiger Abbruch des Programms fi ######################################################################### Trimming ####################################################################### mkdir -p $arbeitsvz 2>/dev/null ; cd $arbeitsvz # Erstellen des Verzeichnisses referenz=${arbeitsvz}/dummy.fna # Name der Dummy Referenz if [ $query != ${arbeitsvz}/Ausgangsdateien/Orginaldatei.$file ] ; then echo ; fi # (120 nt PolyA Schwanz) echo -ne "\rRead quality trimming... " if [[ $file == sff ]] ; then untrim=`$gsflxdir/sffinfo -a $query | wc -l` elif [[ $file == fastq ]] ; then untrim=`awk 'NR%2' $query | awk 'NR%2' | wc -l` # 2x jede 2. Zeile else untrim=`grep -c '^>' $query` fi echo ">Dummyreferenz" > $referenz # | echo "AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA" >> $referenz # | Erzeugen einer Dummy Referenz Datei echo "AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA" >> $referenz # V mapfailcounter=0 until ls ${arbeitsvz}/D-Mapping 2>/dev/null | grep -q '454ReadStatus.txt' || (( $mapfailcounter == 2 )) ; do # | falls Mapping fehlschlgt ((mapfailcounter=$mapfailcounter+1)) # V if [ -z $vectrim ] # wenn vectrim leer, dann then ${gsflxdir}/runMapping -force -cpu $threads -ud -np -no -tr -o ${arbeitsvz}/D-Mapping $referenz $query 1>/dev/null # Befehl fr Dummy-Mapping else ${gsflxdir}/runMapping -force -cpu $threads -ud -np -no -tr -vt $vectrim -o ${arbeitsvz}/D-Mapping $referenz $query 1>/dev/null fi done cd D-Mapping cut -f1 454ReadStatus.txt > ReadStatus1.txt cut -f2 454ReadStatus.txt > ReadStatus2.txt cut -f3 454ReadStatus.txt > ReadStatus3.txt cut -f4 454ReadStatus.txt > ReadStatus4.txt if [[ `grep -l "Unmapped\|Full\|Partial\|Too" ReadStatus*.txt` == "ReadStatus2.txt" ]]; then mv ReadStatus1.txt ReadStatus0.txt; fi if [[ `grep -l "Unmapped\|Full\|Partial\|Too" ReadStatus*.txt` == "ReadStatus3.txt" ]]; then mv ReadStatus2.txt ReadStatus0.txt; fi if [[ `grep -l "Unmapped\|Full\|Partial\|Too" ReadStatus*.txt` == "ReadStatus4.txt" ]]; then mv ReadStatus3.txt ReadStatus0.txt; fi anZei=`wc -l ReadStatus0.txt | cut -d " " -f1` let anZei=anZei-2 tail -n ${anZei} ReadStatus0.txt | sort > 454ReadStatus-Accnos.txt #rm ${arbeitsvz}/D-Mapping/ReadStatus*txt cut -f1 454TrimStatus.txt > TrimStatus1.txt cut -f2 454TrimStatus.txt > TrimStatus2.txt cut -f3 454TrimStatus.txt > TrimStatus3.txt cut -f4 454TrimStatus.txt > TrimStatus4.txt grep -v 'Accno' `grep -l "Accno" TrimStatus*txt` | sort > 454TrimStatus-Accnos.txt #rm ${arbeitsvz}/D-Mapping/TrimStatus*txt cd ${arbeitsvz} #grep -v 'Read' D-Mapping/454ReadStatus.txt | grep -v 'Accno' | cut -f3 | sort > D-Mapping/454ReadStatus-Accnos.txt # nur Accnos aus 454ReadStatus.txt #grep -v 'Accno' D-Mapping/454TrimStatus.txt | cut -f2 | sort > D-Mapping/454TrimStatus-Accnos.txt # nur Accnos aus 454TrimStatus.txt diff D-Mapping/454TrimStatus-Accnos.txt D-Mapping/454ReadStatus-Accnos.txt | grep '<' | cut -d " " -f2 > D-Mapping/Trimpoints-Unused-Accnos.txt #if [ -s D-Mapping/Trimpoints-Unused-Accnos.txt ] # then (while read line ; do # | # grep "$line" D-Mapping/454TrimStatus.txt | cut -f 2-4 >> Ausgangsdateien/Trimpoints-Unused.txt & # | Triminfo zu den used Reads # done < D-Mapping/Trimpoints-Unused-Accnos.txt ; wait) # V # else touch Ausgangsdateien/Trimpoints-Unused.txt #fi touch Ausgangsdateien/Trimpoints-Unused.txt # rausnehmen wenn voranstehender Block aktiviert wird if [ $query != ${arbeitsvz}/Ausgangsdateien/Orginaldatei.$file ] then cut -f 1-3 D-Mapping/454TrimStatus-Used.txt > Trimpoints-Used.txt # Triminfo der used Reads if [[ $file == sff ]] then $gsflxdir/sfffile -o ${q}-trimmed.sff -i Trimpoints-Used.txt -tr Trimpoints-Used.txt $query 1>/dev/null # Erstellen neuer sff-datei mit den trimpoints ln -s $query ${q}.sff # Verlinken der Orginaldatei trim=`$gsflxdir/sffinfo -a ${q}-trimmed.sff | wc -l` # Zhlen der neuen Reads else echo -n "sry, in processing for not-.sff files... " # fr nicht sff files noch nicht mglich trim=$untrim fi # Bei Ausfhrung aus dem Metagenomanalysetool mit einer sff Datei else if [[ $file == sff ]] then sed 1D D-Mapping/454TrimStatus.txt | cut -f2- > D-Mapping/454TrimStatus-1.txt $gsflxdir/sfffile -o Ausgangsdateien/Orginaldatei-trimmed.sff -e Ausgangsdateien/Trimpoints-Unused.txt -tr D-Mapping/454TrimStatus-1.txt $query 1>/dev/null $gsflxdir/sffinfo -s Ausgangsdateien/Orginaldatei-trimmed.sff > $output $gsflxdir/sffinfo -q Ausgangsdateien/Orginaldatei-trimmed.sff > Ausgangsdateien/Trimmed.qual $gsflxdir/sfffile -o Ausgangsdateien/lowquality-reads.sff -i Ausgangsdateien/Trimpoints-Unused.txt $query 1>/dev/null $gsflxdir/sffinfo -s Ausgangsdateien/lowquality-reads.sff > Ausgangsdateien/lowquality-reads.fna #$gsflxdir/sffinfo -s $query > Ausgangsdateien/Untrimmed.fna # fr size calculation # rausnehmen, size wird anders kalkuliert; nimmt zu viel Platz weg # $gsflxdir/sffinfo -q $query > Ausgangsdateien/Untrimmed.qual # wahrscheinlich nicht bentigt # als Ref bentigt zum effektiven -pickr 5000 beim 2.Assembly (Ausfhrung in SP_Megablast-Contigs-Reads) cp Ausgangsdateien/Orginaldatei-trimmed.sff Ausgangsdateien/Rest.sff # als 1.Ref bei -pickr 5000 else if [[ $file == fastq ]] then ${embossdir}/seqret -sequence ${query} -snucleotide -sformat fastq -outseq Ausgangsdateien/Untrimmed.fna # awk-Befehl von Matthias durch EMBOSS-seret ersetzt awk 'BEGIN{a=0}{if(a==1){print;a=0}}/^@/{print;a=1}' $query | sed 's/^@/>/' > Ausgangsdateien/Untrimmed.fna # Untrimmed.fna sieht murxig aus, da '@' auch in quals am Anfang stehen kann $gsflxdir/fnafile -o Ausgangsdateien/lowquality-reads.fna -i Ausgangsdateien/Trimpoints-Unused.txt Ausgangsdateien/Untrimmed.fna 1>/dev/null rm Ausgangsdateien/Untrimmed.fna # nimmt nur Platz weg else $gsflxdir/fnafile -o Ausgangsdateien/lowquality-reads.fna -i Ausgangsdateien/Trimpoints-Unused.txt $query 1>/dev/null # cp $query Ausgangsdateien/Untrimmed.fna # | .qual sowohl fr .sff, .fna, # rausnehmen, size wird anders kalkuliert; nimmt zu viel Platz weg fi if [ -e D-Mapping/454TrimmedReads.fastq ] then ${embossdir}/seqret -sequence D-Mapping/454TrimmedReads.fastq -snucleotide -sformat fastq -outseq Ausgangsdateien/Trimmed.fna else mv D-Mapping/454TrimmedReads.fna Ausgangsdateien/Trimmed.fna # | .fas, .fasta, und .fastq mv D-Mapping/454TrimmedReads.qual Ausgangsdateien/Trimmed.qual # V fi if [ -e D-Mapping/454TrimmedReads.fastq ] && [ -e Ausgangsdateien/Trimmed.qual ] then rm Ausgangsdateien/Trimmed.qual fi fi trim=`grep -c '^>' Ausgangsdateien/Trimmed.fna` fi ((trimdiff=${untrim}-${trim})) ; echo "completed and $trimdiff low quality Reads removed." #if [ $query != query=${arbeitsvz}/Ausgangsdateien/Orginaldatei.$file ] ; then echo ; rm -r D-Mapping ; fi #rm $referenz Config.txt00007440000000712412476365112015042 0ustar dirk.hoeperdomänen-benutzer#!/bin/bash #################################################################### Please adapt ######################################################################## # Software paths gsflxdir=/opt/454/bin # directory containg all GS FLX applications (e.g. sfffile, runAssembly etc.) installdir=~/RIEMS # install directory containing all 'RIEMS' subtools (e.g. TrimSff.sh etc.) embossdir=/home/Software/emboss/bin # directory containg all Emboss software applications (e.g. sixpack etc.) blastdir=/usr/bin/ # directory containg all BLAST software applications (e.g. blastn, makeblastdb etc.) # Database paths ntdb=/home/blast_db/ncbi/nt # BLAST nucleotide database protdb=/home/blast_db/ncbi/nr # BLAST non redundant database taxdir=/home/blast_db/taxonomy # directory containing BLAST '.dmp' files (e.g. names.dmp, gi_taxid_nucl.dmp etc.) fasttaxid=/home/blast_db/taxLok # directory containing viral database (automatically created after each BLAST db update) rrnadb=/home/blast_db/silva_rRNA/rRNAdb # optional: required when using standalone BLAST subtool (rRNA database) fasttaxidntdb=$fasttaxid/gi_taxid_nucl/gi_taxid_nucl # database for fast nucl gi -> taxid assignment | (automatically created fasttaxidprotdb=$fasttaxid/gi_taxid_prot/gi_taxid_prot # database for fast prot gi -> taxid assignment V after each BLAST db update) # Additionals threads=24 # number of CPU threads 'RIEMS' may use (the more, the faster!) evalue=0.001 # E-value limit for all BLAST analyses refseqdir=$installdir/RefSequenzen # optional: directory containing downloaded references during analyses #################################################################### Do not touch ######################################################################## #echo -e "\n\n ***** Configuring install files! ***** " #search='# <- Path of config file (unchanged)' #replace=`echo ". ${installdir}/Config.txt # <- Path of config file (changed)"` #echo #echo $search #echo $replace #if grep -q '# <- Path of config file (unchanged)' $installdir/test.sh ; then # echo -ne "\n Multi-Gi-Sequenzisolation.sh... " # sed -e "s/$search/$replace/g" $installdir/test.sh > $installdir/configtmp.txt # mv -f $installdir/configtmp.txt $installdir/test.sh #fi #if grep -q '# <- Path of config file (unchanged)' $installdir/MegaBlast-Contigs-Reads.sh ; then # echo -ne "\n MegaBlast-Contigs-Reads.sh... " #fi #if grep -q '# <- Path of config file (unchanged)' $installdir/TaxID-Sequenzisolation.sh ; then # echo -ne "\n TaxID-Sequenzisolation.sh... " #fi #if grep -q '# <- Path of config file (unchanged)' $installdir/Assembly-ContigBlast.sh ; then # echo -ne "\n Assembly-ContigBlast.sh... " #fi #if grep -q '# <- Path of config file (unchanged)' $installdir/FurtherAnalysis.sh ; then # echo -ne "\n FurtherAnalysis.sh... " #fi #if grep -q '# <- Path of config file (unchanged)' $installdir/Mapping.sh ; then # echo -ne "\n Mapping.sh... " #fi #if grep -q '# <- Path of config file (unchanged)' $installdir/TrimSff.sh ; then # echo -ne "\n TrimSff.sh... " #fi #if grep -q '# <- Path of config file (unchanged)' $installdir/Blast.sh ; then # echo -ne "\n Blast.sh... " #fi #echo -e "\n\n ***** Configuration completed! ***** "README.txt00007440000001566712470377127014610 0ustar dirk.hoeperdomänen-benutzer RIEMS - Reliable Information Extraction from Metagenomic Sequence datasets Copyright (C) 2009-2015 Matthias Scheuch, Dirk Hoeper This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. You should have received a copy of the GNU General Public License along with this program. If not, see . *** THANK YOU FOR INSTALLING RIEMS ON YOUR PC *** Please follow the instructions to complete the installation! EXPLANATION The software pipeline 'RIEMS' (Reliable Information Extraction of Metagenomic Sequence data sets) is a sorting tool written in Bash for classifying sequence reads according to taxa. IMPORTANT NOTES 1. You are allowed to rename the folder 'RIEMS' before completing the installation. 2. Do not change the names of any files in 'RIEMS'. 3. Do not change the content of any files except during the installation. 4. Do not add any files or folders to the present ones into the 'RIEMS' directory. 5. 'RIEMS' requires the following software: 454 Genome Sequencer (version 2.6, 2.8, or 3.0), EMBOSS (version 6.3.1) and BLAST (version 2.2.26) 6. 'RIEMS' requires the following databases: BLAST nucleotide sequence database, BLAST non-redundant protein sequence database and NCBI taxonomy database 7. Files to be analysed should not have any duplicate accession numbers. The assignments will be correct but the number of reads assigned to organisms will be imprecisely in the result protocol file. 8. 'RIEMS' was evaluated under the software versions mentioned in 5. The compatibility to other versions cannot be ensured. Please make sure when using BLAST versions other than 2.2.26+ that these put out the necessary result columns. INSTALLATION 1. Move the folder 'RIEMS' to your desired directory and rename 'RIEMS' if desired. 2. Open 'Config.txt' and adapt the paths of software, databases and additional. 3. Save and close 'Config.txt'. 4. Each sub tool has to read in the file 'Config.txt' before getting started. For that purpose, in each file ending with '.sh', the line displaying the config path must be replaced with the actual path of the 'Path/Config.txt' file. The line is situated in the first few lines of each '.sh' file and marked with: '# <- Path of config file (unchanged)' Do not change '. ' at the beginning of this line. 4. Save and close each '.sh' file. 5. Installation completed! GETTING STARTED Enter 'bash RIEMS_installation_path/Metagenomanalyse.sh' without any quotes on your bash command line and follow the instructions or Enter 'bash RIEMS_installation_path/Metagenomanalyse.sh' and add the following parameters to adjust the analysis: -i obligatory: Specify input sequence file including path If using multiple sequence input files, pls... 1. Specify common dataformat (sff, fastq, fna, fasta, fas, txt, etc.) using "-d" option 2. Specify project name containing the output data using "-p" option 3. Ensure not to have any " " or "," characters in your files 4. Files must be separated using "," between -o obligatory: Enter target directory for the output If using multiple input files, the common project name will be added automatically. -d optional: Common data format; only specify if using multiple sequence input files (sff, fastq, fna, fasta, fas, txt etc.) -p optional: Project name; only specify if using multiple sequence input files -v optional: specify a vector trimming sequence file. -b optional: Further Blast of no hit parts of partial hit sequences (default: no, y). -f optional: Further Analysis performance at the end (default: no, y) -c optional: Copy input file into output directory (default: no, y) (Automatically "y" if using multiple sequence input files) Example1: ../RIEMS/Metagenomanalyse.sh -i path/filename.fna -o outputdir Example2: ../RIEMS/Metagenomanalyse.sh -d fas -i path/filename1.fas,path/filename2.fas -o outputdir -p ProjectX -f y FURTHER SOFTWARE APPLICATIONS Some of the .sh files placed in the RIEMS folder can be run separately by entering 'bash RIEMS_installation_path/file.sh' on your bash command line: Multi-Gi-Sequenzisolation.sh (extracts all nucleotide sequences in fasta format of the NCBI database from a given GI list) -i Enter a GI list .txt file (one GI per line) -o Enter an output file name SequenceExtraction.sh (Extraction of taxonomic specific reads from a 'RIEMS' analysis folder) -i obligatory: List that includes all Tax-IDs (one ID per line!) -r obligatory: Reference file for the extraction -o optional: Enter target directory were a folder named SeqExtr is automatically created. Otherwise the same folder is chosen in which the reference file is located. TaxID-Sequenzisolation.sh (loads all NCBI nucleotide sequences of a single Taxonomy ID into a fasta file) -t obligatory: Enter Taxonomy ID (e.g. -t 40051) -o obligatory: Enter target folder FurtherAnalysis.sh (This tool edits unknown Reads and/or Contigs with a combination of serveral freeware tools to receive as much as possible information.) -t obligatory: Enter the sequence type in fasta format to analyse (read/contig/conread (for both)). -o obligatory: Enter a target directory. -i obligatory: Enter a query read file including complete path. -j obligatory: Enter a query contig file including complete path. (use both, i & j, if -t conread) BUG FIXES 28.08.2013 Input of several files enabled. 29.08.2013 Bug fixed, caused by an incomplete EMBOSS link. 25.09.2013 A failed Assembly is now able to be circumvented by an automatically restart. 26.09.2013 Reads assigned to contigs in the assembly step are now listed under 'Megablast vs orgs' in the result protocol and not under 'Assembly' as before. 09.10.2013 Initial sequence vector trimming implemented. 11.10.2013 Implementing of a multithreading BLAST of partial no hit sequences. 14.10.2013 Vector trimming implemented. 14.11.2013 Partial Blast setting now available on command line settings. 14.11.2013 Additional -n parameter added to mapping to avoid trimming. *** GOOD LUCK, HAVE FUN AND ENJOY THE RESULTS *** license_gpl_v3.pdf00007440000011062112470377127016463 0ustar dirk.hoeperdomänen-benutzer%PDF-1.3 3 0 obj << /Length 2043 /Filter /FlateDecode >> stream xڍXݓ6_3V>,瞚ަN&liA+Qf-n(ko{  #d*Mm7:Y7}BQ'$ߖ?~Z,^x?@rϤCQ樣(4 J)4ۓ<-?#8ޜheu]dQV=T<ݮcQ^$8JrDO2דt*qMS D}6 (G|XliC]zSi:û5WX&L9Nс.3lKx<75O屒`dǕG/D#XO;#m#[8̓k <$M9d2u+gvݰ+FەΖϦ* GxW!=1>3Дޜ/oڱVLbC$7f0cI||x L\Kk1n7g|o7MwKַF樃*tK!=v|r Iq581=X[]ܮXVB&dGZ#)5a/P>O9 [m!O%.#E"A&LEjQO"l?s6Ig(0eNBfĔ  5`q 6rw,V e&P6CWV/Ql8YA0Xߴ΃>\t ;RXSMhCIVf_f r( P9GUGcL&__*dUTq_cV̮1ۜ1_#,@ ÈKtOȘ{:UcK'YJɊ=8>)ܼahtķ0e@{ *ѷ"ͯq).{HRY*Қ@2 GQ!q%Pe>)o8ҫJP)dFJ̮d0ý_ y22le؟ f\.ޖ(jK|@皟T/5M2Diz_-brDn9d_jgkxd`sZPT|K2>ܓdql-T8OшO_;GZR@"=h6F$'Є/ ȲB3 1(@ҁ<+~'r 6/-a>@!iAߜ=Ummv* hqzSyHE}3 OV!2C9|Ńh!sL7#2PaOLdtSJ{^)WҒ>7#; ޑ|# rWI,6;kLWїx<w{g\.Vz}ͷj8H2]" z[ẅ́ޯC9=$W_4-'aOFj"ncatǪeAJ-sk%.^ޘ`Z7$tD5U^W&>Et(Eg/9Vl*M$1[@3B]s!+aYRg.7 _))U ,NŚz懪G&|:AJsT{{`W(8  "#g0p;ߊnx9w? O^taސJR ^bVukx` UIBSB?cC;NF=]n_̡ J-_Z=Hw.q@8TPQ"Xr?gM?@>R \ÞhN*J L /s/ ? O,ΨF*;9F a^rRץɅ \zn4.&tKX[͋"_>rk.RֹIa&$%6qozG0P7ty (`хKHG v_FnF;n"u iV(AeTendstream endobj 2 0 obj << /Type /Page /Contents 3 0 R /Resources 1 0 R /MediaBox [0 0 595.276 841.89] /Parent 11 0 R >> endobj 1 0 obj << /Font << /F26 5 0 R /F23 8 0 R /F29 10 0 R >> /ProcSet [ /PDF /Text ] >> endobj 14 0 obj << /Length 2589 /Filter /FlateDecode >> stream x}˒۸[C)wkS^+VNqL |}>4T@771)?TqT*䩺_'eT>OX+]n'yP*08ݩ2#@kkj:mw* n F3}m;:4 SˀKWoQZӝfߟ*G'PɘhN7񶂮D-Dw<)-Ӏ ‘ZNHb0E68BA\h.dju"zzv@N#5{Q[?2u嶇]Î'N25Ԃye@S%\rMC5|Ǜě$h CWZjn_xDm*y+.YI~*ph;̺݇җs?*FX0$sXtNIȂY.%Қj GQמΝ>6K[P#:*^Tzo]rv-X@2rܹ;yDc9WhJ/"uqHk캋P"745qIa[gFTr`#dȞ8oޫ-W1YDy772|i:#ފ L,e[=/Φɶ@ /XHpa^@>" Bp3ލԾgj̣x5MU*I .H0"$ )BkpsVr6¤߀iQQB ҲU넫ReVj!FZT dofm?Q{b07 Μu]2S~8kzvBl#},+"̸ xë]E!%*Hѷg4C{nN)lXxݥۗ/C)|7ɚ*ȅՕK-+ӫ\q 0~1Wo%VA6r>/`M!3? +Ĥ[xՋ"ٿar`׬?J]#m9sz,IziMf>&C8 t^"aeKڗ#șo9搩5`LAYq)ex81>+iPendstream endobj 13 0 obj << /Type /Page /Contents 14 0 R /Resources 12 0 R /MediaBox [0 0 595.276 841.89] /Parent 11 0 R >> endobj 12 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 17 0 obj << /Length 2420 /Filter /FlateDecode >> stream xڅX[~?b*ǎmѢ/Eĵ%Wu}P:)XS3Cr83fSi?qt䩺|w?SYʒۧ0q_v>)Jet|GCd舀B|+U+ BGALDA͜ !ʗrQyف?FgW7g"B qBAZmowja_`D u-[mՇJXyw@BʭT$L4MSޟrm|!,G2xe&.Klfذ!}+f\fHE5=+:41 ~gƘ^F7’p(tż9n9/%qA Nf[G0%bg8&N7.Ym>s;2û N~VPUh  \yBNNBwո_/IG${zUN`}\c(LSev8T &%#6bh (@$M8ľt(xfJX3M2Y,DDX%!|@4 ƳK1OhZ$&qp-E yBiK"1 X,qb$Ū]Um ca1]GY)]#M5:nD䨖"sU ⇷e8js]T{˲`}I@$n)tYNU/ȡ]kA?\r;M~w#3:T#)g$. `Ye& @Z^h8npּV}kUHn\+I 2|;*/KҘ۝Z.1ڕLg4W!:x ̽vmF⢤,tZOVh,{"񙚄^nm+LNG+oR*(FgrKce<M#uuP7 <\r|0̡kLcSԟfo BouOᇣe͚[?,P[ɥnL G5w-&d@o|?ޝll(kk6lR6-{1OA]dnIAtoaO[L<&D$JH Q}uRd'FOм0>z#!ͅ%:1{~S7 AɦwqҜzN˅x},(AV wxLX[M]y%fJj<䃨@t^l7 #V99- 4"Z/at4Ze-yT5ujOaV`[{OTbbI $8!%"_O6lcPbnƗůH$Nn[X]Dǟ/&8|1ɺ\+җWsA[\ 1!uSI*e!yj7CxnZ$kGＰ,0z#/rI7ʻ󟽽'IED`ehT  1 D6NG+E kѓ^ ẹ́%eH<p,EdE.|M~pۃ*0'{t`!DCa+W^ȇHTъn> r hI  s"@쿂"J\[OQ-eWP!ϒ1r!/}7d_ROϏ,.J0We%o,*ed!e&e_BO~;q,3endstream endobj 16 0 obj << /Type /Page /Contents 17 0 R /Resources 15 0 R /MediaBox [0 0 595.276 841.89] /Parent 11 0 R >> endobj 15 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 20 0 obj << /Length 2209 /Filter /FlateDecode >> stream xڍێ#;}b6vBx#8 !ۙXi7v7K/I@rU.S)C$>DET_?/~H8>TX_Ito [_7v [}| #潋sqPc- (?u;zO&[&9"/=s,'eƮT%Jwq ׶m( xQ^  2dvXvlEQҶlj j./@h7p*RF^8/ꈬ3Vj1Y5\C +[pQ\U9!VP\Md Z{PėUB5~3LϲX_6*B^XU g @LJ'e:"ZrL/ps2%7)&( ^Hf2,QN(PU,VnHw.>L| EFh&=)ܖyYFnE)tt4׭2WI$n?[c }(aǡa׽^$#;/&Ww%5X!q_^McGNJp2a)ΛBBi&Wܖ+'9ދ^6I"}Ct'0$T|3^AM gǛD>srT:$ @,U΃h^0/#%쭀zP3Pt8/Aj41 Ӎ ϨCX0 (P詮- CAD55/X U- yclTaiZbjw\鞹ZؤF(35Oi!3daBL¦A獠@u T&$#A]յu!p \N.nIVIVe"$,ϫjuGn=PWE6gAT7PoZJ e+FϮB#l0-@¦Ȏ=nU er#\(hrPS ">wtfZ&W.˂F!3EVz\";ƋT6,ǾN+mK;s`U2%/v'ˠq%Yʺ#YeWSmAG:/I.{ZAԒWn7ёM75ҳ[G={I3xZ%x80M^-d]NX%Ēv3s:O tͿ$!OWI[tBbY#dmo z6_{>}..ǜU\`$MB;futez>E)'R[5jv/ښ,ԉ%)ŶZH*V&Q.q9xmZ02[L5tw]2m404=!p`>g44=ʠSApIP`$S&b2ؙARvE[H6TzvsL-<@ț"!q])J`bTt?BlpZgBΕ⃋!2O3Cʧ߽~/}endstream endobj 19 0 obj << /Type /Page /Contents 20 0 R /Resources 18 0 R /MediaBox [0 0 595.276 841.89] /Parent 11 0 R >> endobj 18 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 23 0 obj << /Length 2406 /Filter /FlateDecode >> stream xڭY[~?b"kWWKn҃HA/EOhȢBIgQK'mbKj8r83 K?K0*^8:yR?_/Qt8eۅXߪM1 wQX ~Ei]f;f+P"80z3[euǽ $aygMzS1GtsapSgܙ;Pe4=Jn5l;R\gTL5!?%ԦqN>YXhOOa-l >|~VuSwLk~O:INP $I1R8&5f2on0;'ݠev0귄;B;ekU~q7pgӰIB(݄q :n{źpS+J-{3J!ʨm?#zk,:uKн3 ݆NkrPjlj^Zʣh,G"q4W?Ec=zDh%b蔡se2Čḭ 6z 1+.8r&KJb>b pa2W#?)HXZۦIAIǮϜFf*>@MjFFkFm[8SphAT`S3`O[1=IDN$sJh.fO@RKBgI_s|#Lxhƒȹ\I՝eҶʱU S0NJk>Z!BL[G/ #@ɳ3uzգ+-u<aq3?C"[{AIH}?hiXh{~t$@@ > ˙ϓ*+UcAG؏jR :X<@0 YK)nKq<@9PyڻrW͂лXKKVu8MySUq5}S]IO(6O^9%ywJ? c]ƢW%f!kZCNk>rVv抬XMX討2LA.[)銠EAu\z_㔡m럖XVZ;<~$O"2P,{UIP~C7fIrGV9hVX| 4_Ygۓk$y5vqVp_ r1CgY/WsJD/OѺP?ZCAzu`p SHS 4K&%R[:q㇩ m:u v<0[p^= TPC,R7ymlY4viJ>@9a?֏hHeq| =Ff<:܌DHNJ1pBg??},S_bJʻI:m^*tMstńJw &PVH}]X_r.L}RD_??2G ֣OH)GҥcHb*FqV#? v.CxmPRpOK3'|u28@C,n4`f18 md^^zYckNB+xg 5OHOGz;<29@F|kKpAflxOZ$Nu윅@QW+TH#o$A$p$hL*nqKǃGC_{v̶W ڦ6//mFx@P(#U~ % q|N.ʌhR)&!9z#wLendstream endobj 22 0 obj << /Type /Page /Contents 23 0 R /Resources 21 0 R /MediaBox [0 0 595.276 841.89] /Parent 11 0 R >> endobj 21 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 26 0 obj << /Length 2434 /Filter /FlateDecode >> stream x}ˎ>_GX;%Kqv&HE9er%ͬ$:43OGbUw1{Iᗽd:YRVK~UK.P_&cvpNhZ ǻydGƲA N6ܜ֐2ii=p{DM0 >fũ(Ja?;a 'Z?fSr"95%M~qá@N?$*$oӌ͒m_nnp:p8fSb:B!L+|HQӽfyw׵u0 [(%ҁMr=UҚ`./(KF^;/IxWup +Of4LB(u+:p{&nI"2KVlC5EҺ:ަ BM`(? Xa]H-2Eb7ms+Ma=Lldv4b(]ثS ZGE!@*CXl@󋞅4n<`G(1XUvJm1wu k Ok!hɘlK}pc)bQav sHr aiv&łś;(h?jtS#"Aj6q!it] u>D7-$@'"JtVYZЅԘu@0ǝ+ gUu]+vR< Se=d ߝ\VBEf Ax\,pp=2K)e!LsOcHVR0nsdpx-@6cRt,pƫ\Q*ɒ^Mr@'< < dÆAHUSsRbH0qeT2n6)w{\ʹ\$s*s<]0rI"Y"aBƀ4n؍17z'F6fQ`5{uat6f=1uh8đ [ poNt!Wh7$]![T4t$檎N\L>^@|ɳ<*:vm\\^> ^s"ܹa \<:„=022@˙7 if,uHX@YT෥΃`;t\D{w._e]}w7.A:yg+Ib\tF,Q%zWE`2a*ei} 4 XS ҏ Mb@yɰ9"(X17C(FH]mg# j$*{7!|YbMXЁ!Llh^/ʘ}uܬe*v"NsD0-׿W"v)tu<1`k Y9*Rra i;<8|(8Lꑊ,>dj]du,UΩ ʲMbo|YYLKk8`81źjc:~c' YbBlBZ6̝{> endobj 24 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 29 0 obj << /Length 2136 /Filter /FlateDecode >> stream xڍX[o~?"2%m(z@KrLITIiwnrqΝNbK89StV1>OU可_uzJcOW"}郊_*im/Go7ҚA3*Ylպ['8mn#Ӻ?qI~h*[9M{~H:ᶎW#<8op$;fىns%<~wӿ=5OQenU$Ӌ-ザ</YG?յID`~=4<Τ ?!U?2.2y*|d`V(&B\`;Q-B/>BɡӆT75'cу_16ɻAvvs9a'0lqSə֠>섃"hp asjV;aMwt_X<"8F, FA]_ \yo;OLBIrSihC 0¤@H1EPM^|wX3#I&>mDAY RBq6BYixc-X ~_nsL7Z,Ze1\JR>t|uNJ[mC^y.e#He'O33R%j fX]E)Υ5|u#$Im<8g2nv f.e ogkpPb$H$fv\uV ;4ՓxMuF /J 5Bɳy bĩQW3NRq"9?dwÌAF6v+_ԋu @Qox0ys$g ,\zm! _,qǣ_>YĦjSRms9!вptnD^& 驫Om׬y*/~<}c2"WTu)0% "œÓpJtR3$/(7< o"(Γ!perocf c)t=X'. \NU*iE`T@xS[pdn6{ֽroM7Y>ڄjf19GIDOEq%6y17?SurP@r?B![4_]9(q_8+ &1=AͭRJyEVnVw̌=s xyeB셋x`[9D# }$If6(Ei:Ltk*@(P!͆ٞXˊ< G*ƅѩi>&&ʑ}م~ql\28P+⻆eKl,$$_WTʓ q~7!U2{"M= |Lg\/e,endstream endobj 28 0 obj << /Type /Page /Contents 29 0 R /Resources 27 0 R /MediaBox [0 0 595.276 841.89] /Parent 30 0 R >> endobj 27 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 33 0 obj << /Length 2147 /Filter /FlateDecode >> stream xڍXY~_яn`} Od`A}`TYYPtS)GEUӧ~SǬ*,=&u]>UOizl'ӿ9-OQ_=;4Ll5NPl\8FpuhoX L7;_/iq,N>ZܦL⾛vgn93;X_7 9Nj8/.P7D,Դ2ǟ.=3ʊS,Qto{GGF2nF<ՃnM>dpꤡS7G69>װ7*</s-ȢBCPF g0Y_hB^\{xd_ŦX#x|#;— 86/:a}KpFnD*N=Ksi@9|?0eE]sEYȷmy?e@{@Xm#`!ebnXN0$s.HYlH,bމ3ttď=C~06#`V@8xo)/6;($VH8'\H(YH1vzg/Lxn[v$+Zti}8ہėY 9mF8R(?fx<eO ,lhۣTQ1dr#9ah<">Y!2/x} !]`~JQqooo[/=DዑS E/4bۍIh\ *U'u"ڭLwlag:EV!8nV5piAH ۄ(@*m)LqG3,<EfD )b՝`_Q HA5 }Kk ƧY! #Nw:KN<!anh tN6t|e_Q5mFΖzmk@X\]|c^^Ou ׈dS0A9F(Þ@h dGBĈb]=DG<*lsl@HKdm}S,%{wR%(|0E6B˚EZig0^H,Sd/niV2/fjU|Nůz*?CGRi*bK3_>GriIIc*RS*2 {'Y0wg!1wAzE| b( Xp9.xvЃ0ZX7Y|[hNCXIl@]{p:&!sXB)Alxn+غ6NP2V +lz5w- d-2".1 )d]CIoZ߇ Y PUqR4Eo}k.]&'GcRO IR>XV; .Noa6v۽SmcI燀-9$6 xk$FP=IdX "X2"R7}).2;hl<PB iӰ2ܼMCӏ⬲;qVjY~]<{ޖ8)Lm@ 3z:z*uye$ r΋G7s%a`]=$Nܚn83**n*G!zzݵ[m}@/Eul2>_3~x_endstream endobj 32 0 obj << /Type /Page /Contents 33 0 R /Resources 31 0 R /MediaBox [0 0 595.276 841.89] /Parent 30 0 R >> endobj 31 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 36 0 obj << /Length 2445 /Filter /FlateDecode >> stream x}ˎ>_ѷ@[q@612%qz>$ՃdX*ֻ))KC^WOMҦx._寿Sڪzz9K'<煶y=zeF,l 4,Q8+I{oC:gG^2w1yU1*ۗY;/fYy(˚V0  EH_jZT5SP.gNM/QpL~=mE7m(Z\vnb=o,}ax݅JFe|(Kժ;UyF Y[^xuYw`sWdWdz"݊~H:NqFO0x}Uˮ# 'W>j?/X0v̈́Wg$un!w!6I7O+޼: xv7CzB`5ͪL<\,Mӛa%6W ½`lYZ|lPI?RIA'f1ntd0y=͌gyur>9?F.C7 /9&,ndX5T8Mny 9I`*xl$Qwhdrɧk{rk+-P&b_0t[aL]2/wn8pBI↼8H;5@Dd|wV]MRN 6lH zg" 36NHX hX%Ujl7LnN G>e. 'yeV;Jx9(-Lf mrڋƊ+nec=aBG u"|(F0)y= ˎcwRR!R,c7L~xa$F^naa C>OMҖ@a$I8"*DҖJ&o.sdZ)1q& l0ƳO-'2lY6tM@٣xȇ҆;:Il=$$\Wt:yaPFnqJVG=¥8RnE{TSE1Q*8N;2"6i,LA;t% Мr"XtHA9Κ3SQ'$]{`\N#HgC(\jE\?Ɣ. Z(kmI)`)_ %Z#:U#([1 K0%XUpA>;99W(E2JP2嫎'O"%~Lvr#}`ksQJ*zOnLa!IN^g1qrR5A\g%"M(N·M ȫa{ > ǹ ˪ 9JYq^Y"IcfΑ*7CV}RBuIo)Le1]?7nz;Ks.B(`UJg t;|2[礖92:& M`pqێNqW`osm7 F<d alYy5RW*WYx=9(NF&R7~j liM9ڢn^u=5HWsW7KW`O꿺cUҊCs?}<޲X[q Y #ž" ??-£b h j8:kħ}yF/uPendstream endobj 35 0 obj << /Type /Page /Contents 36 0 R /Resources 34 0 R /MediaBox [0 0 595.276 841.89] /Parent 30 0 R >> endobj 34 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 39 0 obj << /Length 2421 /Filter /FlateDecode >> stream xڅ]~žEn] $^vS5qRR|QmmVpfHS S'{UOJq>݇^>*d_ˉP_FzSy֚ӬƳ?°N42<r@̋M?2e]$ȵwYK࿫_F§v(4LKob{@1ϻxN}t_wE)$ QUySۋChi0N `>X&Cr0V=Omx?ylsl6pf5>H"'t xNrYQx8Mk ZQ{+~>sTIgP`&&M0faқzgϼ0=c/ܴWӁddw0.=Zb`/]8ⅳ2:^ +ɒqZ8d!{g 6P{z<xB- BN6.ڏ <0ީ; p.' ,Y\cOWFDNݳ*  | 5zGs :< [ox^VAc;Y\D_ 'FnEZ8(]?<p{Jko*Z!,z!q˩G#VVxX[a׆W ЎX ~i aNIE3y#QOӜ3`;KSPrb@<A>:uZؐt|@0kx {ԡTsw()j]yH+}@C?8ᒾyùFTaE6:_[0=ep wULJ-q]%?kO8.j/7FBK)u3;0<BN; a -MTIgy%8ΛuƜdphh$BA@>Nץ L:b 9^8~MzV3x7pX%*ޗU _ +"Hd BQ& ﶮ0'oL:޴}ӥ2" eI*pJ |Y0oy<"#L9~3 ,vNuc1$Uʕ%\rI%16WK*6K8ID[oU}\uٖ碄$fSlkdKMͦaT-"@,QMC+[<frG(PbAb!y? .tv8W p=40OG_ m299wQv p+:|*X6!NQ)K2IC 5dx;,6wYJ,iRe ф_aNZd!vIEd-uU6Lw:* `$`de+7Ҩ&.^M'GGA3#M1@|b:e75$:|9yiegf,e+8ܧD5ƃONKnL[įV9 >uR^\\I/V1WE찰bdo}Qm̫VGf|p|, NHʙ.]u5s{TEFQ0zͬ5h? j֊  aL<^ -!,0e۶1U:[Cn7KcJqv.UPW'.SH; ðˌՓEr䆒:MxH4:yjbYUi2k^0w?=cjjonzU8{7Jx(@ yX=Ymw?>A$$wIγ'(CV҇_>p*endstream endobj 38 0 obj << /Type /Page /Contents 39 0 R /Resources 37 0 R /MediaBox [0 0 595.276 841.89] /Parent 30 0 R >> endobj 37 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 42 0 obj << /Length 2314 /Filter /FlateDecode >> stream xڅXwL"o$W/D1A4}@ńsw[jOݿG{͡2+b|_}4UZ,%?eJ y}xڤI[ʯẅ`:#'~͸(`=Kڥ'-D='}qCӕ%EPdgê}C U~{|~05>3IeɍX+CF31)b9E\^9*'sȁ%{r([oѤEGy&f NB̘Zw2i @+Y؃?0f/my|vZo2Q6Set>"o,O>6$QFS[ @9ǗWsM>Nu8cLVA.χ#Y$Cs:o d4[]^R޳H$cNw j<>e@͏L_EQ .qT8O( )n|Mvǀx_l\*Ӥܦܪd6FEU_h* g7䯿 648 f &m`O|/@hԜ+_'xvW+gz#joܸrsxٽ1 Y~;>R _P,l4MSpabܕ?=vkXw`h|M OSX>/C#vuD_"փ,S `2|1`Ww5_1"2w(_koO4?%Z}80::?S!PWsHՄ1aB2Pd ^eBAD&nNpؘARz.F4M3we;$1IC7ڳEe}J nM GhQwh>alf8||S&;ESܐX7zN2eMz&4Nيԙ9ܳeg:yLI7@}e&\h Nx!"гzWv B$$i@hb8/sZҁ922Qt|1OS7eSE #`\+RH h8ңT==|ϥh^{DMjU0 wJ=v{7J @<9؞hKghsM 18Fl쭮'k8 'bS :бD 댅(X\&n>SvL@>Ad @̇4,nyKw8`h9jVdWR)µ\\A- j7*m4ɺ(^[z`ts:@/12y({hcܹt\ kF,cwp={a4Zds lJKBt9)rBnikH]nc:x+ i3y1;̀ЮuY7d s/àu85S@!m'b E. sg/<u;NHon4F-z~gV6?)t3]oC-> endobj 40 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 45 0 obj << /Length 2179 /Filter /FlateDecode >> stream xڵko6|;X+zY(&]$H}e"*(f8CY!@8yn/nw$)>>>bq_NQ)-l7M} k>YkU:A\΂󟙿pDKTjUEȊײ5SE' ;ʮzi|?AQwm8YJh:HNN ٶyZ&oHoi(hȊB훼b̸P >?6"ʢb#nEwhQsF)r 'ta2MyLI \pd|Oy8y6 QFY߬{o?tHAYbRM|ad u _ 4Wy ̰Gnd.aEaHםi0\B gc3._ڞĀ!_6w>"Ζ+~ԁ8gQae9-u6 qhd^o.Q$FgXhR"*V`3yZ_5T:V@)ClxG+x"ȼ(|XJMf? ImcvN)YIՂXVg`<W]yH9Нq{\R U+v]uQ7؍h* \YUNeBnzDa*ra&b"+JLRx^P1L,gH[4m=` '"d@ ŷ:h*Q鈮lP]C0&9AX;Z+뮿o6V2žQs,E+.oS{'XjC )҂,›yY;~RVY+k'G7!bᰜ:ǐu+ŖF5:NQB?>4 1 =Ȏg۟>+de凮T6i?"?`y\fþTxץu{nM_x6r{}Q Ä_hsy9#DH Rlh>]}0@mXFu{hq²CnfL2[`999>,n3ͼq'p D*&ߍ0Q_kZUSFXjr7(R(/ ¬jwO_1~y}y~wifb.aׅن:{Yzl݈.a;ay Ji iƲcl7L+ez<%4QJ[mȗ۾E|$H vCuq/wW\Lۊ[|A(+"pٗ5z /| /<.S-Ş#󷪶W&olo%NRhrٗ"O,>z*kS+agn^p x0Y"@ ¤eW}k955iJ[Z힕P/]5{l?7{;封whe v ִ^ h8]S3p ?+~W|CyKL;4A#ЗxkY2̜jEaۉ-Aٚx/Njm_-E _A,>ƕ;쾠gA дDG(34 #=?Mh܋`? "ETe~fڟ[hք'kO7]TDFL;dAq yk1@g<zܣF̖SB&$;w#<ܯ>Rendstream endobj 44 0 obj << /Type /Page /Contents 45 0 R /Resources 43 0 R /MediaBox [0 0 595.276 841.89] /Parent 30 0 R >> endobj 43 0 obj << /Font << /F26 5 0 R /F36 47 0 R >> /ProcSet [ /PDF /Text ] >> endobj 50 0 obj << /Length 466 /Filter /FlateDecode >> stream xmRM ݿ_rvf®.xSR/b8p-AL5s{ɿa oU@mߠYa܀/L2ME-i]._yǤa1+f",m씞!74U'1j4%bS| {Fg;62RVnx˂= gǾtO>< ޓc^ʌ =!g177N:0I?ƺ}HLs\qWb#OQ`mY0z^*W\)j#ʨyL+k27˙fG; ѭ\,k{endstream endobj 49 0 obj << /Type /Page /Contents 50 0 R /Resources 48 0 R /MediaBox [0 0 595.276 841.89] /Parent 51 0 R >> endobj 48 0 obj << /Font << /F26 5 0 R >> /ProcSet [ /PDF /Text ] >> endobj 52 0 obj << /Type /Encoding /Differences [ 0 /.notdef 1/dotaccent/fi/fl/fraction/hungarumlaut/Lslash/lslash/ogonek/ring 10/.notdef 11/breve/minus 13/.notdef 14/Zcaron/zcaron/caron/dotlessi/dotlessj/ff/ffi/ffl 22/.notdef 30/grave/quotesingle/space/exclam/quotedbl/numbersign/dollar/percent/ampersand/quoteright/parenleft/parenright/asterisk/plus/comma/hyphen/period/slash/zero/one/two/three/four/five/six/seven/eight/nine/colon/semicolon/less/equal/greater/question/at/A/B/C/D/E/F/G/H/I/J/K/L/M/N/O/P/Q/R/S/T/U/V/W/X/Y/Z/bracketleft/backslash/bracketright/asciicircum/underscore/quoteleft/a/b/c/d/e/f/g/h/i/j/k/l/m/n/o/p/q/r/s/t/u/v/w/x/y/z/braceleft/bar/braceright/asciitilde 127/.notdef 130/quotesinglbase/florin/quotedblbase/ellipsis/dagger/daggerdbl/circumflex/perthousand/Scaron/guilsinglleft/OE 141/.notdef 147/quotedblleft/quotedblright/bullet/endash/emdash/tilde/trademark/scaron/guilsinglright/oe 157/.notdef 159/Ydieresis 160/.notdef 161/exclamdown/cent/sterling/currency/yen/brokenbar/section/dieresis/copyright/ordfeminine/guillemotleft/logicalnot/hyphen/registered/macron/degree/plusminus/twosuperior/threesuperior/acute/mu/paragraph/periodcentered/cedilla/onesuperior/ordmasculine/guillemotright/onequarter/onehalf/threequarters/questiondown/Agrave/Aacute/Acircumflex/Atilde/Adieresis/Aring/AE/Ccedilla/Egrave/Eacute/Ecircumflex/Edieresis/Igrave/Iacute/Icircumflex/Idieresis/Eth/Ntilde/Ograve/Oacute/Ocircumflex/Otilde/Odieresis/multiply/Oslash/Ugrave/Uacute/Ucircumflex/Udieresis/Yacute/Thorn/germandbls/agrave/aacute/acircumflex/atilde/adieresis/aring/ae/ccedilla/egrave/eacute/ecircumflex/edieresis/igrave/iacute/icircumflex/idieresis/eth/ntilde/ograve/oacute/ocircumflex/otilde/odieresis/divide/oslash/ugrave/uacute/ucircumflex/udieresis/yacute/thorn/ydieresis] >> endobj 47 0 obj << /Type /Font /Subtype /Type1 /Encoding 52 0 R /BaseFont /Courier >> endobj 10 0 obj << /Type /Font /Subtype /Type1 /Encoding 52 0 R /BaseFont /Times-Bold >> endobj 7 0 obj << /Length1 778 /Length2 643 /Length3 532 /Length 1204 /Filter /FlateDecode >> stream xSU uLOJu+53Rp 44P03RUu.JM,sI,IR04Tp,MW04U002225RUp/,L(Qp)2WpM-LNSM,HZRQZZTeh\ǥrg^Z9D8&UZT tБ @'T*qJB7ܭ4'/1d<80s3s**s JKR|SRЕB盚Y.Y옗khg`l ,vˬHM ,IPHK)N楠;|`臸Gy{jC,WRY`P "P*ʬP6300*B+2׼̼t#S3ĢJ.` L 2RR+R+./jQMBZ~(Z 3sRAVS~ExCC3ssZTy. F%敀0`L`V&sݼlݒ5}[:VsY3~K&npϘiӳn\oҺl"pn⽵zfD_0ݢWn:wȷti;2^?}kr%rx$nOt{悷8v8|KesR^-?\łuu\neoN+C6Z|emQGl *^(ʄP -l5סVs{/]޿od՟a"-N[Oֳ\7S(FCۍy4.:Qs/G#^ka;~Ns{olQ`5Yn_5uk>в;ac~G$ vr/w oNa-V?kԀaaL,*M,'endstream endobj 8 0 obj << /Type /Font /Subtype /Type1 /Encoding 53 0 R /FirstChar 13 /LastChar 13 /Widths 54 0 R /BaseFont /TFSZKI+CMSY10 /FontDescriptor 6 0 R >> endobj 6 0 obj << /Ascent 750 /CapHeight 683 /Descent -194 /FontName /TFSZKI+CMSY10 /ItalicAngle -14 /StemV 85 /XHeight 431 /FontBBox [-29 -960 1116 775] /Flags 4 /CharSet (/circlecopyrt) /FontFile 7 0 R >> endobj 54 0 obj [1000 ] endobj 53 0 obj << /Type /Encoding /Differences [ 0 /.notdef 13/circlecopyrt 14/.notdef] >> endobj 5 0 obj << /Type /Font /Subtype /Type1 /Encoding 52 0 R /BaseFont /Times-Roman >> endobj 11 0 obj << /Type /Pages /Count 6 /Parent 55 0 R /Kids [2 0 R 13 0 R 16 0 R 19 0 R 22 0 R 25 0 R] >> endobj 30 0 obj << /Type /Pages /Count 6 /Parent 55 0 R /Kids [28 0 R 32 0 R 35 0 R 38 0 R 41 0 R 44 0 R] >> endobj 51 0 obj << /Type /Pages /Count 1 /Parent 55 0 R /Kids [49 0 R] >> endobj 55 0 obj << /Type /Pages /Count 13 /Kids [11 0 R 30 0 R 51 0 R] >> endobj 56 0 obj << /Type /Catalog /Pages 55 0 R >> endobj 57 0 obj << /Producer (pdfTeX-0.14h-pdfcrypt) /CreationDate (D:20071013031800) >> endobj xref 0 58 0000000004 65535 f 0000002242 00000 n 0000002130 00000 n 0000000009 00000 n 0000000009 00000 f 0000035430 00000 n 0000035107 00000 n 0000033631 00000 n 0000034952 00000 n 0000000046 00000 f 0000033542 00000 n 0000035519 00000 n 0000005116 00000 n 0000005001 00000 n 0000002333 00000 n 0000007799 00000 n 0000007684 00000 n 0000005185 00000 n 0000010271 00000 n 0000010156 00000 n 0000007868 00000 n 0000012940 00000 n 0000012825 00000 n 0000010340 00000 n 0000015637 00000 n 0000015522 00000 n 0000013009 00000 n 0000018036 00000 n 0000017921 00000 n 0000015706 00000 n 0000035627 00000 n 0000020446 00000 n 0000020331 00000 n 0000018105 00000 n 0000023154 00000 n 0000023039 00000 n 0000020515 00000 n 0000025838 00000 n 0000025723 00000 n 0000023223 00000 n 0000028415 00000 n 0000028300 00000 n 0000025907 00000 n 0000030857 00000 n 0000030742 00000 n 0000028484 00000 n 0000000000 00000 f 0000033456 00000 n 0000031598 00000 n 0000031483 00000 n 0000030938 00000 n 0000035736 00000 n 0000031667 00000 n 0000035338 00000 n 0000035314 00000 n 0000035810 00000 n 0000035884 00000 n 0000035935 00000 n trailer << /Size 58 /Root 56 0 R /Info 57 0 R >> startxref 36024 %%EOF