#format rst #language de | Hochschule Augsburg, Fakultät für Informatik, Prof. Högl, http://www.hs-augsburg.de/~hhoegl | URL: http://hhoegl.informatik.hs-augsburg.de/hhwiki/SysProg | E-mail: | Letzter Update: 2019-10-22 ========================= Systemnahe Programmierung ========================= .. In diesem Wiki sammle ich Notizen zur Systemnahen Programmierung. Gerne dürfen Sie auch Einträge hinzufügen. Melden Sie sich dazu als "WikiGast" mit Passwort "student" an. .. Bei Fragen zur Veranstaltung und zum Praktikum schicken Sie mir bitte eine E-mail an . **Neu:** * Beispiel `Pointer-in-C `_ vom 22.11.2019 * `Tabelle der Sprungbefehle `_ * `Übungen mit Markdown schreiben `_ * Fetch-Decode-Excute Zyklus http://hhoegl.informatik.hs-augsburg.de/sysprog/img/f-d-e.svg **Schnelle Navigation** || `Inhalt `_ | `Klausuren `_ | Literatur_ | `Übungsaufgaben `_ || || `64-Bit Rechner`_ | `Debuggen mit GDB`_ | ReST_ | Linux_ | No-Root_ | Textdateien_ | Textbrowser_ | Hexdump_ | `Syscalls 64-Bit `_ || `Syscalls 32-Bit `_ || `Rust `_ || `64-Bit "Brennpunkt" `_ .. `pot.c `_ ---- Moodle-Kurs: https://moodle.hs-augsburg.de/course/view.php?id=2806 ---- Sie bekommen die Beispielprogramme von unserem Gitlab mit dem ``git`` Kommando:: git clone https://r-n-d.informatik.hs-augsburg.de:8080/hubert.hoegl/sysprog ---- Diese Veranstaltung ist eine Einführung in die Assembler- und C-Programmierung für Bachelor-Studenten der Informatik. Wir werden dazu das schöne Skript in englischer Sprache von Jonathan Bartlett -- *Programming from the ground up* - "PGU" - verwenden, Sie finden eine von mir nach HTML übertragene Variante unter http://hhoegl.informatik.hs-augsburg.de/sysprog/pgu/ Das Skript ist unter der Open-Source Lizenz `GNU Free Documentation License (GFDL) `_ erschienen, man darf es also jederzeit weiter verbreiten. Beachten Sie auch die für uns wichtigen Anhänge in diesem Buch: * Anhang B: Einige x86 Instruktionen * Anhang C: Einige Linux Systemaufrufe * Anhang D: ASCII Tabelle * Anhang F: Der GDB Debugger (Das Original von 2003 findet man hier: `_). Zusaetzliche Themen, die wir bearbeiten, sind: * Die x86-64 Architektur https://r-n-d.informatik.hs-augsburg.de:8080/hubert.hoegl/sysprog/tree/master/x86-64 * Exploits https://r-n-d.informatik.hs-augsburg.de:8080/hubert.hoegl/sysprog/tree/master/Exploit Die Veranstaltung hat 5 SWS bzw. 6 *Credit Points*. Da ein CP genau 30 Arbeitsstunden entspricht, liegt der gesamte erwartete Zeitaufwand für die Studenten bei immerhin 180 Stunden. .. Früher hiess die Veranstaltung *Maschinennahe Programmierung* (MNP), ich habe sie von 2002 bis 2007 für Diplom-Informatiker gehalten. Der Inhalt der ehemaligen MNP Vorlesung unterscheidet sich deutlich von der aktuellen Veranstaltung, da sich auch das Vorwissen der Bachelor Studenten geändert hat. Ab jetzt lernen die Studenten in den ersten Semestern nicht mehr die Sprache *C*, so dass die Vermittlung von Grundkenntnissen in *C*, neben den Assembler-Kenntnissen, nun in dieser Vorlesung geschehen wird. Tipps ----- .. _64-Bit Rechner: **64-Bit Rechner und 32-Bit Programme** Auf Rechnern mit 64-Bit Betriebssystem sollte man den GNU Assembler und Linker in den 32-Bit Modus schalten. Beim Assembler wählt man ``--32`` und beim Linker ``-m elf_i386``, so wie in folgendem Beispiel:: as -g --32 -al=main.lst -o main.o main.s ld -m elf_i386 -o main main.o Falls man gegen die libc linken möchte, muss man ausserdem die Bibliotheken im 32-Bit Format installieren. Das geht z.B. auf einem Mint Linux 18.2 mit:: sudo apt install gcc-multilib libc6-dev-i386 Alle Beispielprogramme ``im sysprog.git`` Repository werden als 32-Bit Programme kompiliert. Ich nehme an, dass mittlerweile alle unter einem 64-Bit Linux arbeiten und fuer den Kurs Programme im 32-Bit Modus erstellen. .. Man kann auch "ia32-libs" installieren. Das installiert aber viel mehr Pakete. ---- **64-Bit Programme auf x86-64 Architektur** Einige haben nachgefragt, ob es weiterführende Informationen zum x86 mit 64-Bit Architektur gibt. Eine sehr schöne Beschreibung habe ich in folgendem 46-seitigen Text gefunden: https://www.cs.cmu.edu/~fp/courses/15213-s07/misc/asm64-handout.pdf Die beiden Autoren Bryant und O'Hallaron sind auch die Autoren des beeindruckenden Buches "Computer Systems: A Programmers Perspective" (CSAPP), siehe http://csapp.cs.cmu.edu. Es enthält jede Menge interessante Themen zu system- und maschinennaher Programmierung, viel mehr als wir in unserer Veranstaltung machen können. Von Ed Jorgensen gibt es das freie Buch *x86-64 Assembly Language Programming with Ubuntu*, siehe http://www.egr.unlv.edu/~ed/x86.html. Mittlerweile (12/2018) gibt es dazu auch einen Ordner im sysprog.git Repository: https://r-n-d.informatik.hs-augsburg.de:8080/hubert.hoegl/sysprog/tree/master/x86-64. Siehe darin den Text ``main.rst``. .. _Debuggen mit GDB: **GNU Debugger gdb** Den GNU debugger gdb starten Sie mit ``gdb --tui ``. Das ```` ist der Name der **ausführbaren** Datei. Damit Sie in gdb den Quelltext des Programmes sehen können, müssen Sie es mit der Option **-g** übersetzen. In folgendem Beispiel erzeugt die ``-g`` Option die "Debug Informationen" für den gdb. Die ``-al=main.lst`` Option erzeugt das Listing ``main.lst``. :: as -g -al=main.lst -o main.o main.s Eine kurze Anleitung zur Technik des Debugging finden Sie in `Erster Kontakt mit dem GDB `_ . Der Text verwendet das "maximum" Beispiel aus PGU, Kapitel 3. Später sollte man sich noch den Text `GDB für Fortgeschrittene `_ durchlesen. Eine Zusammenfassung der wichtigsten GDB Kommandos für die SysProg-Veranstaltung ist im Repository der Beispiele ``sysprog.git`` (siehe oben) im Ordner `gdb_anleitung `_ (2017-10-23). Es gibt auch eine `Übersicht der Kommandos `_ (Okt 2019). .. _ReST: **Restructured Text (reST) / Markdown** Im WS1920 möchte ich Markdown als Abgabeformat empfehlen, da es einfach zu verwenden ist als reST. Eine kurze Anleitung zu den Möglichkeiten in Markdown ist hier: ``_. .. Die Lösungen zu den Übungsaufgaben geben Sie im reST Format ab. Eine kurze Anleitung finden Sie unter: http://hhoegl.informatik.hs-augsburg.de/hhwiki/FAQ Sie geben sowohl die reST Datei, z.B. ``uebung1.rst`` und die von Ihnen mit rst2html übersetzte Datei ``uebung1.html`` ab. Packen Sie alles in eine ZIP Datei, z.B. ``uebung1.zip``. Die Dateien sind in einem Verzeichnis untergebracht, das genau so heisst wie das Archiv:: uebung1/ uebung1.rst uebung1.html bild.jpg main.s ... Mit ``rst2html`` sollten Sie ohne Fehler eine HTML Datei bekommen. Das Kommando:: rst2html --language=de uebung1.rst uebung1.html sollte ohne schlimme Fehlermeldungen ausgeführt werden. Quelltextdateien sollten Sie mit :: .. include:: main.s :code: asm :number-lines: in Ihre .rst Datei einbauen. .. _Linux: **Tipps zum Arbeiten mit Linux** * Zum fundierten Einarbeiten in Linux empfehle ich die unter einer freien Lizenz erschienene Schulungsunterlage "Linux Essentials" vom `Linux Professional Institute `_ (LPI): https://www.tuxcademy.org/media/lxes/ Sie können dort das 264-seitige Handbuch ``lxes-de-manual-cc.pdf`` im PDF Format kostenlos herunterladen. Eine interessante Textsammlung zu verschiedenen UNIX-Themen wie Vi, Shell, Makefile, C und GDB bietet auch folgende Seite von Norman Matloff: http://heather.cs.ucdavis.edu/~matloff/unix.html Es lohnt sich, dort ein wenig zu stöbern! * Gewöhnen Sie sich an, **nur im Terminal-Fenster zu arbeiten**. Unsere häufigsten Kommandos sind: - Navigation im Filesystem (cd, ls, mkdir). Es ist keine gute Idee, das mit einem grafischen Filebrowser zu erledigen. - Dateien löschen (rm) - Editieren von Dateien (vim, micro, nano) - Aufrufen von make, eventuell mit make Targets, z.B. "make clean" - Starten des Debuggers - Gelegentliche Administrations-Aufgaben (sudo ...), wie zum Beispiel dem Installieren von Paketen .. _No-Root: **Nicht als Administrator (root) arbeiten** Arbeiten Sie beim Programmieren NICHT als Root! Installieren Sie am besten das Paket "sudo" und fügen Sie in /etc/sudoers die Zeile :: stud ALL=(ALL:ALL) ALL hinzu ("stud" ist der Loginname). .. _Textdateien: **Schreiben von Textdateien** Beispiele für Textdateien: reST Dokument, Assembler Quelltext, Makefile. * Ich empfehle den `Vim `_ Editor! * Gewöhnen Sie sich daran, den Text **nicht breiter als 80 Zeichen** zu schreiben. Ein wichtiger Grund dafür ist, dass Braille Blindenschriftzeilen nicht mehr als 80 Zeichen darstellen können. Breite Bildschirme verleiten einen leider gerne, sehr lange Zeilen mit 100 bis 150 Zeichen zu schreiben. Die meisten Editoren können so eingestellt werden, dass Sie automatisch längere Zeilen umbrechen. In Vim verwende ich z.B. in ``~/.vimrc`` das Kommando :: set colorcolumn=80 das mir in Spalte 80 einen vertikalen roten Balken zeigt, über den man nicht schreiben sollte. * Um sich in Vim einzuarbeiten, beginnen Sie am besten mit dem Programm ``vimtutor``. Geben Sie ``vimtutor`` [RETURN] auf der Kommandozeile ein und befolgen Sie die Anweisungen, die Sie danach am Bildschirm sehen. .. _Textbrowser: **Textbrowser** * Ein Textbrowser ist praktisch, wenn man schnell einen Text lesen will. Das Standard-Werkzeug dafür ist ``less``, das man so anwendet:: less text.rst Man kann sich in ~/.bashrc einen Alias einrichten, z.B.:: alias m="less" Damit kann man dann etwas kürzer ``m text.rst`` schreiben. .. _Hexdump: **Hexdump/Hex Editoren** - od - xxd - hexedit .. _Literatur: Literatur --------- Alle folgenden Bücher und Tutorials sind unter einer freien Lizenz erschienen. Das heisst, Sie dürfen Sie jederzeit auf Ihren Rechner kopieren und auch weiterverteilen. * Jonathan Bartlett, **Programming from the ground up** (ohne Vorkenntnisse in C lesbar; baut auf dem GNU Assembler auf. Nehmen Sie die Version ProgrammingGroundUp-1-0-lettersize.pdf) http://savannah.nongnu.org/projects/pgubook/ * Paul Carter, **PC Assembly Language**. Ein wenig C wird vorausgesetzt. Als Assembler wird der "nasm" verwendet. http://pacman128.github.io/pcasm/ * Mike Banahan, Declan Brady and Mark Doran, **The C Book**, Addison Wesley 1991 (frei zum Download) http://publications.gbdirect.co.uk/c_book/ * Mark Burgess, **The GNU C Programming Tutorial** http://markburgess.org/CTutorial/GNU-ctut.pdf * Mark Burgess, **The UNIX Programming Environment** http://markburgess.org/unix/unix.pdf * Nick Parlante, **Essential C** (freier Artikel mit 45 Seiten) http://cslibrary.stanford.edu/101 * Nick Parlante, **Pointers and Memory** http://cslibrary.stanford.edu/102/ * Ted Jensen, **A tutorial on pointers and arrays in C** http://pw1.netcom.com/~tjensen/ptr/pointers.htm * Moritz Höppner, **Linux-Assembler Tutorial**, 2006 (http://hhoegl.informatik.hs-augsburg.de/sysprog/asm_ws.pdf>) * Project Nayuki, **A fundamental introduction to x86 assembly programming** https://www.nayuki.io/page/a-fundamental-introduction-to-x86-assembly-programming * Norman Matloff, Vorlesung **Computer Organization and Machine Dependent Programming**, (`ECS50 `_), Zu dieser Veranstaltung hat Professor Matloff das schöne freie Buch `Below C Level: An Introduction to Computer Systems `_ geschrieben. * Norman Matloff's `Unix and Linux Tutorial Center `_ * `Intel 64 and IA-32 Architectures Software Developer Manuals `_ Lokal: IA-32 Handbücher http://hhoegl.informatik.hs-augsburg.de/sysprog/ia-32-2003/ (der Befehlssatz ist in der Datei 24547112.pdf) IA-64 Handbücher http://hhoegl.informatik.hs-augsburg.de/sysprog/Intel64-and-IA-32-2015/ * David Kreitzer, Max Domeika, **Ensuring Development Success by Understanding and Analyzing Assembly Language**, Intel 2009, ``_. Nun noch ein paar traditionelle Bücher, die man mit Geld kaufen kann: * Randal E. Bryant and David R. O'Hallaron, **Computer Systems: A Programmer's Perspective**, 3rd edition, Addison-Wesley 2015 (http://csapp.cs.cmu.edu) Ein beeindruckend gut gemachtes Lehrbuch, das systemnahe Programmierung mit Rechnerarchitektur verbindet. Das Taschenbuch mit 1120 Seiten kostet gut 60 Euro. Das wär doch was zu Weihnachten -- eine Geschenk für's Leben! * Sivarama P. Dandamudi, **Guide to Assembly Language Programming in Linux**, Springer 2005 (Hochschulangehörige können das Buch von Springerlink herunterladen: https://link.springer.com/book/10.1007/b136895) * Randall Hyde, **Write Great Code**, No Starch Press 2004. http://proquest.tech.safaribooksonline.de/book/software-engineering-and-development/1593270038 Randall Hyde, **Write Great Code, Volume 2**, No Starch Press 2006. http://proquest.tech.safaribooksonline.de/book/software-engineering-and-development/1593270658 * Norman Matloff, Peter Jay Salzman, **The Art of Debugging with GDB, DDD and Eclipse**, No Starch Press 2008. Das erste Kapitel mit dem Titel "Some preliminaries for beginners and pros" (45 Seiten) kann man frei herunterladen. https://www.nostarch.com/debugging.htm http://proquest.tech.safaribooksonline.de/book/software-engineering-and-development/ide/9781593271749 * Justin Seitz, **Hacking mit Python. Fehlersuche, Programmanalyse, Reverse Engineering.** dpunkt Verlag 2009. * Tobias Klein, **Buffer Overflows und Format-String-Schwachstellen: Funktionsweisen, Exploits und Gegenmaßnahmen**, dpunkt Verlag, 2003. Das Buch kann man ueber einen Hochschulzugang auf Safari kostenlos lesen: http://proquest.tech.safaribooksonline.de/book/software-engineering-and-development/9783898641920 Das erste Kapitel mit dem Titel *Buffer Overflows* ist frei zum Herunerladen: http://hhoegl.informatik.hs-augsburg.de/sysprog/Tobias-Klein-Buffer.pdf Es ist eine gute Begleitlektuere fuer unser "Exploit" Beispiel. Vergessen Sie bitte nicht, dass Sie als Studentinnen und Studenten der Hochschule Augsburg über `Safari Books Online `_ gratis Zugriff auf eine riesige Menge an Informatik-Fachbüchern haben. Darunter sind auch viele Lehrbücher über Assembler-Programmierung und der Sprache *C*. .. vim: et sw=3 ts=3 filetype=rst