H.264 - технология сжатия видео нового поколения по стандартам MPEG-4, также известна как MPEG4 Part 10. Это такой же кодек, как DivX/XviD. С помощью H.264 можно закодировать видеопоток 100% DVD качества в 1/2 битрейта MPEG-2. Т.е. на 1 DVD диск с помощью этого кодека можно записать 2 фильма в качестве идентичном, а чаще даже лучшем, чем в MPEG2, который используется в DVD по умолчанию. Сравнивать эффективность h.264 и XviD бесполезно, на данном этапе эволюции h264 кодеков битрейт для кодирования в h264 можно резать практически пополам от запланированного для Xvid. При этом картинка может запросто получиться более качественной, чем закодированная в тот же xvid c двукратным битрейтом.

MKV или матрёшка - это видео контейнер, т.е. это не формат сжатия аудио или видео, а всего навсего упаковка, в которую заворачивается аудио/видео контент. AVI - тоже контейнер для мультимедийного контента, который может содержать аудио/видео сжатые различными кодеками.

Формат AVI, представленный комапнией Microsoft в начале 90х, как контейнер для VfW (video for windows) библиотек разработчиков. Благодаря изначально заложенной универсальности, контейнер AVI успешно существует и справляется со своими функциями и в наши дни, но к сожалению, будучи завязан на VfW, имеет ряд ограничений на содержимое, которое в него можно "напихать". В частности не совсем корректно в AVI реализована синхронизация аудио потоков с переменным битрейтом, который даёт колоссальный прирост качеству звука, но часто даёт неприятный эффект рассинхронизации в AVI. В том числе котейнер категорически не поддерживает такие замечательные форматы компрессии звука, как AC3-VBR, OGG или новейший AAC.
Контейнер .mkv разрабатывался с учётом современных тенденций и возможных тенденций будущего. Он абсолютно универсален, так как построен на принципе EBML (то же самое, что и XML, но для двоичных данных). В .mkv можно запихнуть любое количество аудио-видеорядов, меню как на DVD, главы, субтитры, шрифты, постеры, тексты, комментарии, описания, фотоальбомы и проч. Ограничений практически нет. Максимальная совместимость со всеми возможными требованиями к видеоконтейнеру на данный момент и на ближайшее будущее.

При однопроходном кодировании (1-pass) сцены не вычисляются, а кодирование происходит сразу без просчёта, в независимости от сложности сцен с постоянным битрейтом на всём протяжении фильма. В результате в "сложных сценах", где необходим более высокий битрейт - его будет не хватать, а где нет необходимости даже в низком битрейте в статичных сценах и пр. - битрейта будет слишком избыточно. Таким образом, при однопроходном кодировании качество будет страдать именно в сложных динамичных сценах, но зато время на кодирование будет уходить практически вдвое меньше.
Тут уж вам выбирать, что для вас приоритетнее - качество или скорость

* 1-pass - это однопроходное кодирование.

То есть кодирование сразу начинается с первого прохода по заданному битрейту. Какой битрейт вы указали, с таким постоянным битрейтом и будет кодироваться весь фильм не взирая на сложность сцен, движения, количества частиц в кадре, яркости и т.д.
Такой процесс называется постоянным битрейтом CBR (Constant Bit Rate).
Недостаток: избыток битрейта на простых сценах и недостаток битрейта в сложных сценах.

* 2-pass - это двухпроходное кодирование.

В первый проход ничего не кодируется, а только определяются и записываются сцены во временный файл, определяется в каких сценах, на каких именно фреймах происходит интенсивность движения, тональность.
Интенсивность определяется по значительному различию между соседними кадрами. Например, если диктор в студии сидит перед камерой и рассказывает новости, то практически никакого движения, кроме его губ не происходит, поэтому такие сцены вычисляются и впоследствии выделяется минимальное количество битрейта.
А если идут сложные сцены, быстро сменяющиеся, например идет погоня - человек быстро мчится сквозь заросли зелени, а за ним бежит толпа с собаками, то тут в кадре очень много объектов и они очень быстро сменяются. Так вот сюда будет выделятся битрейта значительно больше, даже более того, что ты указал в настройках. То есть из не сложных сцен битрейт будет забираться и отдаваться в сложные сцены.

Второй проход - это уже сам процесс кодирования. Тут информация берётся из временного файла, записанного на основе первого прохода. И на основе этой информации на всём протяжении фильма выделяется нужный битрейт практически в каждый кадр.
Такой процесс называется переменным битрейтом VBR (Variable Bit Rate)

* 3-pass - это трёхпроходное кодирование. Тут за первые два прохода происходит более тьщательный анализ. А на третьем проходе происходит само кодирование видео.

Пресеты кодеков в порядке возврастания качества и соответственно длительности кодирования.
Возьмём примитивный пример сравнения пресетов при идентичных параметрах кодирования.
Вглядитесь в различия скриптов и вы увидите разницу между пресетами.

* 1) Turbo - самый скоростной и самый простой метод выборки данных. Используется только в однопроходном кодировании для получения насколько можно быстрого и беспонтового результата. Как правило используется в большинстве простых программах-кодерах, славящихся быстротой кодирования и ограниченным числом настроек.
Часто встречается такое заблуждение и высказывания типа: Вот пользуюсь такой-то суперпрогой, которая в 10 раз быстрее кодирует и качество просто супер. Так вот, такие проги и используют именно этот пресет кодирования, только в них он называется не Турбо, а HiEndSuperPuper

* 2) Simple - тоже самый простой и беспонтовый метод.
Здесь никакого анализа и самые низкие, зато самые скоростные параметры.

* 3) Ultra - Не идёт ни в какое сравнение с предыдущими двумя. Самый оптимальный по качеству и чуть более долгий по скорости кодирования. Полный анализ по фреймам, почти наивысший уровень качества и метода определения движения.

* 4) Extreme - улучшенный анализ видеопоследовательности. Здесь отличается от ULTRA только на единичку более сложным анализом и соответственно на столько же более длительным процессом кодирования.