Приложения — предложение стандартизировать форматы файлов ZX

Tagan News #07

Приложения

Достаточно странно, что нет никаких, кроме базовых, форматов хранения экрана. Видимо, это связано с тем, что на всех остальных платформах имелось несколько режимов вывода экрана (высокое, среднее, низкое разрешения экрана), а на Спектруме традиционно был только один. Следует разрабатывать не только форматы хранения экранных файлов, но и другие форматы. Желательно сделать единую службу по стандартизации форматов, используемых в ZX. В общем виде это будет, скажем, ссылка на всех ZX-ресурсах на страничку по стандартизации, где будет краткое и подробное (ну, по необходимости, скажем, ZIP-файл закачать) описание наиболее распространённых форматов файлов, принятых к использованию на ZX. Тогда любой программист сможет корректировать свой формат для соответствия с другим или, наоборот, заводить свой и быть уверенным, что его формат любой собрат-программист поймёт и сможет использовать.

Очень прошу каждого, кто хочет продолжать ZX, обсудить эту тему как минимум с двумя другими спектрумистами.

Чтобы не быть голословным, приведу конкретику:

  • *.S, *.SCR — традиционно это файлы-экраны длиной 6912, 6144 байта. Надо расширить этот формат на любой размер файла любого формата, т. е. любой файл с расширением SCR должен ВСЕГДА восприниматься как экранный. Другой разговор, что надо учитывать то, что эти файлы могут быть упакованы в каком-то отличном от известных всем форматов. Для этих целей предусмотреть сигнатуру: например, "SCRext" — первые 6 байт.
  • @.C, @.COD — Magick-файлы, традиционные для TR-DOS.

Следует сразу оговориться, что я не считаю, что TR-DOS — единственная система на Спекке, которая имеет место быть сейчас. Однако система символьных имён и расширений — часто применимая конструкция, поэтому (я считаю) надо думать не только о применении таких файлов к TR-DOSу (хотя как практик я рассматриваю именно его), но и к другим ДОСам, ОСам и файловым системам соответственно.

  • *.B, *.BAS — старый добрый BASIC.
  • *.T, *.TXT — текстовые файлы. Могут быть упакованы.
  • *.M, *.MOD — файлы — звуковые модули.
  • *.P, *.PAK — файлы, просто упакованные без какого-то определённого назначения (это могут быть данные, отгрузки и т. д.).
  • *.Z, *.ZIP — архивы от ZXZIP.

Форматы — здесь указываются первые байты файлов:

Упакованные HRUST1.X

Смещение  Длина  Содержимое
+0        2      "HR" — признак
+2        2      длина исходного файла
+4        2      длина упакованного файла
+6        w[+4]  упакованный файл

Депакер

V>>> Далее идёт исходный текст депакера.

Упакованные HRUST2.1

смещение  длина
  +0        3     "hr2" признак
  +3        1     "1"   зарезервировано.
                   Если bit7=1, то файл был
                   просто "сохранен".
  +4        2     длина исходного файла
  +6        2     длина упакованного файла
  +8      w[+6]   упакованный файл.

Депакер

V>>> Далее идет исходный текст депакера.

Упакованные картинки с распаковщиками

Как правило, они содержат инструкции такого типа:

  1. CALL <NN> — вызов из ПЗУ инструкции RET. Бывает, что ставится вызов на RET <условие> (встречаются ещё вызов на инструкции типа Pop <RP>, Mov HL,<RP>, Jp (HL)), при этом заранее выставляются по необходимости флаги — на стек записывается текущий адрес.
  2. DEC SP DEC SP POP <RP>, который затем берётся со стека.
  3. LD <RP>,#4000 — здесь запись в регистровую пару, куда распаковывать. Не принято для депакеров использовать промежуточный буфер — на моём опыте таких депакеров я видел единицы. С другой стороны, адрес может отличаться от #4000, поэтому гораздо корректней проверять по маске вхождение в диапазон #4000-#5AFF или #C000-#DAFF.
  4. LD <RP>,#1B00 или LD <RP>,#1800 — длина распакованного. Такое начало у всех депакеров обосновано тем, что нужно выяснить, по какому адресу находится загруженный файл с депакером. Недостаток такой конструкции: зависит от прерываний (т. е. пришедшее прерывание может разрушить данные на стеке), зависит от типа ПЗУ — а вдруг точка не сработает?

Видел ещё такую конструкцию:

  1. Halt
  2. Dec SP Dec SP Pop <RP>
  3. т. д.

Возможный вариант:

  1. Ld HL,#E9E1 — инструкции Pop HL Jp (HL)
  2. Ld (<SCR_ADR>),HL — запись в область будущей картинки, всё равно будет изменяться
  3. Call <SCR_ADR>

Два последних варианта оптимальны, т. к. не зависят от того, какое ПЗУ используется. Предпоследний (на основе Halt) теряет прерывание, поэтому менее предпочтителен.

Упакованные без депакера

Этот формат наиболее правилен с точки зрения оптимальности размера, хотя, с другой стороны, он требует «знания» формата вьюером, посредством которого всё просматривается.

Laser Compact 5.X
смещение  длина
  +0        5     "LCMP5" — признак
  +5        2     длина упакованного без заголовка (здесь в
                   заголовок включается комментарий)
  +7        1     тип конструкции
  +8        1     длина блока комментария
  +9       NN     комментарий

Депакер

V>>> Далее идет исходный текст депакера.

IS-DOS

Эти файлы не имеют идентификатора, но их можно определить косвенно — достаточно быстрый алгоритм (где-то 1–2 прерывания), и если результат соответствует размеру #1B00, то это он и есть.

V>>> Далее идет исходный текст алгоритма.

Приложения

А почему только 2 формата — неужели нет больше?

Как ни странно, нет.

Я специально просмотрел большое количество упаковщиков картинок и могу заявить, что нет более никаких других распространённых форматов, которые бы сопровождали сохранённые без депакера упакованные картинки идентификатором. Или (как в случае iS-DOS-формата) могли бы достаточно просто распознаваться.

Я привёл несколько конкретных форматов и как их надо идентифицировать. К сожалению (как указано выше), большинство авторов пакеров не задумываются о том, чтобы снабжать свои архивы ID-записями, поэтому зачастую отделять один архив от другого приходится просто знанием: что вот этот конкретный архив от этого, а вот этот — от другого. Если же такой архив придёт без пояснений — понятно, что ничего сделать с ним не представляется возможным.

Особое персональное приглашение всех авторов вьюеров, шеллов и прочих программ принять посильное участие в заполнении этой таблицы. Зачастую авторы таких вьюеров каждый раз изобретают велосипед и тратят своё время не на программирование, а на ковыряние в чужой программе. Если же, кроме описания форматов, будут приведены алгоритмы использования этих форматов и сам депакер для формата, то это позволит ZX-сообществу работать над организацией более эффективной работы данных форматов и совершенствованием, в конечном итоге, работы ПО. Чем больше будет занесено туда данных, тем более эффективной будет работа службы стандартизации на ZX, а следовательно, более эффективной будет работа прикладного ПО на ZX.

Т.е. (например), если захочет некто Василий Пупкин написать прогу для просмотра картинок — он просто скачает эти исходники, скомпилирует их, и будет новая программа от Василия Пупкина для просмотра картинок. С оглядкой на весь компьютерный мир можно сказать, что наиболее перспективные области развития ПО для других станций (не Спектрум в смысле) работают именно таким образом.

Вообще, я вижу за DMA USC большое будущее. Ни одно другое устройство на Спектруме не предоставляло столько возможностей. Возможность на базовой частоте делать multicolor на весь экран, играть AY-music, параллельно крутить MOD-файл — далеко не всё, что может этот девайс. Самое главное — программируемая система прерываний, которая позволит написать эффективные ОС, что даст возможность писать нормальные программы. Использование аппаратных прерываний позволит писать многозадачные ОС: приходит прерывание, процессор сохраняет данные на стеке, анализирует, что и как, и запускает при помощи таблицы приоритетов необходимое приложение. Вообще, вся беда в отсутствии нормальных ОС. Пока ограничением служит только малая распространённость ареала DMA USC и слабая поддержка (точнее, отсутствующая) в эмулах для ZX. Хотя, конечно, я не призываю выкидывать General Sound, Covox и т.п. и ставить себе DMA USC, забыв про всё остальное как страшный сон.

Здесь всё-таки не всё однозначно. Были примеры, когда программисты (хорошие программисты) писали свой BIOS и помещали его вместо ПЗУ-48 или ПЗУ-128. Также хороший пример явила миру фирма Scorpion — так работа с BIOS шла через рестарты, что действительно облегчает работу программисту. Причём для разных версий BIOS Скорпиона работа рестартов обеспечивалась одинаково, к тому же сохранялась совместимость с SOS. Тем не менее, Скорпион у вас или Балтик-128, вы имеете право рассчитывать на то, что у вас система (имеется в виду ОС) будет хорошо работать. Т. о., нужно писать, с одной стороны, аппаратно-независимые ОС, которые, с другой стороны, должны определять и использовать достаточно различающиеся ресурсы вашего ZX.

Как уже выше было указано, проблемы с памятью можно считать разрешёнными — можно написать драйвер (достаточно быстрый), который бы детектировал тип памяти, и для конечного пользователя этот процесс был бы незаметным. Вообще, любая ОС должна иметь несколько уровней работы — для программистов, пользователей, драйверов, программ и т. д. Если вспомнить (а кто не знал, то просто почитать) про семиуровневую модель OSI, то станет ясно, что любая ОС работает так, что все её сервисы можно приписать к какому-нибудь из уровней этой модели (рассматривая, конечно, её как модель для ОС) — драйверы на физический и т. п. Так вот, написание любой ОС должно вестись последовательно от низших уровней к верхним — последовательно реализуя все необходимые функциональные наборы для пользователей и программистов.

Вообще, есть рекомендации ISO по построению и функционированию ОС — так что всем разработчикам будет, наверное, интересно ознакомиться с ними. Стандарты можно найти

В беспредельной паутине — они должны там быть открытыми, хотя не факт, что на русском языке.

Очень мне понравилась система ZX-Windows (кажется, последняя версия была 1.6). В ней были реализованы почти все функции, которые должны быть в нормальной ОС, в т. ч. выделение памяти для программы. При этом написание программы для такой ОС сопровождается некоторым напрягом: теперь нельзя напрямую адресовать страницу и писать в неё, так же как и грузить через #3D13 или свой DOS-loader для TR-DOS. Все операции ввода-вывода и манипуляций с памятью происходят через ОС, что, в принципе, само по себе очень хорошо с точки зрения развития такой системы и ПО для такой системы. Один раз написанные программы не придётся ломать, если что-то изменится в системе (распределение памяти и т. п.).

Вообще, идея мультизадачной системы на Спектруме давно витает, да только никто не наберётся смелости (а может, не хватает времени/желания/сил/т. д.) сделать это. Перед написателями (красивое словечко?) системы стоит несколько проблем:

  • Проблема совместимости с другими (старыми/новыми) продуктами.

Здесь можно двигаться двумя путями:

  • Забыть про всё, что старое, и только новое, что написано под систему, будет поддержано ОСой. Этот метод, я думаю, не нужно комментировать.
  • Пытаться сохранить совместимость с другими (старыми) программами.

Здесь, мне кажется, имеется вот такой выход: у любой ОС есть режимы совместимости (классический режим, или более приятное на слух Legacy Mode) и режимы полноценной работы. Когда надо, скажем, запустить старую прогу, можно переводить систему в режим совместимости — это должно проходить автоматически при запуске программы — когда от всей системы в базовых 48 Кбайтах остаётся малый отрезок (256 байт, например), который нужен для того, чтобы восстановить систему. Сама же система на всякий случай сохраняет своё состояние и переписывает себя в высшие банки памяти (понятно, для 48-КБ машины такой альтернативы нет).

Это позволяет при сравнительно небольшой обработке сделать все старые программы совместимыми с данной конкретной ОС. Также это даст возможность этой программе использовать широкий сервисный набор функций данной ОС: сохранение/загрузка/печать и т. д. При вызове этих сервисов система временно переключает банки памяти на себя и организует необходимую функцию, восстановив затем все банки памяти в исходное состояние.

Конкретно: играю я с Sim City, и мне совершенно необходимо Save Game. В этом случае ни о файловой системе, ни о том, на какой носитель я пишу (виртуальный диск, дискета, ЖД), я не имею никакого понятия, зато я знаю, что есть конкретные рестарты — испо-

Используя их, я записываюсь и делаю Quit. Система быстренько восстанавливается из памяти, и мне нет необходимости что-то опять подгружать. Понятно, что при переходе в Legacy-mode я теряю почти все функции (кроме базовых сервисных; в их число может входить и многозадачность и, как следствие, скажем, фоновая музыка), зато я имею возможность затем без проблем восстановиться (не как в iS-DOS — заново грузиться при запуске большой программы), да и возможность запускать старые программы не теряется — всегда найдется хоть маленький отрезок памяти, где можно разместить систему восстановления ОС.

Интерфейс

Он должен быть целиком настраиваемым. Здесь надо двигаться к внедрению ООП в базу интерфейса. Использование ООП уже хорошо зарекомендовало себя на всех платформах (кроме спектрума :)))).

Многозадачность

Здесь много чего можно сказать. Сама проблема многозадачности кроется не столько в мощностях процессора, сколько в мощности периферии.

  • Во-первых, это сколько страниц памяти может предложить компьютер системе — тут надо пояснить.

Дело в том, что мультизадачность возможна лишь при почти полном распараллеливании задач: это относится и к данным, и к программе. В связи с этим, конечно, очень бы неплохо было, чтобы вся память компьютера имела возможность полностью переадресовать базовые адреса (за неимением возможности иметь полную абсолютную адресацию). Так как на Спектруме нет такой возможности в базовых конфигурациях, то даже для 128 КБ машин есть проблемы: программы, написанные для многозадачной ОС, должны располагаться в отдельных страницах. Поэтому число доступных страниц должно быть чем больше, тем лучше. Реализация приложений для многозадачных ОС в 48 КБ мне представляется при использовании этого метода вообще немыслимой.

О другом способе: приложения пишутся таким образом, что у них нет конкретных адресов привязки — значит, нет абсолютных переходов и вызовов. Последний способ позволит убрать привязку на количество требуемых свободных банков памяти, позволяя запускать приложения даже на 48 КБ, но увеличивает трудоемкость написания. Хотя и здесь можно найти решения: например, система при запуске приложения просматривает таблицу в начале файла, в которой прописано, какие ячейки требуют адресной коррекции. В соответствии с этим система меняет все нужные адреса на текущие (куда загружена программа, то есть) и только после этого запускает программу. Например, ячейка 75 требует адресной коррекции — ОС смотрит и видит там число 12, добавляет к нему адрес загрузки 12345 и получает 12357, записывает — получается в итоге инструкция Call 12357. Такой подход позволит значительно экономить память. При этом сама

Приложения

Таблица трансляции адресов хранится только в заголовке приложения на носителе, а в памяти компьютера не требует никакого места в процессе работы.

— Сам процесс реализации многозадачности. Хочется прояснить эту тему. На самом деле процессор не может быть НИКОГДА многозадачным. Многозадачной на самом деле может считаться лишь система, у которой задействовано несколько процессоров. Используется принцип псевдо-многозадачности — периодически процессор аппаратно переключается на те задачи, приоритет которых требует переключения. Понятно, Z80 и вся периферия не предоставляет аппаратных возможностей для такой многозадачности, поэтому ее как-то придется вводить программными средствами.

В идеале каждое прерывание процессор передает работу только на одно заданное приложение. Естественно, обязательно есть таблица приоритетов: что-то будет требовать частого запуска, а что-то редкого. Привязываться к стандартным прерываниям ZX я не считаю целесообразным — 1/50 секунды слишком большой промежуток для выполнения одной программы, хотя можно (наверное) использовать и его, но только если в него (в прерывание, т. е.) вкладывать несколько задач. Именно в этом смысле я говорил, что очень перспективно использовать DMA USC с его регулируемой системой прерываний.

С другой стороны, надо ориентироваться на стандартную конфигурацию. Это можно сделать следующим образом: каждая задача имеет (или заявляет при загрузке) свой приоритет.

  • Самый высокий приоритет — каждый фрейм. Это могут быть часы, управление рабочими элементами (курсор, опрос клавиатуры и т. п.), фоновый плейер на AY или куда-нить еще. Требование обязательное: процедура должна выполняться быстрее прерывания. Рекомендуется до 10000 тактов процессора максимум.
  • Просто высокий приоритет — каждый второй фрейм.
  • Средний приоритет — каждый 4-й.
  • Низкий — каждый 8-й или, может быть, просто все такты ожидания тратятся на этот тип задач (после выполнения основных, конечно).
  • Должны иметься исключения: драйвера могут санкционировать запрет прерываний и монопольное использование ресурсов.

Приложения

Кстати, на самом деле опрос клавиатуры может быть задачей с низким приоритетом.

Внутри каждого из приоритетов должно быть не менее 4-х групп приоритетов. Каждая задача должна после своего выполнения возвращать управление координатору приоритетов задач.

Если случилось так, что пришло прерывание во время выполнения задачи (прерывания ВСЕГДА включены), то обработчик прерываний может запомнить состояние задачи и «прокрутить» все задачи с более высоким приоритетом, а лишь потом вернуть управление этой задаче, или сразу вернуть ей управление, в зависимости от ее приоритета. Если же прерывание пришло, когда выполнялась программа координатора, то ей сразу отдается управление (так сказать «без базара» :))).

Кстати, функция распределения по приоритету позволяет использовать и не адаптированные для многозадачной системы программы: просто они будут выполняться с самым низким приоритетом.

Координатор задач должен иметь свой стек. Для каждой задачи выделяется своя стековая область. Также выделяется по 24 байта на задачу — все регистры + стек (значение указателя) + адрес перехода (регистры регенерации и прерываний сохранять не надо).

На самом деле, при кажущейся сложности и том, что вроде как такой алгоритм не позволит каждой задаче реализовать действительно свой приоритет, все это не так сложно и действительно будет работать. Даже на 1/50 прерывания :))))).

Если не верите — проиграйте все возможные ситуации — в основной массе оно будет работать великолепно.

К тому же на этапе загрузки ОС может проверять: если нет возможности играть величиной прерываний, то используется стандартный таймер. Для такой (многозадачной т.е.) системы уже будет иметь значение производительность вашего процессора: чем он быстрее, тем меньше тормозов вы будете наблюдать. Т.о. за счет ПО железячники уже будут иметь стимул «разгонять» систему.

У такой системы будет возможность автоматически регистрировать программы, которые не соблюдают правил многозадачности (передача управления координатору) и автоматически применять к ним санкции: сдвигать в самый низкий приоритет, выдавать предупреждения и т.д.

Файловая система

Понятно, что ни одна из спектрумовских ОСей не реализует хоть что-то похожее на то, что мы же хотим видеть. Я думаю, надо делать свою файловую систему — возможно, на основе ТР-ДОС, возможно, на основе ИС-ДОС или чего-нибудь ещё.

Главные требования к файловой системе:

  • Полноценные файловые дескрипторы с возможностью фрагментации файлов. Здесь, я думаю, всё ясно — нужно из спековских дисков выжать всё, а не привязываться к ущербной системе, какая бы она ни была распространённая.
  • Обязательная система каталогов.
  • Все числа в файлах должны быть 4-байтными — для избежания любых недоразумений.
  • Количество элементов в директории, соответственно, может быть 2^32.
  • Каталоги могут быть фрагментированы, как и файлы.
  • Необязательно: система прав/владельцев.
  • Число устройств — 1 байт, т. е. 256 штук.
  • Каждое устройство имеет собственный идентификатор: для флопарей один, для винтов другой, для прочих сменных ещё какой-нибудь. Идентификатор — символьная строка + нулевой байт типа девайса.
  • У каждого устройства должен быть свой выделенный дескриптор у системы, который описывал бы все управляемые параметры.
  • Необязательно: возможность создания несуществующих каталогов, т. е. привязка каталога одного устройства к каталогу другого.

Развитая файловая система позволит разрешить многие проблемы.

Учёт региональной специфики

Обязательный, с моей точки зрения, элемент. Ни одного пользователя, будь он татарин, как я, или узбек, как мой отец, нельзя ущемлять в этом. При этом можно не изобретать велосипед, а использовать те же подходы, какие используются в других системах: кодовые страницы, Unicode и т. д.

Вы видите, какие открываются перспективы? Вам никто не помешает одновременно играть музоны, текст верстать, просматривать файлы на диске и т. д. Вплоть до того, что вы будете сидеть играть и вам будет действительно пофиг весь MS Windows :))))

Можно даже сделать что-то вроде анализатора загрузки проца: считать все такты, что процессор проводит в координаторе при ожиданиях очередного прерывания.

А как насчёт того, чтобы сидеть в любимом, скажем, Асме, периодически переключаться на описалово и, кроме всего этого, слушать музыку опять-таки?

Я считаю, что все обрисованные перспективы реальны для спектрума, но нужно, чтобы над этим работал не один коллектив программистов, а ВСЕ.

Ситуация вообще непонятная. Видимо, все программисты на Спекке имеют какую-то болезнь — «низкоуровневый мазохизм»: никто не пытается и не хочет пытаться писать языки высокого уровня. Компилятор/транслятор Си можно за полмесяца написать на троих — а это (при наличии, конечно, дальнейшего развития) дает базу для написания Паскаля, Бейсика и т. д. При создании языков программирования уже можно думать о написании нормальной ОС.

Кто-нибудь спросит: а почему же, раз он такой умный, сам не напишет?

Ответ: в моем городе (это Набережные Челны) я один такой спектрумист, во всяком случае, я никого больше не знаю из спектрумистов, а во-вторых, времени не очень-то и много. Вот сейчас выдались праздники, поэтому я засел за эту доку, а в обычное время не хватает ни сил, ни времени на то, чтобы этим заниматься. В-третьих, этим должны заниматься ВСЕ, а не один конкретный коллектив.

Кроме того, создание языков программирования высокого уровня может дать возможность реализации такого достаточно непростого направления, как ООП. Переход (затем) на ООП вообще позволит забыть Ассемблер как страшный сон и заявить на весь мир (в том числе и в адрес ненавистных ПЦ-шников), что Спектрум позволяет реализовать ЛЮБОЙ метод программирования.

Пока я набирал эту концовку, случайно залез в «Размышления о GUI на Спектруме» г-на Норинчака.

Так вот, в ответ ему я могу сказать, что с созданием ООП-языков не придется задумываться над созданием сложных библиотек GUI — они просто будут реализованы за счет такого языка программирования — и будет возможность создавать интерфейсы объектов, классы, семейства, программировать события и не задумываться — а где же взять ресурсы? Это будет делать среда (ОС или компилятор/транслятор).

Хотя, конечно (я не могу это не признать), такой язык программирования с точки зрения некоторых программистов может быть признан расточительным, но это ведь как посмотреть: или я (как программист ООП) затрачу на программу вычисления фрактала 2 минуты, или я буду 2 дня колбасить ее же, но на асме.

Пусть на асме она будет в десять раз быстрее работать, да только кому это надо — чтобы она быстро работала? А ведь подобным проектом все не исчерпывается... Как насчет действительно сложных программ? Или насчет интерфейса? Тут ведь и появляется гибкость интерфейса в том числе: я пишу, чтобы вывести (скажем): TextBox172.Text = "Real OOP" — и не забиваю голову подробностями.

А по большому счету: если начистоту, то многие из тех, кто себя считают истинными спектрумистами, работают (а зачастую и играют) не на Спекке. Тот же эмул Unreal Spec написан на ООП-языке. И гораздо проще.

будет, скажем, разработчику проги или игры на спеке использовать некоторые объекты, интерфейсы, свойства, методы и т.п. из библиотеки сетевого взаимодействия, чем забивать себе голову тем, где у него модем или (а может будет, а?) сетевая карта. Он просто их использует и всё. В конечном итоге всё ведь не напишешь на асме. Там ведь одних исходников в конечном итоге может получиться больше битком забитого TR-DOS диска... Да и скорость необходима только для базовых программ (драйвера, трансляторы, компиляторы...). Нет, я не отрицаю важность Асма для ZX, но ведь не стоит зацикливаться на нём...

Поделитесь вашим мнением о статье