2020-07-11 22:27:29 +03:00
ChangeLog
2023-10-07 10:22:34 +03:00
=========
2020-07-11 22:27:29 +03:00
2022-10-14 16:20:57 +03:00
English version [by Google ](https://gitflic-ru.translate.goog/project/erthink/libmdbx/blob?file=ChangeLog.md&_x_tr_sl=ru&_x_tr_tl=en )
and [by Yandex ](https://translated.turbopages.org/proxy_u/ru-en.en/https/gitflic.ru/project/erthink/libmdbx/blob?file=ChangeLog.md ).
2023-04-24 16:10:40 +03:00
2023-04-23 20:23:04 +03:00
## v0.13.0 at 2023-04-23
Н е а `0.13` с
2023-10-23 20:35:55 +03:00
Новое:
- Расширение API функционалом проверки целостности структуры БД, с
переработкой и переноса функционала утилиты `mdbx_chk` внутрь библиотеки.
- Расширение API функциями lock/unlock/upgrade/downgrade основной блокировки.
- Добавление в API функций `mdbx_cursor_unbind()` и `mdbx_txn_release_all_cursors()` .
- Возвращение `MDBX_TXN_INVALID` (`INT32_MIN`) вместо `-1`
из `mdbx_txn_flags()` при передаче невалидной транзакции.
Мелочи:
- Обновление конфигурации Doxygen до 1.9.6.
- Добавление `--read-var-info=yes` для Valgrind.
- Вывод из `mdbx_chk` информации о б
2023-04-23 20:23:04 +03:00
********************************************************************************
2023-10-23 18:13:35 +03:00
## v0.12.8 (сопровождение и подготовка к релизу)
Поддержка стабильной ветки.
2023-10-29 12:20:54 +03:00
Исправления и доработки:
- Ликвидация зависимости от ранее удаленной опции `MDBX_ENABLE_PREFAULT` , из-за
чего опция `MDBX_ENABLE_MINCORE` не включалась автоматически, что приводило
к не-активации соответствующего улучшения и не-достижению декларируемого уровня
производительности в сценариях использования в режиме `MDBX_WRITEMAP` .
2023-10-23 18:13:35 +03:00
Мелочи:
- Удаление устаревших `mdbx_set_compare()` и `mdbx_set_dupsort()` .
- Корректировка определения `MDBX_LAST_ADDED_ERRCODE` .
- Добавление в C++ API забытого исключения `mdbx::duplicated_lck_file` .
- Обновление патча для старых версий buildroot.
--------------------------------------------------------------------------------
mdbx: выпуск 0.12.8 "Владимир Уткин"
Стабилизирующий выпуск с исправлением обнаруженных ошибок и устранением недочетов,
в день 100-летия со дня рождения выдающегося советского и российского ученого и конструктора [Влади́мира Фёдоровича У́ткина](https://ru.wikipedia.org/wiki/Уткин,_Владимир_Фёдорович).
Исправления и доработки:
------------------------
- Устранение регресса/ошибки в пути обработки `put(MDBX_MULTIPLE)` при пакетном/оптовом
помещении в БД множественных значений одного ключа (aka multi-value или dupsort).
Проявление проблемы зависит от компилятора и опций оптимизации/кодогенерации, но с большой вероятностью возвращется
ошибка `MDBX_BAD_VALSIZE` (`-30781`), а в отладочных сборках срабатывает проверка `cASSERT(mc, !"Invalid key-size")`.
Сценарии приводящие к другим проявлениям на данный момент не известны.
- Реализована перезапись в `mdbx_put(MDBX_CURRENT)` всех текущих мульти-значений ключа
при отсутствии флага `MDBX_NOOVERWRITE`. Ранее в такой ситуации возвращалась ошибка `MDBX_EMULTIVAL`.
В текущем понимании новое поведение более удобно и не создаёт проблем совместимости с ранее написанным кодом.
- Добавлена возможность использовать `mdbx_cursor_get(MDBX_GET_MULTIPLE)` без предварительной установки
курсора, совмещая операцию пакетного получения данных с позиционированием курсора на передаваемый ключ.
- Микрооптимизация и рефакторинг `cursor_put_nochecklen()` в продолжение исправления
регресса/ошибки в пути обработки `put(MDBX_MULTIPLE)`.
- Уточнение формулировок в описании API, в том числе пояснений о `SIGSEGV`
и недопустимости прямого изменения данных.
Более подробная информация в [ChangeLog](https://libmdbx.dqdkfa.ru/md__change_log.html).
git diff' stat: 24 commits, 18 files changed, 624 insertions(+), 94 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2023-10-17 18:16:29 +03:00
## v0.12.8 "Владимир Уткин" от 2023-10-17
2023-10-07 10:22:34 +03:00
2023-04-23 20:23:04 +03:00
2023-10-11 11:14:28 +03:00
Стабилизирующий выпуск с
в день 100-летия с о Влади́мира Фёдоровича У́ткина ](https://ru.wikipedia.org/wiki/Уткин,_В а р о р о ).
```
mdbx: выпуск 0.12.8 "Владимир Уткин"
Стабилизирующий выпуск с исправлением обнаруженных ошибок и устранением недочетов,
в день 100-летия со дня рождения выдающегося советского и российского ученого и конструктора [Влади́мира Фёдоровича У́ткина](https://ru.wikipedia.org/wiki/Уткин,_Владимир_Фёдорович).
Исправления и доработки:
------------------------
- Устранение регресса/ошибки в пути обработки `put(MDBX_MULTIPLE)` при пакетном/оптовом
помещении в БД множественных значений одного ключа (aka multi-value или dupsort).
Проявление проблемы зависит от компилятора и опций оптимизации/кодогенерации, но с большой вероятностью возвращется
ошибка `MDBX_BAD_VALSIZE` (`-30781`), а в отладочных сборках срабатывает проверка `cASSERT(mc, !"Invalid key-size")`.
Сценарии приводящие к другим проявлениям на данный момент не известны.
- Реализована перезапись в `mdbx_put(MDBX_CURRENT)` всех текущих мульти-значений ключа
при отсутствии флага `MDBX_NOOVERWRITE`. Ранее в такой ситуации возвращалась ошибка `MDBX_EMULTIVAL`.
В текущем понимании новое поведение более удобно и не создаёт проблем совместимости с ранее написанным кодом.
- Добавлена возможность использовать `mdbx_cursor_get(MDBX_GET_MULTIPLE)` без предварительной установки
курсора, совмещая операцию пакетного получения данных с позиционированием курсора на передаваемый ключ.
- Микрооптимизация и рефакторинг `cursor_put_nochecklen()` в продолжение исправления
регресса/ошибки в пути обработки `put(MDBX_MULTIPLE)`.
- Уточнение формулировок в описании API, в том числе пояснений о `SIGSEGV`
и недопустимости прямого изменения данных.
Более подробная информация в [ChangeLog](https://libmdbx.dqdkfa.ru/md__change_log.html).
git diff' stat: 24 commits, 18 files changed, 624 insertions(+), 94 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2023-10-17 18:16:29 +03:00
git diff' stat: 24 commits, 18 files changed, 624 insertions(+), 94 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
2023-10-11 11:14:28 +03:00
```
2023-10-07 10:22:34 +03:00
Благодарности:
- [Alain Picard ](https://github.com/castortech ) за сообщение о
с `MDBX_MULTIPLE` и помощь в тестировании.
Исправления и доработки:
- Устранение р е г р е с с а `put(MDBX_MULTIPLE)` при пакетном/оптовом
помещении в БД множественных значений одного ключа (aka multi-value или dupsort).
Проявление проблемы зависит от компилятора и опций оптимизации/кодогенерации, но с
ошибка `MDBX_BAD_VALSIZE` (`-30781`), а `cASSERT(mc, !"Invalid key-size")` .
Сценарии приводящие к другим проявлениям на данный момент не известны.
2023-10-11 11:14:28 +03:00
- Реализована перезапись в `mdbx_put(MDBX_CURRENT)` всех текущих мульти-значений ключа
при отсутствии флага `MDBX_NOOVERWRITE` . Ранее в такой ситуации возвращалась ошибка `MDBX_EMULTIVAL` .
В с
- Добавлена возможность использовать `mdbx_cursor_get(MDBX_GET_MULTIPLE)` без предварительной установки
курсора, совмещая операцию пакетного получения данных с
mdbx: выпуск 0.12.8 "Владимир Уткин"
Стабилизирующий выпуск с исправлением обнаруженных ошибок и устранением недочетов,
в день 100-летия со дня рождения выдающегося советского и российского ученого и конструктора [Влади́мира Фёдоровича У́ткина](https://ru.wikipedia.org/wiki/Уткин,_Владимир_Фёдорович).
Исправления и доработки:
------------------------
- Устранение регресса/ошибки в пути обработки `put(MDBX_MULTIPLE)` при пакетном/оптовом
помещении в БД множественных значений одного ключа (aka multi-value или dupsort).
Проявление проблемы зависит от компилятора и опций оптимизации/кодогенерации, но с большой вероятностью возвращется
ошибка `MDBX_BAD_VALSIZE` (`-30781`), а в отладочных сборках срабатывает проверка `cASSERT(mc, !"Invalid key-size")`.
Сценарии приводящие к другим проявлениям на данный момент не известны.
- Реализована перезапись в `mdbx_put(MDBX_CURRENT)` всех текущих мульти-значений ключа
при отсутствии флага `MDBX_NOOVERWRITE`. Ранее в такой ситуации возвращалась ошибка `MDBX_EMULTIVAL`.
В текущем понимании новое поведение более удобно и не создаёт проблем совместимости с ранее написанным кодом.
- Добавлена возможность использовать `mdbx_cursor_get(MDBX_GET_MULTIPLE)` без предварительной установки
курсора, совмещая операцию пакетного получения данных с позиционированием курсора на передаваемый ключ.
- Микрооптимизация и рефакторинг `cursor_put_nochecklen()` в продолжение исправления
регресса/ошибки в пути обработки `put(MDBX_MULTIPLE)`.
- Уточнение формулировок в описании API, в том числе пояснений о `SIGSEGV`
и недопустимости прямого изменения данных.
Более подробная информация в [ChangeLog](https://libmdbx.dqdkfa.ru/md__change_log.html).
git diff' stat: 24 commits, 18 files changed, 624 insertions(+), 94 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2023-10-17 18:16:29 +03:00
- Микрооптимизация и рефакторинг `cursor_put_nochecklen()` в продолжение исправления
2023-10-07 10:22:34 +03:00
р е г р е с с а `put(MDBX_MULTIPLE)` .
2023-10-14 14:37:08 +03:00
- Уточнение формулировок в описании API, в том числе пояснений о `SIGSEGV`
и недопустимости прямого изменения данных.
2023-10-08 11:55:30 +03:00
2023-10-07 10:22:34 +03:00
Мелочи:
- Исправление несущественных предупреждений при `MDBX_ENABLE_PROFGC=ON` .
- Добавление `slice::as_pod<typename>()` в C++ API.
- Добавление перегрузки `txn::put_multiple()` и контроля POD в C++ API.
- Добавление smoke-теста для `put(MDBX_MULTIPLE)` .
- Добавление дополнительных smoke-тестов в область видимости ctest.
2023-10-08 09:42:56 +03:00
- Устранение жалоб Valgrind на инвариантное чтение неинициализированной памяти
и утечки памяти в одном из тестов.
- Костыль для глушения/игнорирования `EDEADLK` в ряде сценариев при
использовании Valgrind или ASAN. В
ложно-негативный результат проверки БД посредством `mdbx_chk -wc` ,
т.е
в сборках с
информации см. [соответствующий коммит ](https://gitflic.ru/project/erthink/libmdbx/commit/1aead6869a7eff1a85e400ab3eeecb4c8b904fe6 ).
2023-10-08 17:13:03 +03:00
- Доработка `mdbx_dump_val()` используемой для логирования и отладки.
2023-10-08 18:31:12 +03:00
- Устранение предупреждений Valgrind при логировании в отладочных сборках.
2023-10-09 07:34:01 +03:00
- Доработка использования `filesystem` для старых компиляторов.
2023-10-09 22:12:06 +03:00
- Сокращение излишнего вызова `osal_thread_self()` .
- Вывод информации о
2023-10-14 14:37:08 +03:00
- Добавление определений макросов для Doxygen.
2023-10-07 10:22:34 +03:00
--------------------------------------------------------------------------------
2023-06-16 20:04:01 +03:00
## v0.12.7 "Артек" от 2023-06-16
2023-05-23 15:45:27 +03:00
2023-06-16 20:04:01 +03:00
Стабилизирующий выпуск с
недочетов, в день основания международного детского центра [«Арте́к» ](https://ru.wikipedia.org/wiki/Артек ).
```
14 files changed, 222 insertions(+), 56 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2023-05-23 15:45:27 +03:00
2023-06-09 00:04:27 +03:00
Исправления и доработки:
- Исправление опечатки в имени переменной внутри `mdbx_env_turn_for_recovery()` ,
что приводило к неверному поведению в некоторых ситуациях.
С с
утилиты `mdbx_chk` , был только один специфический/редкий сценарий
проявления ошибки/проблемы - когда выполнялась проверка и активация
слабой/weak мета-страницы с Н Е
аварии машины, где БД использовалась в хрупком/небезопасном режиме.
В
активации выводилось сообщение о б с о
механизма контроля не-когерентности кэша файловой системы и отображенных
в О З У
каких-либо негативных последствия, кроме самого сообщения о б
Технически же ошибка проявлялась при "переключении" на мета-страницу,
когда у
больше:
* Если содержимое других мета-страниц было корректным, а
связанных транзакций были больше, то результирующий номер транзакции в
целевой/активируемой мета-страницы устанавливается без учета этих
мета-страниц и мог быть меньше-или-равным.
* В
при закрытии БД после переключения могла срабатывать защита от
не-когерентности unified buffer/page cache, а
срабатывать assert-проверка.
* Если же такие мета-страницы были в статусе сильных/steady, то
переключение на новую мета-страницу могло не давать эффекта либо
приводить к появлению двух мета-страниц с
что является ошибочной ситуацией.
- Обходное решение проблем сборки посредством GCC с `-m32 -arch=i686 -Ofast` .
Проблема обусловлена ошибкой GCC, из-за которой конструкция `__attribute__((__target__("sse2")))`
не включает полноценное использование инструкций SSE и SSE2, если это не было сделано посредством
опций командной строки, но была использована опция `-Ofast` . В
сообщением о б
`error: inlining failed in call to 'always_inline' '_mm_movemask_ps': target specific option mismatch`
- Доработка режима "восстановления" БД и переключения на заданную мета-страницу:
* Устранение обновления без необходимости мета-страницы с
* Устранение вывода (логирования) бессмысленного/лишнего предупреждения о
* Более ожидаемое и безопасное поведение при проверке БД с
Теперь при открытии БД посредством `mdbx_env_open_for_recovery()` не
выполняется неявное изменение/обновление БД, в том числе при закрытии
БД. Это позволяет обезопасить БД (снизить шанс её разрушения) если
пользователь при попытке восстановления, либо просто в качестве
эксперимента, задал утилите `mdbx_chk` неверную или опасную комбинацию
параметров. При этом обычная проверка, как и явное переключение
мета-страниц, работают по-прежнему.
2023-05-23 15:45:27 +03:00
Мелочи:
- Незначительное уточнение CMake-пробника для `std::filesystem` ,
проверяющего необходимость линковки с
- Устранение минорных предупреждений старых компиляторов в тестах.
- Устранение причины ложно-позитивного предупреждения новых версий GCC в C++ API.
- Исправление ссылки на репозиторий бенчмарка ioarena.
- Добавление перекрестных ссылок в doxygen-документацию по C++ API.
2023-06-09 00:04:27 +03:00
- Уточнение ограничений в разделе [Restrictions & Caveats ](https://libmdbx.dqdkfa.ru/intro.html#restrictions ).
- Исправление ссылок на описание `mdbx_canary_put()` .
2023-05-23 15:45:27 +03:00
--------------------------------------------------------------------------------
2023-04-29 21:30:35 +03:00
## v0.12.6 "ЦСКА" от 2023-04-29
Стабилизирующий выпуск с
недочетов, в день 100-летнего юбилея спортивного клуба [«ЦСКА» ](https://ru.wikipedia.org/wiki/Це р а с о р у б А р ).
```
14 files changed, 117 insertions(+), 83 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2023-04-24 16:10:40 +03:00
Мелочи:
- Обновление патча для старых версий buildroot.
- Использование clang-format-16.
2023-04-29 21:30:35 +03:00
- Использование `enum` -типов вместо `int` для устранения предупреждений GCC 13,
что могло ломать сборку в Fedora 38.
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-03-20 15:56:19 +03:00
2023-04-18 11:03:31 +03:00
## v0.12.5 "Динамо" от 2023-04-18
2023-03-20 15:56:19 +03:00
2023-04-18 11:03:31 +03:00
Стабилизирующий выпуск с
недочетов, в день 100-летнего юбилея спортивного общества [«Динамо» ](https://ru.wikipedia.org/wiki/Дина о с о р о е о б е с о )).
```
16 files changed, 686 insertions(+), 247 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2023-03-20 15:56:19 +03:00
Благодарности:
- Max < maxc0d3r @ protonmail . com > за сообщение о
устаревших функций API.
2023-03-31 22:49:25 +03:00
- [`@calvin3721` ](https://t.me/calvin3721 ) за сообщение о
`MainDB` с
2023-03-20 15:56:19 +03:00
Исправления:
- Поправлен экспорт из DSO/DLL устаревших функций,
которые заменены на inline в текущем API.
2023-03-31 22:49:25 +03:00
- Устранено использование неверного компаратора при создании или пересоздании
`MainDB` с
компаратора (не по-умолчанию).
2023-03-20 15:56:19 +03:00
Мелочи:
- Удалена дублирующая диагностика внутри `node_read_bigdata()` .
- Исправлены ссылки в описании `mdbx_env_set_geometry()` .
- Добавлен отдельный тест `extra/upsert_alldups` для специфического
сценария замены/перезаписи одним значением всех multi-значений
2023-04-16 21:24:58 +03:00
соответствующих ключу, т.е
2023-03-31 22:49:25 +03:00
- В `buffer::key_from()` с
- Добавлен отдельный тест `extra/maindb_ordinal` для специфического
сценария создания `MainDB` с
компаратора не по-умолчанию.
2023-04-16 21:24:58 +03:00
- Рефакторинг проверки "когерентности" мета-страниц.
- Корректировка `osal_vasprintf()` для устранения предупреждений статических анализаторов.
2023-03-20 15:56:19 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-03-20 15:56:19 +03:00
2023-04-18 10:16:51 +03:00
## v0.12.4 "Арта-333" от 2023-03-03
2023-01-10 15:03:38 +03:00
2023-03-02 16:34:19 +03:00
Стабилизирующий выпуск с
недочетов и технических долгов. Ветка 0.12 считается готовой к
продуктовому использованию, получает статус стабильной и далее будет
получать только исправление ошибок. Разработка будет продолжена в ветке
0.13, а
```
mdbx: выпуск 0.12.4 "Арта-333"
Стабилизирующий выпуск с исправлением обнаруженных ошибок, устранением
недочетов и технических долгов. Ветка 0.12 считается готовой к
продуктовому использованию, получает статус стабильной и далее будет
получать только исправление ошибок. Разработка будет продолжена в ветке
0.13, а ветка 0.11 становится архивной.
Благодарности:
--------------
- Max <maxc0d3r@protonmail.com> за сообщение о проблеме ERROR_SHARING_VIOLATION
в режиме MDBX_EXCLUSIVE на Windows.
- Alisher Ashyrov <https://t.me/a1is43ras4> за сообщение о проблеме
с assert-проверкой и содействие в отладке.
- Masatoshi Fukunaga <https://gitflic.ru/user/mah0x211> за сообщение о проблеме
`put(MDBX_UPSERT+MDBX_ALLDUPS)` для случая замены всех значений в subDb.
Исправления (без корректировок новых функций):
----------------------------------------------
- Устранен регресс после коммита 474391c83c5f81def6fdf3b0b6f5716a87b78fbf,
приводящий к возврату ERROR_SHARING_VIOLATION в Windows при открытии БД
в режиме MDBX_EXCLUSIVE для чтения-записи.
- Добавлено ограничение размера отображения при коротком read-only файле, для
предотвращения ошибки ERROR_NOT_ENOUGH_MEMORY в Windows, которая возникает
в этом случае и совсем не информативна для пользователя.
- Произведен рефакторинг `dxb_resize()`, в том числе, для устранения срабатывания
assert-проверки `size_bytes == env->me_dxb_mmap.current` в специфических
многопоточных сценариях использования. Проверка срабатывала только в
отладочных сборках, при специфическом наложении во времени читающей и
пишущей транзакции в разных потоках, одновременно с изменением размера БД.
Кроме срабатывание проверки, каких-либо других последствий не возникало.
- Устранена проблема в `put(MDBX_UPSERT+MDBX_ALLDUPS)` для случая замены
всех значений единственного ключа в subDb. В ходе этой операции subDb
становится полностью пустой, без каких-либо страниц и именно эта
ситуация не была учтена в коде, что приводило к повреждению БД
при фиксации такой транзакции.
- Устранена излишняя assert-проверка внутри `override_meta()`.
Что в отладочных сборках могло приводить к ложным срабатываниям
при восстановлении БД, в том числе при автоматическом откате слабых
мета-страниц.
- Скорректированы макросы `__cold`/`__hot`, в том числе для устранения проблемы
`error: inlining failed in call to ‘always_inline FOO(...)’: target specific option mismatch`
при сборке посредством GCC >10.x для SH4.
Ликвидация технических долгов и мелочи:
---------------------------------------
- Исправлены многочисленные опечатки в документации.
- Доработан тест для полной стохастической проверки `MDBX_EKEYMISMATCH` в режиме `MDBX_APPEND`.
- Расширены сценарии запуска `mdbx_chk` из CMake-тестов для проверки как в обычном,
так и эксклюзивном режимах чтения-записи.
- Уточнены спецификаторы `const` и `noexcept` для нескольких методов в C++ API.
- Устранено использование стека под буферы для `wchar`-преобразования путей.
- Для Windows добавлена функция `mdbx_env_get_path()` для получения пути к БД
в формате многобайтных символов.
- Добавлены doxygen-описания для API с широкими символами.
- Устранены предупреждения статического анализатора MSVC,
все они были несущественные, либо ложные.
- Устранено ложное предупреждение GCC при сборке для SH4.
- Добавлена поддержка ASAN (Address Sanitizer) при сборке посредством MSVC.
- Расширен набор перебираемых режимов в скрипте `test/long_stochastic.sh`,
добавлена опция `--extra`.
- В C++ API добавлена поддержка расширенных опций времени выполнения `mdbx::extra_runtime_option`,
аналогично `enum MDBX_option_t` из C API.
- Вывод всех счетчиков page-operations в `mdbx_stat`.
63 files changed, 1161 insertions(+), 569 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2023-03-03 23:23:08 +03:00
63 files changed, 1161 insertions(+), 569 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
2023-03-02 16:34:19 +03:00
```
2023-01-11 21:09:50 +03:00
Благодарности:
- Max < maxc0d3r @ protonmail . com > за сообщение о
в режиме MDBX_EXCLUSIVE на Windows.
2023-02-01 01:03:51 +03:00
- Alisher Ashyrov < https: // t . me / a1is43ras4 > за сообщение о
с
- Masatoshi Fukunaga < https: // gitflic . ru / user / mah0x211 > за сообщение о
`put(MDBX_UPSERT+MDBX_ALLDUPS)` для случая замены всех значений в subDb.
2023-01-11 21:09:50 +03:00
2023-03-20 15:56:19 +03:00
Исправления:
2023-01-11 01:08:30 +03:00
2023-02-11 07:35:56 +03:00
- Устранен р е г р е с с
приводящий к возврату ERROR_SHARING_VIOLATION в Windows при открытии БД
2023-01-11 21:09:50 +03:00
в режиме MDBX_EXCLUSIVE для чтения-записи.
2023-02-11 07:35:56 +03:00
- Добавлено ограничение размера отображения при коротком read-only файле, для
предотвращения ошибки ERROR_NOT_ENOUGH_MEMORY в Windows, которая возникает
в этом случае и совсем не информативна для пользователя.
2023-01-11 01:08:30 +03:00
2023-02-11 07:35:56 +03:00
- Произведен рефакторинг `dxb_resize()` , в том числе, для устранения срабатывания
2023-01-15 20:35:09 +03:00
assert-проверки `size_bytes == env->me_dxb_mmap.current` в специфических
многопоточных сценариях использования. Проверка срабатывала только в
отладочных сборках, при специфическом наложении во времени читающей и
пишущей транзакции в разных потоках, одновременно с
Кроме срабатывание проверки, каких-либо других последствий не возникало.
2023-02-11 07:35:56 +03:00
- Устранена проблема в `put(MDBX_UPSERT+MDBX_ALLDUPS)` для случая замены
2023-02-01 01:03:51 +03:00
всех значений единственного ключа в subDb. В
становится полностью пустой, без каких-либо страниц и именно эта
ситуация не была учтена в коде, что приводило к повреждению БД
при фиксации такой транзакции.
2023-02-12 00:32:49 +03:00
- Устранена излишняя assert-проверка внутри `override_meta()` .
Что в отладочных сборках могло приводить к ложным срабатываниям
при восстановлении БД, в том числе при автоматическом откате слабых
мета-страниц.
2023-02-13 18:51:09 +03:00
- Скорректированы макросы `__cold` /`__hot`, в том числе для устранения проблемы
`error: inlining failed in call to ‘ ’
при сборке посредством GCC >10.x для SH4.
2023-01-10 15:03:38 +03:00
Ликвидация технических долгов и мелочи:
2023-02-11 07:35:56 +03:00
- Исправлены многочисленные опечатки в документации.
- Доработан тест для полной стохастической проверки `MDBX_EKEYMISMATCH` в режиме `MDBX_APPEND` .
- Расширены сценарии запуска `mdbx_chk` из CMake-тестов для проверки как в обычном,
так и эксклюзивном режимах чтения-записи.
- Уточнены спецификаторы `const` и `noexcept` для нескольких методов в C++ API.
- Устранено использование стека под буферы для `wchar` -преобразования путей.
- Для Windows добавлена функция `mdbx_env_get_path()` для получения пути к БД
в формате многобайтных символов.
- Добавлены doxygen-описания для API с
- Устранены предупреждения статического анализатора MSVC,
все они были несущественные, либо ложные.
2023-02-13 18:51:09 +03:00
- Устранено ложное предупреждение GCC при сборке для SH4.
2023-02-28 00:52:40 +03:00
- Добавлена поддержка ASAN (Address Sanitizer) при сборке посредством MSVC.
- Расширен набор перебираемых режимов в скрипте `test/long_stochastic.sh` ,
добавлена опция `--extra` .
2023-03-02 16:34:19 +03:00
- В `mdbx::extra_runtime_option` ,
аналогично `enum MDBX_option_t` из C API.
mdbx: выпуск 0.12.4 "Арта-333"
Стабилизирующий выпуск с исправлением обнаруженных ошибок, устранением
недочетов и технических долгов. Ветка 0.12 считается готовой к
продуктовому использованию, получает статус стабильной и далее будет
получать только исправление ошибок. Разработка будет продолжена в ветке
0.13, а ветка 0.11 становится архивной.
Благодарности:
--------------
- Max <maxc0d3r@protonmail.com> за сообщение о проблеме ERROR_SHARING_VIOLATION
в режиме MDBX_EXCLUSIVE на Windows.
- Alisher Ashyrov <https://t.me/a1is43ras4> за сообщение о проблеме
с assert-проверкой и содействие в отладке.
- Masatoshi Fukunaga <https://gitflic.ru/user/mah0x211> за сообщение о проблеме
`put(MDBX_UPSERT+MDBX_ALLDUPS)` для случая замены всех значений в subDb.
Исправления (без корректировок новых функций):
----------------------------------------------
- Устранен регресс после коммита 474391c83c5f81def6fdf3b0b6f5716a87b78fbf,
приводящий к возврату ERROR_SHARING_VIOLATION в Windows при открытии БД
в режиме MDBX_EXCLUSIVE для чтения-записи.
- Добавлено ограничение размера отображения при коротком read-only файле, для
предотвращения ошибки ERROR_NOT_ENOUGH_MEMORY в Windows, которая возникает
в этом случае и совсем не информативна для пользователя.
- Произведен рефакторинг `dxb_resize()`, в том числе, для устранения срабатывания
assert-проверки `size_bytes == env->me_dxb_mmap.current` в специфических
многопоточных сценариях использования. Проверка срабатывала только в
отладочных сборках, при специфическом наложении во времени читающей и
пишущей транзакции в разных потоках, одновременно с изменением размера БД.
Кроме срабатывание проверки, каких-либо других последствий не возникало.
- Устранена проблема в `put(MDBX_UPSERT+MDBX_ALLDUPS)` для случая замены
всех значений единственного ключа в subDb. В ходе этой операции subDb
становится полностью пустой, без каких-либо страниц и именно эта
ситуация не была учтена в коде, что приводило к повреждению БД
при фиксации такой транзакции.
- Устранена излишняя assert-проверка внутри `override_meta()`.
Что в отладочных сборках могло приводить к ложным срабатываниям
при восстановлении БД, в том числе при автоматическом откате слабых
мета-страниц.
- Скорректированы макросы `__cold`/`__hot`, в том числе для устранения проблемы
`error: inlining failed in call to ‘always_inline FOO(...)’: target specific option mismatch`
при сборке посредством GCC >10.x для SH4.
Ликвидация технических долгов и мелочи:
---------------------------------------
- Исправлены многочисленные опечатки в документации.
- Доработан тест для полной стохастической проверки `MDBX_EKEYMISMATCH` в режиме `MDBX_APPEND`.
- Расширены сценарии запуска `mdbx_chk` из CMake-тестов для проверки как в обычном,
так и эксклюзивном режимах чтения-записи.
- Уточнены спецификаторы `const` и `noexcept` для нескольких методов в C++ API.
- Устранено использование стека под буферы для `wchar`-преобразования путей.
- Для Windows добавлена функция `mdbx_env_get_path()` для получения пути к БД
в формате многобайтных символов.
- Добавлены doxygen-описания для API с широкими символами.
- Устранены предупреждения статического анализатора MSVC,
все они были несущественные, либо ложные.
- Устранено ложное предупреждение GCC при сборке для SH4.
- Добавлена поддержка ASAN (Address Sanitizer) при сборке посредством MSVC.
- Расширен набор перебираемых режимов в скрипте `test/long_stochastic.sh`,
добавлена опция `--extra`.
- В C++ API добавлена поддержка расширенных опций времени выполнения `mdbx::extra_runtime_option`,
аналогично `enum MDBX_option_t` из C API.
- Вывод всех счетчиков page-operations в `mdbx_stat`.
63 files changed, 1161 insertions(+), 569 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2023-03-03 23:23:08 +03:00
- Вывод всех счетчиков page-operations в `mdbx_stat` .
2023-01-10 15:03:38 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-01-10 15:03:38 +03:00
2022-12-10 01:20:27 +03:00
2023-04-18 10:16:51 +03:00
## v0.12.3 "Акула" от 2023-01-07
2022-12-10 01:20:27 +03:00
2023-01-18 18:34:52 +03:00
Выпуск с о
[проекте "Акула" ](https://erigon.substack.com/p/winding-down-support-for-akula-project ).
2022-12-10 01:20:27 +03:00
2023-01-10 15:03:38 +03:00
Добавлена prefault-запись, переделан контроль “некогерентности” unified page/buffer cache, изменена тактика слияния страниц и т.д.
Стало ещё быстрее, в некоторых сценариях вдвое.
2022-12-10 01:20:27 +03:00
```
mdbx: выпуск v0.12.3 "Акула"
Выпуск с существенными доработками и новой функциональностью в память о закрытом open-source проекте "Акула".
Благодарности:
--------------
- [Alex Sharov](https://t.me/AskAlexSharov) и команде [Erigon](https://github.com/ledgerwatch/erigon) за тестирование.
- [Simon Leier](https://t.me/leisim) за сообщение о сбоях и тестирование.
Новое:
------
- Использование адреса [https://libmdbx.dqdkfa.ru/dead-github](https://libmdbx.dqdkfa.ru/dead-github)
для отсылки к сохранённым в web.archive.org копиям ресурсов, уничтоженных администрацией Github.
- Реализована prefault-запись при выделении страниц для read-write отображений.
Это приводит к кратному снижению системных издержек и существенному увеличению
производительности в соответствующих сценариях использования, когда:
- размер БД и объём данных существенно больше ОЗУ;
- используется режим `MDBX_WRITEMAP`;
- не-мелкие транзакции (по ходу транзакции выделяется многие сотни или тысячи страниц).
В режиме `MDBX_WRITEMAP` выделение/переиспользование страниц приводит
к page-fault и чтению страницы с диска, даже если содержимое страницы
не нужно (будет перезаписано). Это является следствием работы подсистемы
виртуальной памяти, а штатный способ лечения через `MADV_REMOVE`
работает не на всех ФС и обычно дороже получаемой экономии.
Теперь в libmdbx используется "упреждающая запись" таких страниц,
которая на системах с [unified page cache](https://www.opennet.ru/base/dev/ubc.txt.html)
приводит к "вталкиванию" данных, устраняя необходимость чтения с диска при
обращении к такой странице памяти.
Новый функционал работает в согласованности с автоматическим управлением read-ahead
и кэшем статуса присутствия страниц в ОЗУ, посредством [mincore()](https://man7.org/linux/man-pages/man2/mincore.2.html).
- Добавлена опция `MDBX_opt_prefault_write_enable` для возможности принудительного
включения/выключения prefault-записи.
- Реализован динамический выбор между сквозной записью на диск и обычной записью
с последующим [fdatasync()](https://man7.org/linux/man-pages/man3/fdatasync.3p.html)
управляемый опцией `MDBX_opt_writethrough_threshold`.
В долговечных (durable) режимах данные на диск могут быть сброшены двумя способами:
- сквозной записью через файловый дескриптор открытый с `O_DSYNC`;
- обычной записью с последующим вызовом `fdatasync()`.
Первый способ выгоднее при записи малого количества страниц и/или если
канал взаимодействия с диском/носителем имеет близкую к нулю задержку.
Второй способ выгоднее если требуется записать много страниц и/или канал
взаимодействия имеет весомую задержку (датацентры, облака). Добавленная
опция `MDBX_opt_writethrough_threshold` позволяет во время выполнения
задать порог для динамического выбора способа записи в зависимости от
объема и конкретных условия использования.
- Автоматическая установка `MDBX_opt_rp_augment_limit` в зависимости от размера БД.
- Запрещение разного режима `MDBX_WRITEMAP` между процессами в режимах
с отложенной/ленивой записью, так как в этом случае невозможно
обеспечить сброс данных на диск во всех случаях на всех поддерживаемых платформах.
- Добавлена опция сборки `MDBX_MMAP_USE_MS_ASYNC` позволяющая отключить
использование системного вызова `msync(MS_ASYNC)`, в использовании
которого нет необходимости на подавляющем большинстве актуальных ОС.
По-умолчанию `MDBX_MMAP_USE_MS_ASYNC=0` (выключено) на Linux и других
системах с unified page cache. Такое поведение (без использования
`msync(MS_ASYNC)`) соответствует неизменяемой (hardcoded) логике LMDB. В
результате, в простых/наивных бенчмарках, libmdbx опережает LMDB
примерна также как при реальном применении.
На всякий случай стоит еще раз отметить/напомнить, что на Windows
предположительно libmdbx будет отставать от LMDB в сценариях с
множеством мелких транзакций, так как libmdbx осознанно использует на
Windows файловые блокировки, которые медленные (плохо реализованы в ядре
ОС), но позволяют застраховать пользователей от массы неверных действий
приводящих к повреждению БД.
- Поддержка не-печатных имен для subDb.
- Добавлен явный выбор `tls_model("local-dynamic")` для обзода проблемы
`relocation R_X86_64_TPOFF32 against FOO cannot be used with -shared`
из-за ошибки в CLANG приводящей к использованию неверного режима `ls_model`.
- Изменение тактики слияния страниц при удалении.
Теперь слияние выполняется преимущественно с уже измененной/грязной страницей.
Если же справа и слева обе страницы с одинаковым статусом,
то с наименее заполненной, как прежде. В сценариях с массивным удалением
это позволяет увеличить производительность до 50%.
- Добавлен контроль отсутствия LCK-файлов с альтернативным именованием.
Исправления (без корректировок новых функций):
----------------------------------------------
- Изменение размера отображения если это требуется для сброса данных на
диск при вызове `mdbx_env_sync()` из параллельного потока выполнения вне
работающей транзакции.
- Исправление регресса после коммита db72763de049d6e4546f838277fe83b9081ad1de от 2022-10-08
в логике возврата грязных страниц в режиме `MDBX_WRITEMAP`, из-за чего
освободившиеся страницы использовались не немедленно, а попадали в
retired-список совершаемой транзакции и происходил необоснованный рост
размера транзакции.
- Устранение SIGSEGV или ошибочного вызова `free()` в ситуациях
повторного открытия среды посредством `mdbx_env_open()`.
- Устранение ошибки совершенной в коммите fe20de136c22ed3bc4c6d3f673e79c106e824f60 от 2022-09-18,
в результате чего на Linux в режиме `MDBX_WRITEMAP` никогда не вызывался `msync()`.
Проблема существует только в релизе 0.12.2.
- Добавление подсчета грязных страниц в `MDBX_WRITEMAP` для предоставления посредством `mdbx_txn_info()`
актуальной информации об объеме изменений в процессе транзакций чтения-записи.
- Исправление несущественной опечатки в условиях `#if` определения порядка байт.
- Исправление сборки для случая `MDBX_PNL_ASCENDING=1`.
Ликвидация технических долгов и мелочи:
---------------------------------------
- Доработка поддержки авто-слияния записей GC внутри `page_alloc_slowpath()`.
- Устранение несущественных предупреждений Coverity.
- Использование единого курсора для поиска в GC.
- Переработка внутренних флагов связанных с выделением страниц из GC.
- Доработка подготовки резерва перед обновлением GC при включенном BigFoot.
- Оптимизация `pnl_merge()` для случаев неперекрывающихся объединяемых списков.
- Оптимизация поддержки отсортированного списка страниц в `dpl_append()`.
- Ускорение работы `mdbx_chk` при обработке пользовательских записей в `@MAIN`.
- Переработка LRU-отметок для спиллинга.
- Переработка контроля "некогерентности" Unified page cache для уменьшения накладных расходов.
- Рефакторинг и микрооптимизация.
20 files changed, 4504 insertions(+), 2924 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2023-01-07 00:00:05 +03:00
20 files changed, 4508 insertions(+), 2928 deletions(-)
2022-12-10 01:20:27 +03:00
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2022-11-19 23:17:53 +03:00
2022-11-28 15:45:29 +03:00
Благодарности:
2022-11-19 23:17:53 +03:00
2022-11-28 15:45:29 +03:00
- [Alex Sharov ](https://t.me/AskAlexSharov ) и команде [Erigon ](https://github.com/ledgerwatch/erigon ) за тестирование.
- [Simon Leier ](https://t.me/leisim ) за сообщение о
Новое:
2022-12-10 01:20:27 +03:00
- Использование адреса [https://libmdbx.dqdkfa.ru/dead-github ](https://libmdbx.dqdkfa.ru/dead-github )
для отсылки к сохранённым в web.archive.org копиям ресурсов, уничтоженных администрацией Github.
- Реализована prefault-запись при выделении страниц для read-write отображений.
Это приводит к кратному снижению системных издержек и существенному увеличению
производительности в соответствующих сценариях использования, когда:
- размер БД и объём данных существенно больше О З У
- используется режим `MDBX_WRITEMAP` ;
- не-мелкие транзакции (по ходу транзакции выделяется многие сотни или тысячи страниц).
В `MDBX_WRITEMAP` выделение/переиспользование страниц приводит
к page-fault и чтению страницы с
не нужно (будет перезаписано). Это является следствием работы подсистемы
виртуальной памяти, а `MADV_REMOVE`
работает не на всех ФС и обычно дороже получаемой экономии.
Теперь в libmdbx используется "упреждающая запись" таких страниц,
которая на системах с unified page cache ](https://www.opennet.ru/base/dev/ubc.txt.html )
приводит к "вталкиванию" данных, устраняя необходимость чтения с
обращении к такой странице памяти.
Новый функционал работает в согласованности с
и кэшем статуса присутствия страниц в О З У mincore() ](https://man7.org/linux/man-pages/man2/mincore.2.html ).
2022-12-12 21:27:17 +03:00
- Добавлена опция `MDBX_opt_prefault_write_enable` для возможности принудительного
включения/выключения prefault-записи.
2022-12-10 01:20:27 +03:00
- Реализован динамический выбор между сквозной записью на диск и обычной записью
с fdatasync() ](https://man7.org/linux/man-pages/man3/fdatasync.3p.html )
управляемый опцией `MDBX_opt_writethrough_threshold` .
В
- сквозной записью через файловый дескриптор открытый с `O_DSYNC` ;
- обычной записью с `fdatasync()` .
Первый способ выгоднее при записи малого количества страниц и/или если
канал взаимодействия с
Второй способ выгоднее если требуется записать много страниц и/или канал
взаимодействия имеет весомую задержку (датацентры, облака). Добавленная
опция `MDBX_opt_writethrough_threshold` позволяет во время выполнения
2023-01-04 00:19:48 +03:00
задать порог для динамического выбора способа записи в зависимости от
2022-12-10 01:20:27 +03:00
объема и конкретных условия использования.
- Автоматическая установка `MDBX_opt_rp_augment_limit` в зависимости от размера БД.
- Запрещение разного режима `MDBX_WRITEMAP` между процессами в режимах
с
обеспечить с б р о с
2022-11-28 15:45:29 +03:00
2022-12-14 10:58:31 +03:00
- Добавлена опция сборки `MDBX_MMAP_USE_MS_ASYNC` позволяющая отключить
использование системного вызова `msync(MS_ASYNC)` , в использовании
которого нет необходимости на подавляющем большинстве актуальных О С
По-умолчанию `MDBX_MMAP_USE_MS_ASYNC=0` (выключено) на Linux и других
системах с
`msync(MS_ASYNC)` ) соответствует неизменяемой (hardcoded) логике LMDB. В
результате, в простых/наивных бенчмарках, libmdbx опережает LMDB
2023-01-08 12:40:44 +03:00
примерно также как при реальном применении.
2022-12-14 10:58:31 +03:00
Н а
предположительно libmdbx будет отставать от LMDB в сценариях с
множеством мелких транзакций, так как libmdbx осознанно использует на
Windows файловые блокировки, которые медленные (плохо реализованы в ядре
О С
приводящих к повреждению БД.
2023-01-04 00:19:48 +03:00
- Поддержка не-печатных имен для subDb.
2023-01-08 12:40:44 +03:00
- Добавлен явный выбор `tls_model("local-dynamic")` для обхода проблемы
2023-01-04 00:19:48 +03:00
`relocation R_X86_64_TPOFF32 against FOO cannot be used with -shared`
2023-10-23 18:13:35 +03:00
из-за ошибки в CLANG приводящей к использованию неверного режима `tls_model` .
2023-01-04 00:19:48 +03:00
2023-01-06 12:03:01 +03:00
- Изменение тактики слияния страниц при удалении.
2023-01-04 00:19:48 +03:00
Теперь слияние выполняется преимущественно с
Если же справа и слева о б е с
то с В с
это позволяет увеличить производительность до 50%.
2023-01-06 12:03:01 +03:00
- Добавлен контроль отсутствия LCK-файлов с
2022-11-28 15:45:29 +03:00
Исправления (без корректировок новых функций):
2022-12-10 01:20:27 +03:00
- Изменение размера отображения если это требуется для с б р о с а
диск при вызове `mdbx_env_sync()` из параллельного потока выполнения вне
работающей транзакции.
- Исправление р е г р е с с а
в логике возврата грязных страниц в режиме `MDBX_WRITEMAP` , из-за чего
освободившиеся страницы использовались не немедленно, а
retired-список совершаемой транзакции и происходил необоснованный рост
размера транзакции.
- Устранение SIGSEGV или ошибочного вызова `free()` в ситуациях
повторного открытия среды посредством `mdbx_env_open()` .
2022-11-19 23:17:53 +03:00
- Устранение ошибки совершенной в коммите fe20de136c22ed3bc4c6d3f673e79c106e824f60 от 2022-09-18,
в результате чего на Linux в режиме `MDBX_WRITEMAP` никогда не вызывался `msync()` .
Проблема существует только в релизе 0.12.2.
2022-12-10 01:20:27 +03:00
2022-11-19 23:17:53 +03:00
- Добавление подсчета грязных страниц в `MDBX_WRITEMAP` для предоставления посредством `mdbx_txn_info()`
актуальной информации о б
2022-12-10 01:20:27 +03:00
2022-11-19 23:17:53 +03:00
- Исправление несущественной опечатки в условиях `#if` определения порядка байт.
2022-12-10 01:20:27 +03:00
2022-11-28 15:45:29 +03:00
- Исправление сборки для случая `MDBX_PNL_ASCENDING=1` .
2022-11-19 23:17:53 +03:00
2022-11-28 15:45:29 +03:00
Ликвидация технических долгов и мелочи:
2022-11-19 23:17:53 +03:00
- Доработка поддержки авто-слияния записей GC внутри `page_alloc_slowpath()` .
- Устранение несущественных предупреждений Coverity.
2022-11-28 15:45:29 +03:00
- Использование единого курсора для поиска в GC.
- Переработка внутренних флагов связанных с
2022-12-10 01:20:27 +03:00
- Доработка подготовки резерва перед обновлением GC при включенном BigFoot.
- Оптимизация `pnl_merge()` для случаев неперекрывающихся объединяемых списков.
- Оптимизация поддержки отсортированного списка страниц в `dpl_append()` .
2022-12-12 21:27:17 +03:00
- Ускорение работы `mdbx_chk` при обработке пользовательских записей в `@MAIN` .
2023-01-04 00:19:48 +03:00
- Переработка LRU-отметок для спиллинга.
- Переработка контроля "некогерентности" Unified page cache для уменьшения накладных расходов.
- Рефакторинг и микрооптимизация.
2022-11-19 23:17:53 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2022-11-19 23:17:53 +03:00
2023-04-18 10:16:51 +03:00
## v0.12.2 "Иван Ярыгин" от 2022-11-11
mdbx: выпуск v0.12.2 (Иван Ярыгин)
Выпуск с существенными доработками и новой функциональностью
в память о российском борце [Иване Сергеевиче Ярыгине](https://ru.wikipedia.org/wiki/Ярыгин,_Иван_Сергеевич).
На Олимпийских играх в Мюнхене в 1972 году Иван Ярыгин уложил всех соперников на лопатки,
суммарно затратив менее 9 минут. Этот рекорд никем не побит до сих пор.
Новое:
------
- Поддержка всех основных опций при сборке посредством CMake.
- Требования к CMake понижены до версии 3.0.2 для возможности сборки для устаревших платформ.
- Добавлена возможность профилирования работы GC в сложных и/или нагруженных
сценариях (например Ethereum/Erigon). По-умолчанию соответствующий код отключен,
а для его активации необходимо указать опцию сборки `MDBX_ENABLE_PROFGC=1`.
- Добавлена функция `mdbx_env_warmup()` для "прогрева" БД с возможностью
закрепления страниц в памяти.
В утилиты `mdbx_chk`, `mdbx_copy` и `mdbx_dump` добавлены опции `-u` и `-U`
для активации соответствующего функционала.
- Отключение учета «грязных» страниц в не требующих этого режимах
(`MDBX_WRITEMAP` при `MDBX_AVOID_MSYNC=0`). Доработка позволяет снизить
накладные расходы и была запланирована давно, но откладывалась так как
требовала других изменений.
- Вытеснение из памяти (спиллинг) «грязных» страниц с учетом размера
large/overflow-страниц. Доработка позволяет корректно соблюдать политику
задаваемую опциями `MDBX_opt_txn_dp_limit`,
`MDBX_opt_spill_max_denominator`, `MDBX_opt_spill_min_denominator` и
была запланирована давно, но откладывалась так как требовала других
изменений.
- Для Windows в API добавлены UNICODE-зависимые определения макросов
`MDBX_DATANAME`, `MDBX_LOCKNAME` и `MDBX_LOCK_SUFFIX`.
- Переход на преимущественное использование типа `size_t` для
уменьшения накладных расходов на платформе Эльбрус.
- В API добавлены функции `mdbx_limits_valsize4page_max()` и
`mdbx_env_get_valsize4page_max()` возвращающие максимальный размер в
байтах значения, которое может быть размещена в одной
large/overflow-странице, а не последовательности из двух или более таких
страниц. Для таблиц с поддержкой дубликатов вынос значений на
large/overflow-страницы не поддерживается, поэтому результат совпадает с
`mdbx_limits_valsize_max()`.
- В API добавлены функции `mdbx_limits_pairsize4page_max()`и
`mdbx_env_get_pairsize4page_max()` возвращающие в байтах максимальный
суммарный размер пары ключ-значение для их размещения на одной листовой
страницы, без выноса значения на отдельную large/overflow-страницу. Для
таблиц с поддержкой дубликатов вынос значений на large/overflow-страницы
не поддерживается, поэтому результат определяет максимальный/допустимый
суммарный размер пары ключ-значение.
- Реализовано использование асинхронной (overlapped) записи в Windows,
включая использования небуфферизированного ввода-вывода и `WriteGather()`.
Это позволяет сократить накладные расходы и частично обойти проблемы
Windows с низкой производительностью ввода-вывода, включая большие
задержки `FlushFileBuffers()`. Новый код также обеспечивает консолидацию
записываемых регионов на всех платформах, а на Windows использование
событий (events) сведено к минимум, одновременно с автоматических
использованием `WriteGather()`. Поэтому ожидается существенное снижение
накладных расходов взаимодействия с ОС, а в Windows это ускорение, в
некоторых сценариях, может быть кратным в сравнении с LMDB.
- Добавлена опция сборки `MDBX_AVOID_MSYNC`, которая определяет
поведение libmdbx в режиме `MDBX_WRITE_MAP` (когда данные изменяются
непосредственно в отображенных в ОЗУ страницах БД):
* Если `MDBX_AVOID_MSYNC=0` (по умолчанию на всех системах кроме Windows),
то (как прежде) сохранение данных выполняется посредством `msync()`,
либо `FlushViewOfFile()` на Windows. На платформах с полноценной
подсистемой виртуальной памяти и адекватным файловым вводом-выводом
это обеспечивает минимум накладных расходов (один системный вызов)
и максимальную производительность. Однако, на Windows приводит
к значительной деградации, в том числе из-за того что после
`FlushViewOfFile()` требуется также вызов `FlushFileBuffers()`
с массой проблем и суеты внутри ядра ОС.
* Если `MDBX_AVOID_MSYNC=1` (по умолчанию только на Windows), то
сохранение данных выполняется явной записью в файл каждой измененной
страницы БД. Это требует дополнительных накладных расходов, как
на отслеживание измененных страниц (ведение списков "грязных"
страниц), так и на системные вызовы для их записи.
Кроме этого, с точки зрения подсистемы виртуальной памяти ядра ОС,
страницы БД измененные в ОЗУ и явно записанные в файл, могут либо
оставаться "грязными" и быть повторно записаны ядром ОС позже,
либо требовать дополнительных накладных расходов для отслеживания
PTE (Page Table Entries), их модификации и дополнительного копирования
данных. Тем не менее, по имеющейся информации, на Windows такой путь
записи данных в целом обеспечивает более высокую производительность.
- Улучшение эвристики включения авто-слияния записей GC.
- Изменение формата LCK и семантики некоторых внутренних полей. Версии
libmdbx использующие разный формат не смогут работать с одной БД
одновременно, а только поочередно (LCK-файл переписывается при открытии
первым открывающим БД процессом).
- В `C++` API добавлены методы фиксации транзакции с получением информации
о задержках.
- Added `MDBX_HAVE_BUILT IN_CPU_SUPPORTS` build option to control use GCC's
`__builtin_cpu_supports()` function, which could be unavailable on a fake
OSes (macos, ios, android, etc).
Исправления (без корректировок вышеперечисленных новых функций):
----------------------------------------------------------------
- Устранения ряда предупреждений при сборке посредством MinGW.
- Устранение ложно-положительных сообщений от Valgrind об использовании
не инициализированных данных из-за выравнивающих зазоров в `struct troika`.
- Исправлен возврат неожиданной ошибки `MDBX_BUSY` из функций `mdbx_env_set_option()`,
`mdbx_env_set_syncbytes()` и `mdbx_env_set_syncperiod()`.
- Небольшие исправления для совместимости с CMake 3.8
- Больше контроля и осторожности (паранойи) для страховки от дефектов `mremap()`.
- Костыль для починки сборки со старыми версиями `stdatomic.h` из GNU Lib C,
где макросы `ATOMIC_*_LOCK_FREE` ошибочно переопределяются через функции.
- Использование `fcntl64(F_GETLK64/F_SETLK64/F_SETLKW64)` при наличии.
Это решает проблему срабатывания проверочного утверждения при сборке для
платформ где тип `off_t` шире соответствующих полей `структуры flock`,
используемой для блокировки файлов.
- Доработан сбор информации о задержках при фиксации транзакций:
* Устранено искажение замеров длительности обновления GC
при включении отладочного внутреннего аудита;
* Защита от undeflow-нуля только общей задержки в метриках,
чтобы исключить ситуации, когда сумма отдельных стадий
больше общей длительности.
- Ряд исправлений для устранения срабатываний проверочных утверждения в
отладочных сборках.
- Более осторожное преобразование к типу `mdbx_tid_t` для устранения
предупреждений.
- Исправление лишнего сброса данных на диск в режиме `MDBX_SAFE_NOSYNC`
при обновлении GC.
- Fixed an extra check for `MDBX_APPENDDUP` inside `mdbx_cursor_put()`
which could result in returning `MDBX_EKEYMISMATCH` for valid cases.
- Fixed nasty `clz()` bug (by using `_BitScanReverse()`, only MSVC builds affected).
Мелочи:
-------
- Исторические ссылки cвязанные с удалённым на ~~github~~ проектом перенаправлены на [web.archive.org](https://web.archive.org/web/https://github.com/erthink/libmdbx).
- Синхронизированны конструкции CMake между проектами.
- Добавлено предупреждение о небезопасности RISC-V.
- Добавлено описание параметров `MDBX_debug_func` и `MDBX_debug_func`.
- Добавлено обходное решение для минимизации ложно-положительных
конфликтов при использовании файловых блокировок в Windows.
- Проверка атомарности C11-операций c 32/64-битными данными.
- Уменьшение в 42 раза значения по-умолчанию для `me_options.dp_limit`
в отладочных сборках.
- Добавление платформы `gcc-riscv64-linux-gnu` в список для цели `cross-gcc`.
- Небольшие правки скрипта `long_stochastic.sh` для работы в Windows.
- Удаление ненужного вызова `LockFileEx()` внутри `mdbx_env_copy()`.
- Добавлено описание использования файловых дескрипторов в различных режимах.
- Добавлено использование `_CrtDbgReport()` в отладочных сборках.
- Fixed an extra ensure/assertion check of `oldest_reader` inside `txn_end()`.
- Removed description of deprecated usage of `MDBX_NODUPDATA`.
- Fixed regression ASAN/Valgring-enabled builds.
- Fixed minor MingGW warning.
64 files changed, 5573 insertions(+), 2510 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2022-11-11 17:35:32 +03:00
Выпуск с
в память о Иване Сергеевиче Ярыгине ](https://ru.wikipedia.org/wiki/Ярыгин,_Ива С е р г е е ).
Н а
суммарно затратив менее 9 минут. Этот рекорд никем не побит до сих пор.
```
64 files changed, 5573 insertions(+), 2510 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2022-08-26 19:27:17 +03:00
2022-10-10 17:03:07 +03:00
Новое:
2022-11-11 16:16:33 +03:00
- Поддержка всех основных опций при сборке посредством CMake.
2022-11-09 00:36:06 +03:00
- Требования к CMake понижены до версии 3.0.2 для возможности сборки для устаревших платформ.
2022-11-07 00:53:44 +03:00
- Добавлена возможность профилирования работы GC в сложных и/или нагруженных
сценариях (например Ethereum/Erigon). По-умолчанию соответствующий код отключен,
а е г о `MDBX_ENABLE_PROFGC=1` .
2022-10-24 12:58:41 +03:00
- Добавлена функция `mdbx_env_warmup()` для "прогрева" БД с
закрепления страниц в памяти.
В `mdbx_chk` , `mdbx_copy` и `mdbx_dump` добавлены опции `-u` и `-U`
для активации соответствующего функционала.
2022-10-10 17:03:07 +03:00
- Отключение учета «грязных» страниц в не требующих этого режимах
(`MDBX_WRITEMAP` при `MDBX_AVOID_MSYNC=0` ). Доработка позволяет снизить
накладные расходы и была запланирована давно, но откладывалась так как
требовала других изменений.
- Вытеснение из памяти (спиллинг) «грязных» страниц с
large/overflow-страниц. Доработка позволяет корректно соблюдать политику
задаваемую опциями `MDBX_opt_txn_dp_limit` ,
`MDBX_opt_spill_max_denominator` , `MDBX_opt_spill_min_denominator` и
была запланирована давно, но откладывалась так как требовала других
изменений.
- Для Windows в API добавлены UNICODE-зависимые определения макросов
`MDBX_DATANAME` , `MDBX_LOCKNAME` и `MDBX_LOCK_SUFFIX` .
- Переход на преимущественное использование типа `size_t` для
уменьшения накладных расходов на платформе Эльбрус.
- В `mdbx_limits_valsize4page_max()` и
`mdbx_env_get_valsize4page_max()` возвращающие максимальный размер в
байтах значения, которое может быть размещена в одной
large/overflow-странице, а
страниц. Для таблиц с
large/overflow-страницы не поддерживается, поэтому результат совпадает с
`mdbx_limits_valsize_max()` .
- В `mdbx_limits_pairsize4page_max()` и
`mdbx_env_get_pairsize4page_max()` возвращающие в байтах максимальный
суммарный размер пары ключ-значение для их размещения на одной листовой
страницы, без выноса значения на отдельную large/overflow-страницу. Для
таблиц с
не поддерживается, поэтому результат определяет максимальный/допустимый
суммарный размер пары ключ-значение.
- Реализовано использование асинхронной (overlapped) записи в Windows,
2023-06-09 00:04:27 +03:00
включая использования небуферизированного ввода-вывода и `WriteGather()` .
2022-10-10 17:03:07 +03:00
Это позволяет сократить накладные расходы и частично обойти проблемы
Windows с
2022-10-14 16:20:57 +03:00
задержки `FlushFileBuffers()` . Новый код также обеспечивает консолидацию
2022-10-10 17:03:07 +03:00
записываемых регионов на всех платформах, а
событий (events) сведено к минимум, одновременно с
2022-10-14 16:20:57 +03:00
использованием `WriteGather()` . Поэтому ожидается существенное снижение
2022-10-10 17:03:07 +03:00
накладных расходов взаимодействия с О С а
некоторых сценариях, может быть кратным в сравнении с
- Добавлена опция сборки `MDBX_AVOID_MSYNC` , которая определяет
поведение libmdbx в режиме `MDBX_WRITE_MAP` (когда данные изменяются
непосредственно в отображенных в О З У
* Если `MDBX_AVOID_MSYNC=0` (по умолчанию на всех системах кроме Windows),
то (как прежде) сохранение данных выполняется посредством `msync()` ,
либо `FlushViewOfFile()` на Windows. Н а с
подсистемой виртуальной памяти и адекватным файловым вводом-выводом
это обеспечивает минимум накладных расходов (один системный вызов)
и максимальную производительность. Однако, на Windows приводит
к значительной деградации, в том числе из-за того что после
`FlushViewOfFile()` требуется также вызов `FlushFileBuffers()`
с О С
* Если `MDBX_AVOID_MSYNC=1` (по умолчанию только на Windows), то
сохранение данных выполняется явной записью в файл каждой измененной
страницы БД. Это требует дополнительных накладных расходов, как
на отслеживание измененных страниц (ведение списков "грязных"
страниц), так и на системные вызовы для их записи.
Кроме этого, с О С
страницы БД измененные в О З У
оставаться "грязными" и быть повторно записаны ядром О С
либо требовать дополнительных накладных расходов для отслеживания
PTE (Page Table Entries), их модификации и дополнительного копирования
данных. Тем не менее, по имеющейся информации, на Windows такой путь
записи данных в целом обеспечивает более высокую производительность.
2022-10-14 11:47:34 +03:00
- Улучшение эвристики включения авто-слияния записей GC.
- Изменение формата LCK и семантики некоторых внутренних полей. Версии
libmdbx использующие разный формат не смогут работать с
одновременно, а
первым открывающим БД процессом).
2022-10-14 16:20:57 +03:00
- В `C++` API добавлены методы фиксации транзакции с
2022-10-14 11:47:34 +03:00
о
2022-10-10 17:03:07 +03:00
- Added `MDBX_HAVE_BUILT IN_CPU_SUPPORTS` build option to control use GCC's
`__builtin_cpu_supports()` function, which could be unavailable on a fake
OSes (macos, ios, android, etc).
2022-08-26 19:27:17 +03:00
2022-11-07 00:53:44 +03:00
Исправления (без корректировок вышеперечисленных новых функций):
2022-09-09 19:01:59 +03:00
2022-11-09 00:36:06 +03:00
- Устранения ряда предупреждений при сборке посредством MinGW.
2022-11-07 00:53:44 +03:00
- Устранение ложно-положительных сообщений от Valgrind о б
не инициализированных данных из-за выравнивающих зазоров в `struct troika` .
- Исправлен возврат неожиданной ошибки `MDBX_BUSY` из функций `mdbx_env_set_option()` ,
`mdbx_env_set_syncbytes()` и `mdbx_env_set_syncperiod()` .
2022-10-24 12:58:41 +03:00
- Небольшие исправления для совместимости с
2022-10-14 11:47:34 +03:00
- Больше контроля и осторожности (паранойи) для страховки от дефектов `mremap()` .
- Костыль для починки сборки с о `stdatomic.h` из GNU Lib C,
где макросы `ATOMIC_*_LOCK_FREE` ошибочно переопределяются через функции.
- Использование `fcntl64(F_GETLK64/F_SETLK64/F_SETLKW64)` при наличии.
Это решает проблему срабатывания проверочного утверждения при сборке для
платформ где тип `off_t` шире соответствующих полей `структуры flock` ,
используемой для блокировки файлов.
2022-10-10 17:03:07 +03:00
- Доработан с б о р о
* Устранено искажение замеров длительности обновления GC
при включении отладочного внутреннего аудита;
* Защита от undeflow-нуля только общей задержки в метриках,
чтобы исключить ситуации, когда сумма отдельных стадий
больше общей длительности.
2022-10-14 11:47:34 +03:00
- Ряд исправлений для устранения срабатываний проверочных утверждения в
отладочных сборках.
- Более осторожное преобразование к типу `mdbx_tid_t` для устранения
предупреждений.
- Исправление лишнего с б р о с а `MDBX_SAFE_NOSYNC`
при обновлении GC.
- Fixed an extra check for `MDBX_APPENDDUP` inside `mdbx_cursor_put()`
which could result in returning `MDBX_EKEYMISMATCH` for valid cases.
2022-09-21 14:32:18 +03:00
- Fixed nasty `clz()` bug (by using `_BitScanReverse()` , only MSVC builds affected).
2022-09-09 19:01:59 +03:00
2022-10-10 17:03:07 +03:00
Мелочи:
2022-09-09 19:01:59 +03:00
2022-11-11 16:16:33 +03:00
- Исторические ссылки cвяза е с ~~github~~ проектом перенаправлены на [web.archive.org ](https://web.archive.org/web/https://github.com/erthink/libmdbx ).
2023-04-18 10:16:51 +03:00
- Синхронизированы конструкции CMake между проектами.
2022-11-09 16:41:46 +03:00
- Добавлено предупреждение о
2022-11-07 00:53:44 +03:00
- Добавлено описание параметров `MDBX_debug_func` и `MDBX_debug_func` .
- Добавлено обходное решение для минимизации ложно-положительных
конфликтов при использовании файловых блокировок в Windows.
2022-10-14 11:47:34 +03:00
- Проверка атомарности C11-операций c 32/64-битными данными.
- Уменьшение в 42 раза значения по-умолчанию для `me_options.dp_limit`
в отладочных сборках.
- Добавление платформы `gcc-riscv64-linux-gnu` в список для цели `cross-gcc` .
- Небольшие правки скрипта `long_stochastic.sh` для работы в Windows.
- Удаление ненужного вызова `LockFileEx()` внутри `mdbx_env_copy()` .
2022-10-10 17:03:07 +03:00
- Добавлено описание использования файловых дескрипторов в различных режимах.
2022-10-14 16:20:57 +03:00
- Добавлено использование `_CrtDbgReport()` в отладочных сборках.
2022-09-09 19:01:59 +03:00
- Fixed an extra ensure/assertion check of `oldest_reader` inside `txn_end()` .
- Removed description of deprecated usage of `MDBX_NODUPDATA` .
- Fixed regression ASAN/Valgring-enabled builds.
2022-09-13 11:39:55 +03:00
- Fixed minor MingGW warning.
2022-09-09 19:01:59 +03:00
2022-08-26 19:27:17 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2022-08-26 19:27:17 +03:00
2023-04-18 10:16:51 +03:00
## v0.12.1 "Positive Proxima" at 2022-08-24
2022-07-08 01:03:23 +03:00
2022-07-09 17:34:25 +03:00
The planned frontward release with new superior features on the day of 20 anniversary of [Positive Technologies ](https://ptsecurty.com ).
2022-07-08 01:03:23 +03:00
mdbx: release v0.12.1 (Positive Proxima)
The planned frontward release with new superior features on the day of 20 anniversary of [Positive Technologies](https://ptsecurty.com).
New:
----
- The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions.
Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages.
Thus avoiding searching, allocating and storing such sequences inside GC.
- Improved hot/online validation and checking of database pages both for more robustness and performance.
- New solid and fast method to latch meta-pages called `Troika`.
The minimum of memory barriers, reads, comparisons and conditional transitions are used.
- New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB.
- Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences.
- Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming.
- Copy-with-compactification now clears/zeroes unused gaps inside database pages.
- The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames.
On Windows the `mdbx_env_openW()`, `mdbx_env_get_pathW()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now,
but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`.
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
- Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake.
- Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug.
- A lot internal refinement and micro-optimisations.
- Internally counted volume of dirty pages (unused for now but for coming features).
Fixes:
------
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
37 files changed, 7604 insertions(+), 7417 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2022-08-24 16:24:22 +03:00
```
37 files changed, 7604 insertions(+), 7417 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2022-07-08 01:03:23 +03:00
New:
2022-07-09 17:34:25 +03:00
- The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions.
2022-07-08 01:03:23 +03:00
Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages.
Thus avoiding searching, allocating and storing such sequences inside GC.
- Improved hot/online validation and checking of database pages both for more robustness and performance.
mdbx: release v0.12.1 (Positive Proxima)
The planned frontward release with new superior features on the day of 20 anniversary of [Positive Technologies](https://ptsecurty.com).
New:
----
- The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions.
Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages.
Thus avoiding searching, allocating and storing such sequences inside GC.
- Improved hot/online validation and checking of database pages both for more robustness and performance.
- New solid and fast method to latch meta-pages called `Troika`.
The minimum of memory barriers, reads, comparisons and conditional transitions are used.
- New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB.
- Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences.
- Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming.
- Copy-with-compactification now clears/zeroes unused gaps inside database pages.
- The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames.
On Windows the `mdbx_env_openW()`, `mdbx_env_get_pathW()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now,
but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`.
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
- Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake.
- Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug.
- A lot internal refinement and micro-optimisations.
- Internally counted volume of dirty pages (unused for now but for coming features).
Fixes:
------
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
37 files changed, 7604 insertions(+), 7417 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2022-08-24 16:24:22 +03:00
- New solid and fast method to latch meta-pages called `Troika` .
The minimum of memory barriers, reads, comparisons and conditional transitions are used.
2022-07-09 17:34:25 +03:00
- New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB.
mdbx: release v0.12.1 (Positive Proxima)
The planned frontward release with new superior features on the day of 20 anniversary of [Positive Technologies](https://ptsecurty.com).
New:
----
- The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions.
Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages.
Thus avoiding searching, allocating and storing such sequences inside GC.
- Improved hot/online validation and checking of database pages both for more robustness and performance.
- New solid and fast method to latch meta-pages called `Troika`.
The minimum of memory barriers, reads, comparisons and conditional transitions are used.
- New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB.
- Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences.
- Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming.
- Copy-with-compactification now clears/zeroes unused gaps inside database pages.
- The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames.
On Windows the `mdbx_env_openW()`, `mdbx_env_get_pathW()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now,
but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`.
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
- Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake.
- Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug.
- A lot internal refinement and micro-optimisations.
- Internally counted volume of dirty pages (unused for now but for coming features).
Fixes:
------
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
37 files changed, 7604 insertions(+), 7417 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2022-08-24 16:24:22 +03:00
- Accelerated × × ×
2022-07-09 17:34:25 +03:00
- Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming.
2022-07-08 01:03:23 +03:00
- Copy-with-compactification now clears/zeroes unused gaps inside database pages.
mdbx: release v0.12.1 (Positive Proxima)
The planned frontward release with new superior features on the day of 20 anniversary of [Positive Technologies](https://ptsecurty.com).
New:
----
- The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions.
Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages.
Thus avoiding searching, allocating and storing such sequences inside GC.
- Improved hot/online validation and checking of database pages both for more robustness and performance.
- New solid and fast method to latch meta-pages called `Troika`.
The minimum of memory barriers, reads, comparisons and conditional transitions are used.
- New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB.
- Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences.
- Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming.
- Copy-with-compactification now clears/zeroes unused gaps inside database pages.
- The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames.
On Windows the `mdbx_env_openW()`, `mdbx_env_get_pathW()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now,
but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`.
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
- Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake.
- Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug.
- A lot internal refinement and micro-optimisations.
- Internally counted volume of dirty pages (unused for now but for coming features).
Fixes:
------
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
37 files changed, 7604 insertions(+), 7417 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2022-08-24 16:24:22 +03:00
- The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames.
2023-05-26 18:10:47 +03:00
On Windows the `mdbx_env_openW()` , `mdbx_env_get_pathW()` , `mdbx_env_copyW()` , `mdbx_env_open_for_recoveryW()` are available for now,
mdbx: release v0.12.1 (Positive Proxima)
The planned frontward release with new superior features on the day of 20 anniversary of [Positive Technologies](https://ptsecurty.com).
New:
----
- The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions.
Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages.
Thus avoiding searching, allocating and storing such sequences inside GC.
- Improved hot/online validation and checking of database pages both for more robustness and performance.
- New solid and fast method to latch meta-pages called `Troika`.
The minimum of memory barriers, reads, comparisons and conditional transitions are used.
- New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB.
- Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences.
- Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming.
- Copy-with-compactification now clears/zeroes unused gaps inside database pages.
- The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames.
On Windows the `mdbx_env_openW()`, `mdbx_env_get_pathW()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now,
but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`.
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
- Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake.
- Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug.
- A lot internal refinement and micro-optimisations.
- Internally counted volume of dirty pages (unused for now but for coming features).
Fixes:
------
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
37 files changed, 7604 insertions(+), 7417 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2022-08-24 16:24:22 +03:00
but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()` .
2022-08-22 21:46:54 +03:00
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
mdbx: release v0.12.1 (Positive Proxima)
The planned frontward release with new superior features on the day of 20 anniversary of [Positive Technologies](https://ptsecurty.com).
New:
----
- The `Big Foot` feature which significantly reduces GC overhead for processing large lists of retired pages from huge transactions.
Now _libmdbx_ avoid creating large chunks of PNLs (page number lists) which required a long sequences of free pages, aka large/overflow pages.
Thus avoiding searching, allocating and storing such sequences inside GC.
- Improved hot/online validation and checking of database pages both for more robustness and performance.
- New solid and fast method to latch meta-pages called `Troika`.
The minimum of memory barriers, reads, comparisons and conditional transitions are used.
- New `MDBX_VALIDATION` environment options to extra validation of DB structure and pages content for carefully/safe handling damaged or untrusted DB.
- Accelerated ×16/×8/×4 by AVX512/AVX2/SSE2/Neon implementations of search page sequences.
- Added the `gcrtime_seconds16dot16` counter to the "Page Operation Statistics" that accumulates time spent for GC searching and reclaiming.
- Copy-with-compactification now clears/zeroes unused gaps inside database pages.
- The `C` and `C++` APIs has been extended and/or refined to simplify using `wchar_t` pathnames.
On Windows the `mdbx_env_openW()`, `mdbx_env_get_pathW()`, `mdbx_env_copyW()`, `mdbx_env_open_for_recoveryW()` are available for now,
but the `mdbx_env_get_path()` has been replaced in favor of `mdbx_env_get_pathW()`.
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
- Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake.
- Speed-up internal `bsearch`/`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug.
- A lot internal refinement and micro-optimisations.
- Internally counted volume of dirty pages (unused for now but for coming features).
Fixes:
------
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
37 files changed, 7604 insertions(+), 7417 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) <leo@yuriev.ru>
2022-08-24 16:24:22 +03:00
- Added `MDBX_MANAGE_BUILD_FLAGS` build options for CMake.
- Speed-up internal `bsearch` /`lower_bound` implementation using branchless tactic, including workaround for CLANG x86 optimiser bug.
- A lot internal refinement and micro-optimisations.
- Internally counted volume of dirty pages (unused for now but for coming features).
2022-08-17 23:56:53 +03:00
Fixes:
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
2022-07-08 01:03:23 +03:00
2022-06-19 01:23:45 +03:00
## v0.12.0 at 2022-06-19
Not a release but preparation for changing feature set and API.
2022-07-08 01:32:30 +03:00
2023-04-24 16:10:40 +03:00
********************************************************************************
2023-04-18 10:16:51 +03:00
## v0.11.14 "Sergey Kapitsa" at 2023-02-14
The stable bugfix release in memory of [Sergey Kapitsa ](https://en.wikipedia.org/wiki/Sergey_Kapitsa ) on his 95th birthday.
```
22 files changed, 250 insertions(+), 174 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
Fixes:
- backport: Fixed insignificant typo of `||` inside `#if` byte-order condition.
- backport: Fixed `SIGSEGV` or an erroneous call to `free()` in situations where
errors occur when reopening by `mdbx_env_open()` of a previously used
environment.
- backport: Fixed `cursor_put_nochecklen()` internals for case when dupsort'ed named subDb
contains a single key with multiple values (aka duplicates), which are replaced
with a single value by put-operation with the `MDBX_UPSERT+MDBX_ALLDUPS` flags.
In this case, the database becomes completely empty, without any pages.
However exactly this condition was not considered and thus wasn't handled correctly.
See [issue#8 ](https://gitflic.ru/project/erthink/libmdbx/issue/8 ) for more information.
- backport: Fixed extra assertion inside `override_meta()` , which could
lead to false-positive failing of the assertion in a debug builds during
DB recovery and auto-rollback.
- backport: Refined the `__cold` /`__hot` macros to avoid the
`error: inlining failed in call to ‘ ’
issue during build using GCC >10.x for SH4 arch.
Minors:
- backport: Using the https://libmdbx.dqdkfa.ru/dead-github
for resources deleted by the Github' administration.
- backport: Fixed English typos.
- backport: Fixed proto of `__asan_default_options()` .
- backport: Fixed doxygen-description of C++ API, especially of C++20 concepts.
- backport: Refined `const` and `noexcept` for few C++ API methods.
- backport: Fixed copy& paste typo of "Getting started".
- backport: Update MithrilDB status.
- backport: Resolve false-posirive `used uninitialized` warning from GCC >10.x
while build for SH4 arch.
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2022-07-08 01:32:30 +03:00
2023-04-18 10:16:51 +03:00
## v0.11.13 at "Swashplate" 2022-11-10
2022-11-11 16:56:43 +03:00
The stable bugfix release in memory of [Boris Yuryev ](https://ru.wikipedia.org/wiki/Юрьев,_Бо р с Н о а е ) on his 133rd birthday.
```
30 files changed, 405 insertions(+), 136 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
Fixes:
- Fixed builds with older libc versions after using `fcntl64()` (backport).
- Fixed builds with older `stdatomic.h` versions,
where the `ATOMIC_*_LOCK_FREE` macros mistakenly redefined using functions (backport).
- Added workaround for `mremap()` defect to avoid assertion failure (backport).
- Workaround for `encryptfs` bug(s) in the `copy_file_range` implementation (backport).
- Fixed unexpected `MDBX_BUSY` from `mdbx_env_set_option()` , `mdbx_env_set_syncbytes()`
and `mdbx_env_set_syncperiod()` (backport).
- CMake requirements lowered to version 3.0.2 (backport).
Minors:
- Minor clarification output of `--help` for `mdbx_test` (backport).
- Added admonition of insecure for RISC-V (backport).
- Stochastic scripts and CMake files synchronized with the `devel` branch.
- Use `--dont-check-ram-size` for small-tests make-targets (backport).
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
## v0.11.12 "Эребуни" at 2022-10-12
2022-11-11 16:56:43 +03:00
The stable bugfix release.
```
11 files changed, 96 insertions(+), 49 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
Fixes:
- Fixed static assertion failure on platforms where the `off_t` type is wider
than corresponding fields of `struct flock` used for file locking (backport).
Now _libmdbx_ will use `fcntl64(F_GETLK64/F_SETLK64/F_SETLKW64)` if available.
- Fixed assertion check inside `page_retire_ex()` (backport).
Minors:
- Fixed `-Wint-to-pointer-cast` warnings while casting to `mdbx_tid_t` (backport).
- Removed needless `LockFileEx()` inside `mdbx_env_copy()` (backport).
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
## v0.11.11 "Тендра-1790" at 2022-09-11
2022-11-11 16:56:43 +03:00
The stable bugfix release.
```
10 files changed, 38 insertions(+), 21 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
Fixes:
- Fixed an extra check for `MDBX_APPENDDUP` inside `mdbx_cursor_put()` which could result in returning `MDBX_EKEYMISMATCH` for valid cases.
- Fixed an extra ensure/assertion check of `oldest_reader` inside `mdbx_txn_end()` .
- Fixed derived C++ builds by removing `MDBX_INTERNAL_FUNC` for `mdbx_w2mb()` and `mdbx_mb2w()` .
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
## v0.11.10 "the TriColor" at 2022-08-22
2022-07-08 00:27:19 +03:00
The stable bugfix release.
2022-08-22 21:46:54 +03:00
```
14 files changed, 263 insertions(+), 252 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2022-08-17 23:56:53 +03:00
New:
- The C++ API has been refined to simplify support for `wchar_t` in path names.
2022-08-22 13:32:24 +03:00
- Added explicit error message for Buildroot's Microblaze toolchain maintainers.
2022-08-17 23:56:53 +03:00
Fixes:
- Never use modern `__cxa_thread_atexit()` on Apple's OSes.
- Use `MultiByteToWideChar(CP_THREAD_ACP)` instead of `mbstowcs()` .
- Don't check owner for finished transactions.
- Fixed typo in `MDBX_EINVAL` which breaks MingGW builds with CLANG.
Minors:
- Fixed variable name typo.
- Using `ldd` to check used dso.
- Added `MDBX_WEAK_IMPORT_ATTRIBUTE` macro.
- Use current transaction geometry for untouched parameters when `env_set_geometry()` called within a write transaction.
2022-08-22 13:32:24 +03:00
- Minor clarified `iov_page()` failure case.
2022-08-17 23:56:53 +03:00
2022-08-26 19:27:17 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2022-08-17 23:56:53 +03:00
2023-04-18 10:16:51 +03:00
## v0.11.9 "Чирчик-1992" at 2022-08-02
2022-07-08 00:27:19 +03:00
The stable bugfix release.
2022-08-02 12:00:30 +03:00
```
18 files changed, 318 insertions(+), 178 deletions(-)
Signed-off-by: Леонид Юрьев (Leonid Yuriev) < leo @ yuriev . ru >
```
2023-04-18 10:16:51 +03:00
Acknowledgments:
2022-07-23 11:03:27 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) and Erigon team for reporting and testing.
- [Andrew Ashikhmin ](https://gitflic.ru/user/yperbasis ) for contributing.
2022-07-08 00:27:19 +03:00
New:
- Ability to customise `MDBX_LOCK_SUFFIX` , `MDBX_DATANAME` , `MDBX_LOCKNAME` just by predefine ones during build.
2022-07-23 11:03:27 +03:00
- Added to [`mdbx::env_managed` ](https://libmdbx.dqdkfa.ru/group__cxx__api.html#classmdbx_1_1env__managed )'s methods a few overloads with `const char* pathname` parameter (C++ API).
2022-07-08 00:27:19 +03:00
Fixes:
- Fixed hang copy-with-compactification of a corrupted DB
or in case the volume of output pages is a multiple of `MDBX_ENVCOPY_WRITEBUF` .
2022-07-23 11:03:27 +03:00
- Fixed standalone non-CMake build on MacOS (`#include AvailabilityMacros.h>`).
- Fixed unexpected `MDBX_PAGE_FULL` error in rare cases with large database page sizes.
2022-07-08 00:27:19 +03:00
Minors:
- Minor fixes Doxygen references, comments, descriptions, etc.
- Fixed copy& paste typo inside `meta_checktxnid()` .
2022-07-08 01:08:54 +03:00
- Minor fix `meta_checktxnid()` to avoid assertion in debug mode.
2022-07-08 01:17:21 +03:00
- Minor fix `mdbx_env_set_geometry()` to avoid returning `EINVAL` in particular rare cases.
2022-07-09 14:11:36 +03:00
- Minor refine/fix batch-get testcase for large page size.
- Added `--pagesize NN` option to long-stotastic test script.
- Updated Valgrind-suppressions file for modern GCC.
2022-07-23 11:03:27 +03:00
- Fixed `has no symbols` warning from Apple's ranlib.
2022-07-08 00:27:19 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2022-07-08 01:03:23 +03:00
2022-06-19 01:23:45 +03:00
2023-04-18 10:16:51 +03:00
## v0.11.8 "Baked Apple" at 2022-06-12
2022-04-25 12:34:03 +03:00
2022-07-08 00:27:19 +03:00
The stable release with an important fixes and workaround for the critical macOS thread-local-storage issue.
2022-07-08 01:03:23 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2022-04-25 12:34:03 +03:00
- [Masatoshi Fukunaga ](https://github.com/mah0x211 ) for [Lua bindings ](https://github.com/mah0x211/lua-libmdbx ).
2022-05-03 13:25:17 +03:00
New:
- Added most of transactions flags to the public API.
2022-05-16 21:31:42 +03:00
- Added `MDBX_NOSUCCESS_EMPTY_COMMIT` build option to return non-success result (`MDBX_RESULT_TRUE`) on empty commit.
2022-06-04 22:59:19 +03:00
- Reworked validation and import of DBI-handles into a transaction.
Assumes these changes will be invisible to most users, but will cause fewer surprises in complex DBI cases.
- Added ability to open DB in without-LCK (exclusive read-only) mode in case no permissions to create/write LCK-file.
2022-05-03 13:25:17 +03:00
Fixes:
- A series of fixes and improvements for automatically generated documentation (Doxygen).
2022-05-16 21:31:42 +03:00
- Fixed copy& paste bug with could lead to `SIGSEGV` (nullptr dereference) in the exclusive/no-lck mode.
- Fixed minor warnings from modern Apple's CLANG 13.
2022-05-17 13:38:53 +03:00
- Fixed minor warnings from CLANG 14 and in-development CLANG 15.
2022-06-04 22:59:19 +03:00
- Fixed `SIGSEGV` regression in without-LCK (exclusive read-only) mode.
- Fixed `mdbx_check_fs_local()` for CDROM case on Windows.
2022-06-08 22:08:35 +03:00
- Fixed nasty typo of typename which caused false `MDBX_CORRUPTED` error in a rare execution path,
when the size of the thread-ID type not equal to 8.
2022-07-09 14:11:36 +03:00
- Fixed Elbrus/E2K LCC 1.26 compiler warnings (memory model for atomic operations, etc).
2022-06-12 23:23:40 +03:00
- Fixed write-after-free memory corruption on latest `macOS` during finalization/cleanup of thread(s) that executed read transaction(s).
> The issue was suddenly discovered by a [CI](https://en.wikipedia.org/wiki/Continuous_integration)
> after adding an iteration with macOS 11 "Big Sur", and then reproduced on recent release of macOS 12 "Monterey".
> The issue was never noticed nor reported on macOS 10 "Catalina" nor others.
> Analysis shown that the problem caused by a change in the behavior of the system library (internals of dyld and pthread)
> during thread finalization/cleanup: now a memory allocated for a `__thread` variable(s) is released
> before execution of the registered Thread-Local-Storage destructor(s),
> thus a TLS-destructor will write-after-free just by legitime dereference any `__thread` variable.
> This is unexpected crazy-like behavior since the order of resources releasing/destroying
> is not the reverse of ones acquiring/construction order. Nonetheless such surprise
> is now workarounded by using atomic compare-and-swap operations on a 64-bit signatures/cookies.
2022-05-03 13:25:17 +03:00
Minors:
- Refined `release-assets` GNU Make target.
- Added logging to `mdbx_fetch_sdb()` to help debugging complex DBI-handels use cases.
2022-05-16 21:31:42 +03:00
- Added explicit error message from probe of no-support for `std::filesystem` .
2022-06-04 22:59:19 +03:00
- Added contributors "score" table by `git fame` to generated docs.
- Added `mdbx_assert_fail()` to public API (mostly for backtracing).
2022-06-12 23:23:40 +03:00
- Now C++20 concepts used/enabled only when `__cpp_lib_concepts >= 202002` .
- Don't provide nor report package information if used as a CMake subproject.
2022-05-03 13:25:17 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2022-04-25 12:34:03 +03:00
2022-07-08 01:03:23 +03:00
2023-04-18 10:16:51 +03:00
## v0.11.7 "Resurrected Sarmat" at 2022-04-22
2022-04-20 23:10:00 +03:00
2022-04-21 15:10:41 +03:00
The stable risen release after the Github's intentional malicious disaster.
2022-04-20 23:10:00 +03:00
2022-04-21 14:50:30 +03:00
#### We have migrated to a reliable trusted infrastructure
The origin for now is at [GitFlic ](https://gitflic.ru/project/erthink/libmdbx )
since on 2022-04-15 the Github administration, without any warning nor
explanation, deleted _libmdbx_ along with a lot of other projects,
simultaneously blocking access for many developers.
For the same reason ~~Github~~ is blacklisted forever.
2022-04-22 21:03:11 +03:00
GitFlic already support Russian and English languages, plan to support more,
including 和 中文. You are welcome!
2022-03-27 16:01:04 +03:00
2022-03-30 19:12:42 +03:00
New:
- Added the `tools-static` make target to build statically linked MDBX tools.
- Support for Microsoft Visual Studio 2022.
- Support build by MinGW' make from command line without CMake.
2022-04-08 01:01:01 +03:00
- Added `mdbx::filesystem` C++ API namespace that corresponds to `std::filesystem` or `std::experimental::filesystem` .
2022-04-25 12:42:57 +03:00
- Created [website ](https://libmdbx.dqdkfa.ru/ ) for online auto-generated documentation.
2022-11-10 15:54:31 +03:00
- Used `https://web.archive.org/web/https://github.com/erthink/libmdbx` for dead (or temporarily lost) resources deleted by ~~Github~~ .
2022-04-22 21:03:11 +03:00
- Added `--loglevel=` command-line option to the `mdbx_test` tool.
- Added few fast smoke-like tests into CMake builds.
2022-03-30 19:12:42 +03:00
2022-03-27 16:01:04 +03:00
Fixes:
2022-03-30 19:12:42 +03:00
- Fixed a race between starting a transaction and creating a DBI descriptor that could lead to `SIGSEGV` in the cursor tracking code.
- Clarified description of `MDBX_EPERM` error returned from `mdbx_env_set_geometry()` .
- Fixed non-promoting the parent transaction to be dirty in case the undo of the geometry update failed during abortion of a nested transaction.
2022-04-08 01:01:01 +03:00
- Resolved linking issues with `libstdc++fs` /`libc++fs`/`libc++experimental` for C++ `std::filesystem` or `std::experimental::filesystem` for legacy compilers.
- Added workaround for GNU Make 3.81 and earlier.
- Added workaround for Elbrus/LCC 1.25 compiler bug of class inline `static constexpr` member field.
2022-04-12 10:20:50 +03:00
- [Fixed ](https://github.com/ledgerwatch/erigon/issues/3874 ) minor assertion regression (only debug builds were affected).
2022-04-22 21:03:11 +03:00
- Fixed detection of `C++20` concepts accessibility.
- Fixed detection of Clang's LTO availability for Android.
2022-05-17 13:38:53 +03:00
- Fixed extra definition of `_FILE_OFFSET_BITS=64` for Android that is problematic for 32-bit Bionic.
2022-04-22 21:03:11 +03:00
- Fixed build for ARM/ARM64 by MSVC.
- Fixed non-x86 Windows builds with `MDBX_WITHOUT_MSVC_CRT=ON` and `MDBX_BUILD_SHARED_LIBRARY=ON` .
2022-03-27 16:01:04 +03:00
Minors:
2022-03-31 00:31:49 +03:00
- Resolve minor MSVC warnings: avoid `/INCREMENTAL[:YES]` with `/LTCG` , `/W4` with `/W3` , the `C5105` warning.
2022-04-26 00:52:13 +03:00
- Switched to using `MDBX_EPERM` instead of `MDBX_RESULT_TRUE` to indicate that the geometry cannot be updated.
2022-03-30 19:12:42 +03:00
- Added `NULL` checking during memory allocation inside `mdbx_chk` .
- Resolved all warnings from MinGW while used without CMake.
2023-04-18 10:16:51 +03:00
- Added inheritable `target_include_directories()` to `CMakeLists.txt` for easy integration.
2022-04-22 21:03:11 +03:00
- Added build-time checks and paranoid runtime assertions for the `off_t` arguments of `fcntl()` which are used for locking.
- Added `-Wno-lto-type-mismatch` to avoid false-positive warnings from old GCC during LTO-enabled builds.
2022-04-26 00:52:13 +03:00
- Added checking for TID (system thread id) to avoid hang on 32-bit Bionic/Android within `pthread_mutex_lock()` .
2022-04-22 21:03:11 +03:00
- Reworked `MDBX_BUILD_TARGET` of CMake builds.
- Added `CMAKE_HOST_ARCH` and `CMAKE_HOST_CAN_RUN_EXECUTABLES_BUILT_FOR_TARGET` .
2022-03-27 16:01:04 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2022-04-23 14:13:51 +03:00
2022-04-20 23:10:00 +03:00
## v0.11.6 at 2022-03-24
2022-03-24 19:19:53 +03:00
The stable release with the complete workaround for an incoherence flaw of Linux unified page/buffer cache.
Nonetheless the cause for this trouble may be an issue of Intel CPU cache/MESI.
2022-11-23 01:18:25 +03:00
See [issue#269 ](https://libmdbx.dqdkfa.ru/dead-github/issues/269 ) for more information.
2022-03-05 15:14:20 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2022-03-05 15:14:20 +03:00
- [David Bouyssié ](https://github.com/david-bouyssie ) for [Scala bindings ](https://github.com/david-bouyssie/mdbx4s ).
- [Michelangelo Riccobene ](https://github.com/mriccobene ) for reporting and testing.
Fixes:
2022-11-23 01:18:25 +03:00
- [Added complete workaround ](https://libmdbx.dqdkfa.ru/dead-github/issues/269 ) for an incoherence flaw of Linux unified page/buffer cache.
- [Fixed ](https://libmdbx.dqdkfa.ru/dead-github/issues/272 ) cursor reusing for read-only transactions.
2022-03-24 19:19:53 +03:00
- Fixed copy& paste typo inside `mdbx::cursor::find_multivalue()` .
2022-03-05 15:14:20 +03:00
Minors:
- Minor refine C++ API for convenience.
- Minor internals refines.
- Added `lib-static` and `lib-shared` targets for make.
2022-03-24 19:19:53 +03:00
- Added minor workaround for AppleClang 13.3 bug.
- Clarified error messages of a signature/version mismatch.
2022-03-05 15:14:20 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2022-02-23 20:06:30 +03:00
## v0.11.5 at 2022-02-23
2022-03-24 19:19:53 +03:00
The release with the temporary hotfix for a flaw of Linux unified page/buffer cache.
2022-11-23 01:18:25 +03:00
See [issue#269 ](https://libmdbx.dqdkfa.ru/dead-github/issues/269 ) for more information.
2022-02-20 23:57:11 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2022-02-20 23:57:11 +03:00
- [Simon Leier ](https://github.com/leisim ) for reporting and testing.
2022-02-23 20:06:30 +03:00
- [Kai Wetlesen ](https://github.com/kaiwetlesen ) for [RPMs ](http://copr.fedorainfracloud.org/coprs/kwetlesen/libmdbx/ ).
- [Tullio Canepa ](https://github.com/canepat ) for reporting C++ API issue and contributing.
2022-02-20 23:57:11 +03:00
Fixes:
2022-11-23 01:18:25 +03:00
- [Added hotfix ](https://libmdbx.dqdkfa.ru/dead-github/issues/269 ) for a flaw of Linux unified page/buffer cache.
- [Fixed/Reworked ](https://libmdbx.dqdkfa.ru/dead-github/pull/270 ) move-assignment operators for "managed" classes of C++ API.
2022-02-20 23:57:11 +03:00
- Fixed potential `SIGSEGV` while open DB with overrided non-default page size.
2022-11-23 01:18:25 +03:00
- [Made ](https://libmdbx.dqdkfa.ru/dead-github/issues/267 ) `mdbx_env_open()` idempotence in failure cases.
2022-02-20 23:57:11 +03:00
- Refined/Fixed pages reservation inside `mdbx_update_gc()` to avoid non-reclamation in a rare cases.
- Fixed typo in a retained space calculation for the hsr-callback.
Minors:
- Reworked functions for meta-pages, split-off non-volatile.
- Disentangled C11-atomic fences/barriers and pure-functions (with `__attribute__((__pure__))` ) to avoid compiler misoptimization.
- Fixed hypotetic unaligned access to 64-bit dwords on ARM with `__ARM_FEATURE_UNALIGNED` defined.
- Reasonable paranoia that makes clarity for code readers.
- Minor fixes Doxygen references, comments, descriptions, etc.
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2022-02-02 20:56:28 +03:00
## v0.11.4 at 2022-02-02
The stable release with fixes for large and huge databases sized of 4..128 TiB.
2022-01-05 19:05:58 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2022-01-05 19:05:58 +03:00
2022-02-02 20:56:28 +03:00
- [Ledgerwatch ](https://github.com/ledgerwatch ), [Binance ](https://github.com/binance-chain ) and [Positive Technologies ](https://www.ptsecurity.com/ ) teams for reporting, assistance in investigation and testing.
2022-01-05 19:05:58 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) for reporting, testing and provide resources for remote debugging/investigation.
2022-01-31 20:31:45 +03:00
- [Kris Zyp ](https://github.com/kriszyp ) for [Deno ](https://deno.land/ ) support.
2022-01-05 19:05:58 +03:00
2022-01-21 15:01:48 +03:00
New features, extensions and improvements:
- Added treating the `UINT64_MAX` value as maximum for given option inside `mdbx_env_set_option()` .
- Added `to_hex/to_base58/to_base64::output(std::ostream&)` overloads without using temporary string objects as buffers.
- Added `--geometry-jitter=YES|no` option to the test framework.
2022-01-31 20:31:45 +03:00
- Added support for [Deno ](https://deno.land/ ) support by [Kris Zyp ](https://github.com/kriszyp ).
2022-01-21 15:01:48 +03:00
2022-01-05 19:05:58 +03:00
Fixes:
- Fixed handling `MDBX_opt_rp_augment_limit` for GC's records from huge transactions (Erigon/Akula/Ethereum).
2022-11-23 01:18:25 +03:00
- [Fixed ](https://libmdbx.dqdkfa.ru/dead-github/issues/258 ) build on Android (avoid including `sys/sem.h` ).
- [Fixed ](https://libmdbx.dqdkfa.ru/dead-github/pull/261 ) missing copy assignment operator for `mdbx::move_result` .
2022-01-21 15:01:48 +03:00
- Fixed missing `&` for `std::ostream &operator<<()` overloads.
- Fixed unexpected `EXDEV` (Cross-device link) error from `mdbx_env_copy()` .
- Fixed base64 encoding/decoding bugs in auxillary C++ API.
- Fixed overflow of `pgno_t` during checking PNL on 64-bit platforms.
2022-11-23 01:18:25 +03:00
- [Fixed ](https://libmdbx.dqdkfa.ru/dead-github/issues/260 ) excessive PNL checking after sort for spilling.
2022-01-21 15:01:48 +03:00
- Reworked checking `MAX_PAGENO` and DB upper-size geometry limit.
2022-11-23 01:18:25 +03:00
- [Fixed ](https://libmdbx.dqdkfa.ru/dead-github/issues/265 ) build for some combinations of versions of MSVC and Windows SDK.
2022-01-05 19:05:58 +03:00
Minors:
- Added workaround for CLANG bug [D79919/PR42445 ](https://reviews.llvm.org/D79919 ).
- Fixed build test on Android (using `pthread_barrier_t` stub).
- Disabled C++20 concepts for CLANG < 14 on Android .
- Fixed minor `unused parameter` warning.
- Added CI for Android.
- Refine/cleanup internal logging.
2022-01-21 15:01:48 +03:00
- Refined line splitting inside hex/base58/base64 encoding to avoid `\n` at the end.
- Added workaround for modern libstdc++ with CLANG < 4.x
- Relaxed txn-check rules for auxiliary functions.
- Clarified a comments and descriptions, etc.
2022-02-02 20:56:28 +03:00
- Using the `-fno-semantic interposition` option to reduce the overhead to calling self own public functions.
2022-01-05 19:05:58 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-12-31 11:52:40 +03:00
## v0.11.3 at 2021-12-31
2021-12-08 03:20:57 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-12-08 03:20:57 +03:00
- [gcxfd <i@rmw.link> ](https://github.com/gcxfd ) for reporting, contributing and testing.
2021-12-13 13:03:49 +03:00
- [장세연 (Чан С е ](https://github.com/sasgas ) for reporting and testing.
2021-12-31 10:29:54 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) for reporting, testing and provide resources for remote debugging/investigation.
2021-12-08 03:20:57 +03:00
2021-12-13 04:27:48 +03:00
New features, extensions and improvements:
2022-11-23 01:18:25 +03:00
- [Added ](https://libmdbx.dqdkfa.ru/dead-github/issues/236 ) `mdbx_cursor_get_batch()` .
- [Added ](https://libmdbx.dqdkfa.ru/dead-github/issues/250 ) `MDBX_SET_UPPERBOUND` .
2021-12-31 10:29:54 +03:00
- C++ API is finalized now.
2022-11-23 01:18:25 +03:00
- The GC update stage has been [significantly speeded ](https://libmdbx.dqdkfa.ru/dead-github/issues/254 ) when fixing huge Erigon's transactions (Ethereum ecosystem).
2021-12-13 04:27:48 +03:00
2021-12-08 05:10:47 +03:00
Fixes:
2021-12-13 20:22:59 +03:00
- Disabled C++20 concepts for stupid AppleClang 13.x
- Fixed internal collision of `MDBX_SHRINK_ALLOWED` with `MDBX_ACCEDE` .
2021-12-08 05:10:47 +03:00
2021-12-08 03:20:57 +03:00
Minors:
2021-12-13 04:27:48 +03:00
- Fixed returning `MDBX_RESULT_TRUE` (unexpected -1) from `mdbx_env_set_option()` .
2021-12-08 03:20:57 +03:00
- Added `mdbx_env_get_syncbytes()` and `mdbx_env_get_syncperiod()` .
2022-11-23 01:18:25 +03:00
- [Clarified ](https://libmdbx.dqdkfa.ru/dead-github/pull/249 ) description of `MDBX_INTEGERKEY` .
2021-12-08 03:20:57 +03:00
- Reworked/simplified `mdbx_env_sync_internal()` .
2022-11-23 01:18:25 +03:00
- [Fixed ](https://libmdbx.dqdkfa.ru/dead-github/issues/248 ) extra assertion inside `mdbx_cursor_put()` for `MDBX_DUPFIXED` cases.
2021-12-08 03:20:57 +03:00
- Avoiding extra looping inside `mdbx_env_info_ex()` .
2021-12-13 04:27:48 +03:00
- Explicitly enabled core dumps from stochastic tests scripts on Linux.
2022-11-23 01:18:25 +03:00
- [Fixed ](https://libmdbx.dqdkfa.ru/dead-github/issues/253 ) `mdbx_override_meta()` to avoid false-positive assertions.
2021-12-31 10:29:54 +03:00
- For compatibility reverted returning `MDBX_ENODATA` for some cases.
2021-12-08 03:20:57 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-12-02 21:55:52 +03:00
## v0.11.2 at 2021-12-02
2021-11-08 18:37:21 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-11-10 00:34:45 +03:00
- [장세연 (Чан С е ](https://github.com/sasgas ) for contributing to C++ API.
2021-11-19 16:19:56 +03:00
- [Alain Picard ](https://github.com/castortech ) for [Java bindings ](https://github.com/castortech/mdbxjni ).
2021-11-21 02:16:04 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) for reporting and testing.
2021-11-26 00:24:14 +03:00
- [Kris Zyp ](https://github.com/kriszyp ) for reporting and testing.
2021-12-02 15:09:37 +03:00
- [Artem Vorotnikov ](https://github.com/vorot93 ) for support [Rust wrapper ](https://github.com/vorot93/libmdbx-rs ).
2021-11-21 02:16:04 +03:00
Fixes:
2022-11-23 01:18:25 +03:00
- [Fixed compilation ](https://libmdbx.dqdkfa.ru/dead-github/pull/239 ) with `devtoolset-9` on CentOS/RHEL 7.
- [Fixed unexpected `MDBX_PROBLEM` error ](https://libmdbx.dqdkfa.ru/dead-github/issues/242 ) because of update an obsolete meta-page.
- [Fixed returning `MDBX_NOTFOUND` error ](https://libmdbx.dqdkfa.ru/dead-github/issues/243 ) in case an inexact value found for `MDBX_GET_BOTH` operation.
- [Fixed compilation ](https://libmdbx.dqdkfa.ru/dead-github/issues/245 ) without kernel/libc-devel headers.
2021-11-10 00:34:45 +03:00
2021-11-08 18:37:21 +03:00
Minors:
2021-11-10 00:34:45 +03:00
- Fixed `constexpr` -related macros for legacy compilers.
- Allowed to define 'CMAKE_CXX_STANDARD` using an environment variable.
- Simplified collection statistics of page operation .
2021-11-19 16:19:56 +03:00
- Added `MDBX_FORCE_BUILD_AS_MAIN_PROJECT` cmake option.
2021-11-27 00:29:36 +03:00
- Remove unneeded `#undef P_DIRTY` .
2021-11-08 18:37:21 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-10-23 20:15:50 +03:00
## v0.11.1 at 2021-10-23
### Backward compatibility break:
The database format signature has been changed to prevent
forward-interoperability with an previous releases, which may lead to a
2022-11-23 01:18:25 +03:00
[false positive diagnosis of database corruption ](https://libmdbx.dqdkfa.ru/dead-github/issues/238 )
2021-10-23 20:15:50 +03:00
due to flaws of an old library versions.
This change is mostly invisible:
- previously versions are unable to read/write a new DBs;
- but the new release is able to handle an old DBs and will silently upgrade ones.
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-10-23 20:15:50 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) for reporting and testing.
2023-04-24 16:10:40 +03:00
********************************************************************************
2022-04-23 14:13:51 +03:00
2021-10-23 20:15:50 +03:00
## v0.10.5 at 2021-10-13 (obsolete, please use v0.11.1)
Unfortunately, the `v0.10.5` accidentally comes not full-compatible with previous releases:
- `v0.10.5` can read/processing DBs created by previous releases, i.e. the backward-compatibility is provided;
- however, previous releases may lead to false-corrupted state with DB that was touched by `v0.10.5` , i.e. the forward-compatibility is broken for `v0.10.4` and earlier.
This cannot be fixed, as it requires fixing past versions, which as a result we will just get a current version.
Therefore, it is recommended to use `v0.11.1` instead of `v0.10.5` .
2021-10-13 16:35:26 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-10-13 16:35:26 +03:00
- [Noel Kuntze ](https://github.com/Thermi ) for immediately bug reporting.
Fixes:
- Fixed unaligned access regression after the `#pragma pack` fix for modern compilers.
- Added UBSAN-test to CI to avoid a regression(s) similar to lately fixed.
- Fixed possibility of meta-pages clashing after manually turn to a particular meta-page using `mdbx_chk` utility.
Minors:
- Refined handling of weak or invalid meta-pages while a DB opening.
2021-12-13 04:27:48 +03:00
- Refined providing information for the `@MAIN` and `@GC` sub-databases of a last committed modification transaction's ID.
2021-10-13 16:35:26 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-10-10 13:31:33 +03:00
## v0.10.4 at 2021-10-10
2021-10-10 00:51:38 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-09-28 00:37:33 +03:00
2021-12-02 15:09:37 +03:00
- [Artem Vorotnikov ](https://github.com/vorot93 ) for support [Rust wrapper ](https://github.com/vorot93/libmdbx-rs ).
2021-10-10 00:51:38 +03:00
- [Andrew Ashikhmin ](https://github.com/yperbasis ) for contributing to C++ API.
Fixes:
2021-10-11 17:18:06 +03:00
- Fixed possibility of looping update GC during transaction commit (no public issue since the problem was discovered inside [Positive Technologies ](https://www.ptsecurity.ru )).
2022-11-23 01:18:25 +03:00
- Fixed `#pragma pack` to avoid provoking some compilers to generate code with [unaligned access ](https://libmdbx.dqdkfa.ru/dead-github/issues/235 ).
2021-10-10 00:51:38 +03:00
- Fixed `noexcept` for potentially throwing `txn::put()` of C++ API.
Minors:
- Added stochastic test script for checking small transactions cases.
- Removed extra transaction commit/restart inside test framework.
- In debugging builds fixed a too small (single page) by default DB shrink threshold.
2021-09-28 00:37:33 +03:00
2021-08-27 22:47:12 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-08-27 22:47:12 +03:00
## v0.10.3 at 2021-08-27
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-08-02 09:05:50 +03:00
- [Francisco Vallarino ](https://github.com/fjvallarino ) for [Haskell bindings for libmdbx ](https://hackage.haskell.org/package/libmdbx ).
2021-08-27 22:47:12 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) for reporting and testing.
- [Andrea Lanfranchi ](https://github.com/AndreaLanfranchi ) for contributing.
Extensions and improvements:
- Added `cursor::erase()` overloads for `key` and for `key-value` .
- Resolve minor Coverity Scan issues (no fixes but some hint/comment were added).
- Resolve minor UndefinedBehaviorSanitizer issues (no fixes but some workaround were added).
Fixes:
2022-11-23 01:18:25 +03:00
- Always setup `madvise` while opening DB (fixes https://libmdbx.dqdkfa.ru/dead-github/issues/231).
2021-08-27 22:47:12 +03:00
- Fixed checking legacy `P_DIRTY` flag (`0x10`) for nested/sub-pages.
Minors:
- Fixed getting revision number from middle of history during amalgamation (GNU Makefile).
- Fixed search GCC tools for LTO (CMake scripts).
- Fixed/reorder dirs list for search CLANG tools for LTO (CMake scripts).
- Fixed/workarounds for CLANG < 9.x
- Fixed CMake warning about compatibility with 3.8.2
2021-08-02 09:05:50 +03:00
2021-07-26 05:23:52 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-07-26 05:23:52 +03:00
## v0.10.2 at 2021-07-26
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-06-02 17:08:40 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) for reporting and testing.
2021-06-18 15:13:51 +03:00
- [Andrea Lanfranchi ](https://github.com/AndreaLanfranchi ) for reporting bugs.
2021-07-19 13:21:47 +03:00
- [Lionel Debroux ](https://github.com/debrouxl ) for fuzzing tests and reporting bugs.
2021-07-21 17:39:34 +03:00
- [Sergey Fedotov ](https://github.com/SergeyFromHell/ ) for [`node-mdbx` NodeJS bindings ](https://www.npmjs.com/package/node-mdbx ).
- [Kris Zyp ](https://github.com/kriszyp ) for [`lmdbx-store` NodeJS bindings ](https://github.com/kriszyp/lmdbx-store ).
2022-11-23 01:18:25 +03:00
- [Noel Kuntze ](https://github.com/Thermi ) for [draft Python bindings ](https://libmdbx.dqdkfa.ru/dead-github/commits/python-bindings ).
2021-06-02 17:08:40 +03:00
2021-07-19 13:21:47 +03:00
New features, extensions and improvements:
2021-06-02 14:44:58 +03:00
2022-11-23 01:18:25 +03:00
- [Allow to predefine/override `MDBX_BUILD_TIMESTAMP` for builds reproducibility ](https://libmdbx.dqdkfa.ru/dead-github/issues/201 ).
2021-07-19 13:21:47 +03:00
- Added options support for `long-stochastic` script.
- Avoided `MDBX_TXN_FULL` error for large transactions when possible.
- The `MDBX_READERS_LIMIT` increased to `32767` .
- Raise `MDBX_TOO_LARGE` under Valgrind/ASAN if being opened DB is 100 larger than RAM (to avoid hangs and OOM).
- Minimized the size of poisoned/unpoisoned regions to avoid Valgrind/ASAN stuck.
- Added more workarounds for QEMU for testing builds for 32-bit platforms, Alpha and Sparc architectures.
- `mdbx_chk` now skips iteration & checking of DB' records if corresponding page-tree is corrupted (to avoid `SIGSEGV` , ASAN failures, etc).
2022-11-23 01:18:25 +03:00
- Added more checks for [rare/fuzzing corruption cases ](https://libmdbx.dqdkfa.ru/dead-github/issues/217 ).
2021-06-02 14:44:58 +03:00
2021-06-24 14:56:18 +03:00
Backward compatibility break:
- Use file `VERSION.txt` for version information instead of `VERSION` to avoid collision with `#include <version>` .
2021-07-19 13:21:47 +03:00
- Rename `slice::from/to_FOO_bytes()` to `slice::envisage_from/to_FOO_length()'.
- Rename `MDBX_TEST_EXTRA` make's variable to `MDBX_SMOKE_EXTRA` .
2021-07-26 05:23:52 +03:00
- Some details of the C++ API have been changed for subsequent freezing.
2021-06-24 14:56:18 +03:00
2021-06-09 13:48:03 +03:00
Fixes:
2021-06-18 15:13:51 +03:00
- Fixed excess meta-pages checks in case `mdbx_chk` is called to check the DB for a specific meta page and thus could prevent switching to the selected meta page, even if the check passed without errors.
2022-11-23 01:18:25 +03:00
- Fixed [recursive use of SRW-lock on Windows cause by `MDBX_NOTLS` option ](https://libmdbx.dqdkfa.ru/dead-github/issues/203 ).
- Fixed [log a warning during a new DB creation ](https://libmdbx.dqdkfa.ru/dead-github/issues/205 ).
- Fixed [false-negative `mdbx_cursor_eof()` result ](https://libmdbx.dqdkfa.ru/dead-github/issues/207 ).
- Fixed [`make install` with non-GNU `install` utility (OSX, BSD) ](https://libmdbx.dqdkfa.ru/dead-github/issues/208 ).
- Fixed [installation by `CMake` in special cases by complete use `GNUInstallDirs`'s variables ](https://libmdbx.dqdkfa.ru/dead-github/issues/209 ).
- Fixed [C++ Buffer issue with `std::string` and alignment ](https://libmdbx.dqdkfa.ru/dead-github/issues/191 ).
2021-07-19 13:21:47 +03:00
- Fixed `safe64_reset()` for platforms without atomic 64-bit compare-and-swap.
- Fixed hang/shutdown on big-endian platforms without `__cxa_thread_atexit()` .
2022-11-23 01:18:25 +03:00
- Fixed [using bad meta-pages if DB was partially/recoverable corrupted ](https://libmdbx.dqdkfa.ru/dead-github/issues/217 ).
2021-07-19 13:21:47 +03:00
- Fixed extra `noexcept` for `buffer::&assign_reference()` .
- Fixed `bootid` generation on Windows for case of change system' time.
2022-11-23 01:18:25 +03:00
- Fixed [test framework keygen-related issue ](https://libmdbx.dqdkfa.ru/dead-github/issues/127 ).
2021-06-09 13:48:03 +03:00
2021-05-03 01:16:37 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-06-01 03:21:59 +03:00
## v0.10.1 at 2021-06-01
2021-05-21 00:12:55 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-05-21 00:12:55 +03:00
- [Alexey Akhunov ](https://github.com/AlexeyAkhunov ) and [Alex Sharov ](https://github.com/AskAlexSharov ) for bug reporting and testing.
2021-05-28 01:46:24 +03:00
- [Andrea Lanfranchi ](https://github.com/AndreaLanfranchi ) for bug reporting and testing related to WSL2.
2021-05-21 00:12:55 +03:00
New features:
- Added `-p` option to `mdbx_stat` utility for printing page operations statistic.
- Added explicit checking for and warning about using unfit github's archives.
2021-05-28 01:46:24 +03:00
- Added fallback from [OFD locking ](https://bit.ly/3yFRtYC ) to legacy non-OFD POSIX file locks on an `EINVAL` error.
- Added [Plan 9 ](https://en.wikipedia.org/wiki/9P_(protocol )) network file system to the whitelist for an ability to open a DB in exclusive mode.
- Support for opening from WSL2 environment a DB hosted on Windows drive and mounted via [DrvFs ](https://docs.microsoft.com/it-it/archive/blogs/wsl/wsl-file-system-support#drvfs ) (i.e by Plan 9 noted above).
2021-05-21 00:12:55 +03:00
Fixes:
- Fixed minor "foo not used" warnings from modern C++ compilers when building the C++ part of the library.
2022-11-23 01:18:25 +03:00
- Fixed confusing/messy errors when build library from unfit github's archives (https://libmdbx.dqdkfa.ru/dead-github/issues/197).
2021-05-21 00:12:55 +03:00
- Fixed `# typo.
2022-11-23 01:18:25 +03:00
- Fixed rare unexpected `MDBX_PROBLEM` error during altering data in huge transactions due to wrong spilling/oust of dirty pages (https://libmdbx.dqdkfa.ru/dead-github/issues/195).
- Re-Fixed WSL1/WSL2 detection with distinguishing (https://libmdbx.dqdkfa.ru/dead-github/issues/97).
2021-05-21 00:12:55 +03:00
2021-05-08 23:10:52 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-05-08 23:10:52 +03:00
## v0.10.0 at 2021-05-09
2020-09-22 00:41:05 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2021-02-07 14:32:27 +03:00
2021-03-15 03:36:51 +03:00
- [Mahlon E. Smith ](https://github.com/mahlonsmith ) for [Ruby bindings ](https://rubygems.org/gems/mdbx/ ).
2021-05-08 23:10:52 +03:00
- [Alex Sharov ](https://github.com/AskAlexSharov ) for [mdbx-go ](https://github.com/torquem-ch/mdbx-go ), bug reporting and testing.
2021-03-19 19:13:22 +03:00
- [Artem Vorotnikov ](https://github.com/vorot93 ) for bug reporting and PR.
2021-05-03 01:16:37 +03:00
- [Paolo Rebuffo ](https://www.linkedin.com/in/paolo-rebuffo-8255766/ ), [Alexey Akhunov ](https://github.com/AlexeyAkhunov ) and Mark Grosberg for donations.
- [Noel Kuntze ](https://github.com/Thermi ) for preliminary [Python bindings ](https://github.com/Thermi/libmdbx/tree/python-bindings )
2021-02-07 14:32:27 +03:00
2021-02-07 02:53:27 +03:00
New features:
2021-05-08 23:10:52 +03:00
- Added `mdbx_env_set_option()` and `mdbx_env_get_option()` for controls
various runtime options for an environment (announce of this feature was missed in a previous news).
2021-02-07 02:53:27 +03:00
- Added `MDBX_DISABLE_PAGECHECKS` build option to disable some checks to reduce an overhead
and detection probability of database corruption to a values closer to the LMDB.
The `MDBX_DISABLE_PAGECHECKS=1` provides a performance boost of about 10% in CRUD scenarios,
and conjointly with the `MDBX_ENV_CHECKPID=0` and `MDBX_TXN_CHECKOWNER=0` options can yield
up to 30% more performance compared to LMDB.
2021-03-09 11:54:20 +03:00
- Using float point (exponential quantized) representation for internal 16-bit values
2022-11-23 01:18:25 +03:00
of grow step and shrink threshold when huge ones (https://libmdbx.dqdkfa.ru/dead-github/issues/166).
2021-03-09 11:54:20 +03:00
To minimize the impact on compatibility, only the odd values inside the upper half
of the range (i.e. 32769..65533) are used for the new representation.
2021-03-10 14:43:49 +03:00
- Added the `mdbx_drop` similar to LMDB command-line tool to purge or delete (sub)database(s).
2021-03-15 03:36:51 +03:00
- [Ruby bindings ](https://rubygems.org/gems/mdbx/ ) is available now by [Mahlon E. Smith ](https://github.com/mahlonsmith ).
2021-02-26 04:10:56 +03:00
- Added `MDBX_ENABLE_MADVISE` build option which controls the use of POSIX `madvise()` hints and friends.
2021-05-08 23:10:52 +03:00
- The internal node sizes were refined, resulting in a reduction in large/overflow pages in some use cases
and a slight increase in limits for a keys size to ≈½ of page size.
2021-05-03 01:16:37 +03:00
- Added to `mdbx_chk` output number of keys/items on pages.
2022-11-23 01:18:25 +03:00
- Added explicit `install-strip` and `install-no-strip` targets to the `Makefile` (https://libmdbx.dqdkfa.ru/dead-github/pull/180).
2021-05-03 01:16:37 +03:00
- Major rework page splitting (af9b7b560505684249b76730997f9e00614b8113) for
- An "auto-appending" feature upon insertion for both ascending and
descending key sequences. As a result, the optimality of page filling
increases significantly (more densely, less slackness) while
inserting ordered sequences of keys,
- A "splitting at middle" to make page tree more balanced on average.
- Added `mdbx_get_sysraminfo()` to the API.
2022-11-23 01:18:25 +03:00
- Added guessing a reasonable maximum DB size for the default upper limit of geometry (https://libmdbx.dqdkfa.ru/dead-github/issues/183).
2021-05-03 01:16:37 +03:00
- Major rework internal labeling of a dirty pages (958fd5b9479f52f2124ab7e83c6b18b04b0e7dda) for
a "transparent spilling" feature with the gist to make a dirty pages
be ready to spilling (writing to a disk) without further altering ones.
Thus in the `MDBX_WRITEMAP` mode the OS kernel able to oust dirty pages
to DB file without further penalty during transaction commit.
As a result, page swapping and I/O could be significantly reduced during extra large transactions and/or lack of memory.
- Minimized reading leaf-pages during dropping subDB(s) and nested trees.
2021-05-08 23:10:52 +03:00
- Major rework a spilling of dirty pages to support [LRU ](https://en.wikipedia.org/wiki/Cache_replacement_policies#Least_recently_used_(LRU ))
policy and prioritization for a large/overflow pages.
2021-05-03 01:16:37 +03:00
- Statistics of page operations (split, merge, copy, spill, etc) now available through `mdbx_env_info_ex()` .
- Auto-setup limit for length of dirty pages list (`MDBX_opt_txn_dp_limit` option).
2021-04-30 14:05:36 +03:00
- Support `make options` to list available build options.
2021-05-01 01:02:28 +03:00
- Support `make help` to list available make targets.
2021-05-03 01:16:37 +03:00
- Silently `make` 's build by default.
2021-05-08 23:10:52 +03:00
- Preliminary [Python bindings ](https://github.com/Thermi/libmdbx/tree/python-bindings ) is available now
2022-11-23 01:18:25 +03:00
by [Noel Kuntze ](https://github.com/Thermi ) (https://libmdbx.dqdkfa.ru/dead-github/issues/147).
2021-02-07 02:53:27 +03:00
2021-04-29 20:09:16 +03:00
Backward compatibility break:
- The `MDBX_AVOID_CRT` build option was renamed to `MDBX_WITHOUT_MSVC_CRT` .
2021-05-03 01:16:37 +03:00
This option is only relevant when building for Windows.
2021-05-08 23:10:52 +03:00
- The `mdbx_env_stat()` always, and `mdbx_env_stat_ex()` when called with the zeroed transaction parameter,
now internally start temporary read transaction and thus may returns `MDBX_BAD_RSLOT` error.
2021-05-03 01:16:37 +03:00
So, just never use deprecated `mdbx_env_stat()' and call ` mdbx_env_stat_ex()` with transaction parameter.
2021-05-08 23:10:52 +03:00
- The build option `MDBX_CONFIG_MANUAL_TLS_CALLBACK` was removed and now just a non-zero value of
the `MDBX_MANUAL_MODULE_HANDLER` macro indicates the requirement to manually call `mdbx_module_handler()`
when loading libraries and applications uses statically linked libmdbx on an obsolete Windows versions.
2021-04-29 20:09:16 +03:00
2021-02-07 02:53:27 +03:00
Fixes:
2022-11-23 01:18:25 +03:00
- Fixed performance regression due non-optimal C11 atomics usage (https://libmdbx.dqdkfa.ru/dead-github/issues/160).
- Fixed "reincarnation" of subDB after it deletion (https://libmdbx.dqdkfa.ru/dead-github/issues/168).
2021-03-13 16:44:39 +03:00
- Fixed (disallowing) implicit subDB deletion via operations on `@MAIN` 's DBI-handle.
2022-11-23 01:18:25 +03:00
- Fixed a crash of `mdbx_env_info_ex()` in case of a call for a non-open environment (https://libmdbx.dqdkfa.ru/dead-github/issues/171).
- Fixed the selecting/adjustment values inside `mdbx_env_set_geometry()` for implicit out-of-range cases (https://libmdbx.dqdkfa.ru/dead-github/issues/170).
- Fixed `mdbx_env_set_option()` for set initial and limit size of dirty page list ((https://libmdbx.dqdkfa.ru/dead-github/issues/179).
- Fixed an unreasonably huge default upper limit for DB geometry (https://libmdbx.dqdkfa.ru/dead-github/issues/183).
2021-05-03 01:16:37 +03:00
- Fixed `constexpr` specifier for the `slice::invalid()` .
2022-11-23 01:18:25 +03:00
- Fixed (no)readahead auto-handling (https://libmdbx.dqdkfa.ru/dead-github/issues/164).
2021-05-03 01:16:37 +03:00
- Fixed non-alloy build for Windows.
- Switched to using Heap-functions instead of LocalAlloc/LocalFree on Windows.
2022-11-23 01:18:25 +03:00
- Fixed `mdbx_env_stat_ex()` to returning statistics of the whole environment instead of MainDB only (https://libmdbx.dqdkfa.ru/dead-github/issues/190).
2021-05-04 23:22:20 +03:00
- Fixed building by GCC 4.8.5 (added workaround for a preprocessor's bug).
2021-05-08 23:10:52 +03:00
- Fixed building C++ part for iOS < = 13.0 (unavailability of `std::filesystem::path` ).
- Fixed building for Windows target versions prior to Windows Vista (`WIN32_WINNT < 0x0600 `).
2022-11-23 01:18:25 +03:00
- Fixed building by MinGW for Windows (https://libmdbx.dqdkfa.ru/dead-github/issues/155).
2021-05-08 23:10:52 +03:00
2021-02-07 02:53:27 +03:00
2023-04-24 16:10:40 +03:00
********************************************************************************
2022-04-23 14:13:51 +03:00
mdbx: release v0.9.3
Acknowledgements:
-----------------
- [Mahlon E. Smith](http://www.martini.nu/) for [FreeBSD port of libmdbx](https://svnweb.freebsd.org/ports/head/databases/mdbx/).
- [장세연](http://www.castis.com) for bug fixing and PR.
- [Clément Renault](https://github.com/Kerollmops/heed) for [Heed](https://github.com/Kerollmops/heed) fully typed Rust wrapper.
- [Alex Sharov](https://github.com/AskAlexSharov) for bug reporting.
- [Noel Kuntze](https://github.com/Thermi) for bug reporting.
Removed options and features:
-----------------------------
- Drop `MDBX_HUGE_TRANSACTIONS` build-option (now no longer required).
New features:
-------------
- Package for FreeBSD is available now by Mahlon E. Smith.
- New API functions to get/set various options (https://github.com/erthink/libmdbx/issues/128):
- the maximum number of named databases for the environment;
- the maximum number of threads/reader slots;
- threshold (since the last unsteady commit) to force flush the data buffers to disk;
- relative period (since the last unsteady commit) to force flush the data buffers to disk;
- limit to grow a list of reclaimed/recycled page's numbers for finding a sequence of contiguous pages for large data items;
- limit to grow a cache of dirty pages for reuse in the current transaction;
- limit of a pre-allocated memory items for dirty pages;
- limit of dirty pages for a write transaction;
- initial allocation size for dirty pages list of a write transaction;
- maximal part of the dirty pages may be spilled when necessary;
- minimal part of the dirty pages should be spilled when necessary;
- how much of the parent transaction dirty pages will be spilled while start each child transaction;
- Unlimited/Dynamic size of retired and dirty page lists (https://github.com/erthink/libmdbx/issues/123).
- Added `-p` option (purge subDB before loading) to `mdbx_load` tool.
- Reworked spilling of large transaction and committing of nested transactions:
- page spilling code reworked to avoid the flaws and bugs inherited from LMDB;
- limit for number of dirty pages now is controllable at runtime;
- a spilled pages, including overflow/large pages, now can be reused and refunded/compactified in nested transactions;
- more effective refunding/compactification especially for the loosed page cache.
- Added `MDBX_ENABLE_REFUND` and `MDBX_PNL_ASCENDING` internal/advanced build options.
- Added `mdbx_default_pagesize()` function.
- Better support architectures with a weak/relaxed memory consistency model (ARM, AARCH64, PPC, MIPS, RISC-V, etc) by means [C11 atomics](https://en.cppreference.com/w/c/atomic).
- Speed up page number lists and dirty page lists (https://github.com/erthink/libmdbx/issues/132).
- Added `LIBMDBX_NO_EXPORTS_LEGACY_API` build option.
Fixes:
------
- Fixed missing cleanup (null assigned) in the C++ commit/abort (https://github.com/erthink/libmdbx/pull/143).
- Fixed `mdbx_realloc()` for case of nullptr and `MDBX_AVOID_CRT=ON` for Windows.
- Fixed the possibility to use invalid and renewed (closed & re-opened, dropped & re-created) DBI-handles (https://github.com/erthink/libmdbx/issues/146).
- Fixed 4-byte aligned access to 64-bit integers, including access to the `bootid` meta-page's field (https://github.com/erthink/libmdbx/issues/153).
- Fixed minor/potential memory leak during page flushing and unspilling.
- Fixed handling states of cursors's and subDBs's for nested transactions.
- Fixed page leak in extra rare case the list of retired pages changed during update GC on transaction commit.
- Fixed assertions to avoid false-positive UB detection by CLANG/LLVM (https://github.com/erthink/libmdbx/issues/153).
- Fixed `MDBX_TXN_FULL` and regressive `MDBX_KEYEXIST` during large transaction commit with `MDBX_LIFORECLAIM` (https://github.com/erthink/libmdbx/issues/123).
- Fixed auto-recovery (`weak->steady` with the same boot-id) when Database size at last weak checkpoint is large than at last steady checkpoint.
- Fixed operation on systems with unusual small/large page size, including PowerPC (https://github.com/erthink/libmdbx/issues/157).
TODO:
-----
- Engage new terminology (https://github.com/erthink/libmdbx/issues/137).
- Resolve few TODOs (https://github.com/erthink/libmdbx/issues/124, https://github.com/erthink/libmdbx/issues/127, https://github.com/erthink/libmdbx/issues/115).
- Finalize C++ API.
- Packages for [ROSA Linux](https://www.rosalinux.ru/), [ALT Linux](https://www.altlinux.org/), Fedora/RHEL, Debian/Ubuntu.
Change-Id: I414b8ef2e4b90e04fb344779c0e3f1b4bd1c06be
2021-02-02 22:18:21 +03:00
## v0.9.3 at 2021-02-02
2023-04-18 10:16:51 +03:00
Acknowledgments:
2020-12-03 18:42:10 +03:00
2021-01-26 21:01:07 +03:00
- [Mahlon E. Smith ](http://www.martini.nu/ ) for [FreeBSD port of libmdbx ](https://svnweb.freebsd.org/ports/head/databases/mdbx/ ).
- [장세연 ](http://www.castis.com ) for bug fixing and PR.
- [Clément Renault ](https://github.com/Kerollmops/heed ) for [Heed ](https://github.com/Kerollmops/heed ) fully typed Rust wrapper.
- [Alex Sharov ](https://github.com/AskAlexSharov ) for bug reporting.
2021-01-29 21:54:24 +03:00
- [Noel Kuntze ](https://github.com/Thermi ) for bug reporting.
2020-12-02 17:45:35 +03:00
Removed options and features:
2020-12-03 18:42:10 +03:00
- Drop `MDBX_HUGE_TRANSACTIONS` build-option (now no longer required).
2020-12-03 21:52:22 +03:00
New features:
2020-12-03 18:42:10 +03:00
2020-12-03 09:36:45 +03:00
- Package for FreeBSD is available now by Mahlon E. Smith.
2022-11-23 01:18:25 +03:00
- New API functions to get/set various options (https://libmdbx.dqdkfa.ru/dead-github/issues/128):
2021-01-23 01:13:20 +03:00
- the maximum number of named databases for the environment;
- the maximum number of threads/reader slots;
- threshold (since the last unsteady commit) to force flush the data buffers to disk;
- relative period (since the last unsteady commit) to force flush the data buffers to disk;
- limit to grow a list of reclaimed/recycled page's numbers for finding a sequence of contiguous pages for large data items;
- limit to grow a cache of dirty pages for reuse in the current transaction;
- limit of a pre-allocated memory items for dirty pages;
- limit of dirty pages for a write transaction;
- initial allocation size for dirty pages list of a write transaction;
- maximal part of the dirty pages may be spilled when necessary;
- minimal part of the dirty pages should be spilled when necessary;
- how much of the parent transaction dirty pages will be spilled while start each child transaction;
2022-11-23 01:18:25 +03:00
- Unlimited/Dynamic size of retired and dirty page lists (https://libmdbx.dqdkfa.ru/dead-github/issues/123).
2020-12-03 21:52:22 +03:00
- Added `-p` option (purge subDB before loading) to `mdbx_load` tool.
2021-01-26 01:37:32 +03:00
- Reworked spilling of large transaction and committing of nested transactions:
- page spilling code reworked to avoid the flaws and bugs inherited from LMDB;
- limit for number of dirty pages now is controllable at runtime;
- a spilled pages, including overflow/large pages, now can be reused and refunded/compactified in nested transactions;
- more effective refunding/compactification especially for the loosed page cache.
2021-01-21 22:09:52 +03:00
- Added `MDBX_ENABLE_REFUND` and `MDBX_PNL_ASCENDING` internal/advanced build options.
2021-01-29 21:19:58 +03:00
- Added `mdbx_default_pagesize()` function.
2021-01-30 02:28:12 +03:00
- Better support architectures with a weak/relaxed memory consistency model (ARM, AARCH64, PPC, MIPS, RISC-V, etc) by means [C11 atomics ](https://en.cppreference.com/w/c/atomic ).
2022-11-23 01:18:25 +03:00
- Speed up page number lists and dirty page lists (https://libmdbx.dqdkfa.ru/dead-github/issues/132).
2021-02-02 00:25:48 +03:00
- Added `LIBMDBX_NO_EXPORTS_LEGACY_API` build option.
2020-12-03 09:36:45 +03:00
Fixes:
2020-12-03 18:42:10 +03:00
2022-11-23 01:18:25 +03:00
- Fixed missing cleanup (null assigned) in the C++ commit/abort (https://libmdbx.dqdkfa.ru/dead-github/pull/143).
2021-04-29 20:09:16 +03:00
- Fixed `mdbx_realloc()` for case of nullptr and `MDBX_WITHOUT_MSVC_CRT=ON` for Windows.
2022-11-23 01:18:25 +03:00
- Fixed the possibility to use invalid and renewed (closed & re-opened, dropped & re-created) DBI-handles (https://libmdbx.dqdkfa.ru/dead-github/issues/146).
- Fixed 4-byte aligned access to 64-bit integers, including access to the `bootid` meta-page's field (https://libmdbx.dqdkfa.ru/dead-github/issues/153).
2021-01-21 22:09:52 +03:00
- Fixed minor/potential memory leak during page flushing and unspilling.
- Fixed handling states of cursors's and subDBs's for nested transactions.
- Fixed page leak in extra rare case the list of retired pages changed during update GC on transaction commit.
2022-11-23 01:18:25 +03:00
- Fixed assertions to avoid false-positive UB detection by CLANG/LLVM (https://libmdbx.dqdkfa.ru/dead-github/issues/153).
- Fixed `MDBX_TXN_FULL` and regressive `MDBX_KEYEXIST` during large transaction commit with `MDBX_LIFORECLAIM` (https://libmdbx.dqdkfa.ru/dead-github/issues/123).
2021-01-29 21:54:24 +03:00
- Fixed auto-recovery (`weak->steady` with the same boot-id) when Database size at last weak checkpoint is large than at last steady checkpoint.
2022-11-23 01:18:25 +03:00
- Fixed operation on systems with unusual small/large page size, including PowerPC (https://libmdbx.dqdkfa.ru/dead-github/issues/157).
2020-12-02 17:45:35 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2021-01-21 22:09:52 +03:00
## v0.9.2 at 2020-11-27
2020-11-18 12:37:27 +03:00
2023-04-18 10:16:51 +03:00
Acknowledgments:
2020-11-18 12:37:27 +03:00
- Jens Alfke (Mobile Architect at [Couchbase ](https://www.couchbase.com/ )) for [NimDBX ](https://github.com/snej/nimdbx ).
- Clément Renault (CTO at [MeiliSearch ](https://www.meilisearch.com/ )) for [mdbx-rs ](https://github.com/Kerollmops/mdbx-rs ).
- Alex Sharov (Go-Lang Teach Lead at [TurboGeth/Ethereum ](https://ethereum.org/ )) for an extreme test cases and bug reporting.
- George Hazan (CTO at [Miranda NG ](https://www.miranda-ng.org/ )) for bug reporting.
- [Positive Technologies ](https://www.ptsecurity.com/ ) for funding and [The Standoff ](https://standoff365.com/ ).
2020-10-30 23:43:07 +03:00
2020-10-08 12:41:56 +03:00
Added features:
2020-11-15 08:02:25 +03:00
2020-10-08 12:41:56 +03:00
- Provided package for [buildroot ](https://buildroot.org/ ).
2020-11-18 12:37:27 +03:00
- Binding for Nim is [available ](https://github.com/snej/nimdbx ) now by Jens Alfke.
2020-10-09 22:43:14 +03:00
- Added `mdbx_env_delete()` for deletion an environment files in a proper and multiprocess-safe way.
2020-10-15 19:23:14 +03:00
- Added `mdbx_txn_commit_ex()` with collecting latency information.
2020-10-30 23:43:07 +03:00
- Fast completion pure nested transactions.
- Added `LIBMDBX_INLINE_API` macro and inline versions of some API functions.
2020-11-18 12:37:27 +03:00
- Added `mdbx_cursor_copy()` function.
- Extended tests for checking cursor tracking.
- Added `MDBX_SET_LOWERBOUND` operation for `mdbx_cursor_get()` .
2020-10-08 12:41:56 +03:00
2020-10-08 01:38:34 +03:00
Fixes:
- Fixed missing installation of `mdbx.h++` .
- Fixed use of obsolete `__noreturn` .
- Fixed use of `yield` instruction on ARM if unsupported.
- Added pthread workaround for buggy toolchain/cmake/buildroot.
- Fixed use of `pthread_yield()` for non-GLIBC.
- Fixed use of `RegGetValueA()` on Windows 2000/XP.
- Fixed use of `GetTickCount64()` on Windows 2000/XP.
- Fixed opening DB on a network shares (in the exclusive mode).
- Fixed copy& paste typos.
- Fixed minor false-positive GCC warning.
2020-10-10 20:07:00 +03:00
- Added workaround for broken `DEFINE_ENUM_FLAG_OPERATORS` from Windows SDK.
2022-11-23 01:18:25 +03:00
- Fixed cursor state after multimap/dupsort repeated deletes (https://libmdbx.dqdkfa.ru/dead-github/issues/121).
2020-10-23 03:33:08 +03:00
- Added `SIGPIPE` suppression for internal thread during `mdbx_env_copy()` .
2022-11-23 01:18:25 +03:00
- Fixed extra-rare `MDBX_KEY_EXIST` error during `mdbx_commit()` (https://libmdbx.dqdkfa.ru/dead-github/issues/131).
- Fixed spilled pages checking (https://libmdbx.dqdkfa.ru/dead-github/issues/126).
- Fixed `mdbx_load` for 'plain text' and without `-s name` cases (https://libmdbx.dqdkfa.ru/dead-github/issues/136).
2020-11-18 12:37:27 +03:00
- Fixed save/restore/commit of cursors for nested transactions.
- Fixed cursors state in rare/special cases (move next beyond end-of-data, after deletion and so on).
- Added workaround for MSVC 19.28 (Visual Studio 16.8) (but may still hang during compilation).
- Fixed paranoidal Clang C++ UB for bitwise operations with flags defined by enums.
- Fixed large pages checking (for compatibility and to avoid false-positive errors from `mdbx_chk` ).
2020-11-24 15:49:43 +03:00
- Added workaround for Wine (https://github.com/miranda-ng/miranda-ng/issues/1209).
- Fixed `ERROR_NOT_SUPPORTED` while opening DB by UNC pathnames (https://github.com/miranda-ng/miranda-ng/issues/2627).
2020-11-25 10:49:39 +03:00
- Added handling `EXCEPTION_POSSIBLE_DEADLOCK` condition for Windows.
2020-11-18 12:37:27 +03:00
2020-09-22 00:41:05 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2020-09-30 13:28:01 +03:00
## v0.9.1 2020-09-30
2020-08-07 12:34:05 +03:00
Added features:
2020-09-22 00:41:05 +03:00
- Preliminary C++ API with support for C++17 polymorphic allocators.
2022-04-25 12:42:57 +03:00
- [Online C++ API reference ](https://libmdbx.dqdkfa.ru/ ) by Doxygen.
2020-09-22 00:41:05 +03:00
- Quick reference for Insert/Update/Delete operations.
- Explicit `MDBX_SYNC_DURABLE` to sync modes for API clarity.
- Explicit `MDBX_ALLDUPS` and `MDBX_UPSERT` for API clarity.
2020-08-07 12:34:05 +03:00
- Support for read transactions preparation (`MDBX_TXN_RDONLY_PREPARE` flag).
2020-09-26 18:28:09 +03:00
- Support for cursor preparation/(pre)allocation and reusing (`mdbx_cursor_create()` and `mdbx_cursor_bind()` functions).
2020-09-22 00:41:05 +03:00
- Support for checking database using specified meta-page (see `mdbx_chk -h` ).
2020-09-25 02:17:57 +03:00
- Support for turn to the specific meta-page after checking (see `mdbx_chk -h` ).
2020-09-22 00:41:05 +03:00
- Support for explicit reader threads (de)registration.
- The `mdbx_txn_break()` function to explicitly mark a transaction as broken.
- Improved handling of corrupted databases by `mdbx_chk` utility and `mdbx_walk_tree()` function.
- Improved DB corruption detection by checking parent-page-txnid.
- Improved opening large DB (> 4Gb) from 32-bit code.
- Provided `pure-function` and `const-function` attributes to C API.
2020-09-29 20:58:09 +03:00
- Support for user-settable context for transactions & cursors.
2020-09-29 19:24:57 +03:00
- Revised API and documentation related to Handle-Slow-Readers callback feature.
2020-08-07 12:34:05 +03:00
2020-09-22 00:41:05 +03:00
Deprecated functions and flags:
2020-08-07 12:34:05 +03:00
2020-09-22 00:41:05 +03:00
- For clarity and API simplification the `MDBX_MAPASYNC` flag is deprecated.
Just use `MDBX_SAFE_NOSYNC` or `MDBX_UTTERLY_NOSYNC` instead of it.
2020-09-29 19:24:57 +03:00
- `MDBX_oom_func` , `mdbx_env_set_oomfunc()` and `mdbx_env_get_oomfunc()`
replaced with `MDBX_hsr_func` , `mdbx_env_get_hsr` and `mdbx_env_get_hsr()` .
2020-09-22 00:41:05 +03:00
Fixes:
- Fix `mdbx_strerror()` for `MDBX_BUSY` error (no error description is returned).
2020-09-26 18:28:09 +03:00
- Fix update internal meta-geo information in read-only mode (`EACCESS` or `EBADFD` error).
2020-09-22 00:41:05 +03:00
- Fix `mdbx_page_get()` null-defer when DB corrupted (crash by `SIGSEGV` ).
- Fix `mdbx_env_open()` for re-opening after non-fatal errors (`mdbx_chk` unexpected failures).
- Workaround for MSVC 19.27 `static_assert()` bug.
- Doxygen descriptions and refinement.
- Update Valgrind's suppressions.
- Workaround to avoid infinite loop of 'nested' testcase on MIPS under QEMU.
2020-09-25 02:17:57 +03:00
- Fix a lot of typos & spelling (Thanks to Josh Soref for PR).
- Fix `getopt()` messages for Windows (Thanks to Andrey Sporaw for reporting).
- Fix MSVC compiler version requirements (Thanks to Andrey Sporaw for reporting).
2023-01-10 14:16:08 +03:00
- Workarounds for QEMU's bugs to run tests for cross-built[A library under QEMU.
2020-09-28 16:49:57 +03:00
- Now C++ compiler optional for building by CMake.
2020-09-22 00:41:05 +03:00
2023-04-24 16:10:40 +03:00
--------------------------------------------------------------------------------
2023-04-18 10:16:51 +03:00
2020-09-22 00:41:05 +03:00
## v0.9.0 2020-07-31 (not a release, but API changes)
Added features:
2022-04-25 12:42:57 +03:00
- [Online C API reference ](https://libmdbx.dqdkfa.ru/ ) by Doxygen.
2020-09-22 00:41:05 +03:00
- Separated enums for environment, sub-databases, transactions, copying and data-update flags.
2020-08-07 12:34:05 +03:00
Deprecated functions and flags:
2020-09-22 00:41:05 +03:00
- Usage of custom comparators and the `mdbx_dbi_open_ex()` are deprecated, since such databases couldn't be checked by the `mdbx_chk` utility.
Please use the value-to-key functions to provide keys that are compatible with the built-in libmdbx comparators.
2020-08-07 12:34:05 +03:00
2020-07-05 01:42:01 +03:00
2023-04-24 16:10:40 +03:00
********************************************************************************
2022-04-23 14:13:51 +03:00
## 2020-07-06
- Added support multi-opening the same DB in a process with SysV locking (BSD).
- Fixed warnings & minors for LCC compiler (E2K).
- Enabled to simultaneously open the same database from processes with and without the `MDBX_WRITEMAP` option.
- Added key-to-value, `mdbx_get_keycmp()` and `mdbx_get_datacmp()` functions (helpful to avoid using custom comparators).
- Added `ENABLE_UBSAN` CMake option to enabling the UndefinedBehaviorSanitizer from GCC/CLANG.
- Workaround for [CLANG bug ](https://bugs.llvm.org/show_bug.cgi?id=43275 ).
- Returning `MDBX_CORRUPTED` in case all meta-pages are weak and no other error.
- Refined mode bits while auto-creating LCK-file.
- Avoids unnecessary database file re-mapping in case geometry changed by another process(es).
From the user's point of view, the `MDBX_UNABLE_EXTEND_MAPSIZE` error will now be returned less frequently and only when using the DB in the current process really requires it to be reopened.
- Remapping on-the-fly and of the database file was implemented.
Now remapping with a change of address is performed automatically if there are no dependent readers in the current process.
## 2020-06-12
- Minor change versioning. The last number in the version now means the number of commits since last release/tag.
- Provide ChangeLog file.
- Fix for using libmdbx as a C-only sub-project with CMake.
- Fix `mdbx_env_set_geometry()` for case it is called from an opened environment outside of a write transaction.
- Add support for huge transactions and `MDBX_HUGE_TRANSACTIONS` build-option (default `OFF` ).
- Refine LTO (link time optimization) for clang.
- Force enabling exceptions handling for MSVC (`/EHsc` option).
## 2020-06-05
- Support for Android/Bionic.
- Support for iOS.
- Auto-handling `MDBX_NOSUBDIR` while opening for any existing database.
- Engage github-actions to make release-assets.
- Clarify API description.
- Extended keygen-cases in stochastic test.
- Fix fetching of first/lower key from LEAF2-page during page merge.
- Fix missing comma in array of error messages.
- Fix div-by-zero while copy-with-compaction for non-resizable environments.
- Fixes & enhancements for custom-comparators.
- Fix `MDBX_WITHOUT_MSVC_CRT` option and missing `ntdll.def` .
- Fix `mdbx_env_close()` to work correctly called concurrently from several threads.
- Fix null-deref in an ASAN-enabled builds while opening the environment with error and/or read-only.
- Fix AddressSanitizer errors after closing the environment.
- Fix/workaround to avoid GCC 10.x pedantic warnings.
- Fix using `ENODATA` for FreeBSD.
- Avoid invalidation of DBI-handle(s) when it just closes.
- Avoid using `pwritev()` for single-writes (up to 10% speedup for some kernels & scenarios).
- Avoiding `MDBX_UTTERLY_NOSYNC` as result of flags merge.
- Add `mdbx_dbi_dupsort_depthmask()` function.
2023-01-10 14:16:08 +03:00
- Add `MDBX_CP_FORCE_RESIZABLE` option.
2022-04-23 14:13:51 +03:00
- Add deprecated `MDBX_MAP_RESIZED` for compatibility.
- Add `MDBX_BUILD_TOOLS` option (default `ON` ).
- Refine `mdbx_dbi_open_ex()` to safe concurrently opening the same handle from different threads.
- Truncate clk-file during environment closing. So a zero-length lck-file indicates that the environment was closed properly.
- Refine `mdbx_update_gc()` for huge transactions with small sizes of database page.
- Extends dump/load to support all MDBX attributes.
- Avoid upsertion the same key-value data, fix related assertions.
- Rework min/max length checking for keys & values.
- Checking the order of keys on all pages during checking.
- Support `CFLAGS_EXTRA` make-option for convenience.
- Preserve the last txnid while copying with compactification.
- Auto-reset running transaction in mdbx_txn_renew().
- Automatically abort errored transaction in mdbx_txn_commit().
- Auto-choose page size for large databases.
- Rearrange source files, rework build, options-support by CMake.
- Crutch for WSL1 (Windows subsystem for Linux).
- Refine install/uninstall targets.
- Support for Valgrind 3.14 and later.
- Add check-analyzer check-ubsan check-asan check-leak targets to Makefile.
- Minor fix/workaround to avoid UBSAN traps for `memcpy(ptr, NULL, 0)` .
- Avoid some GCC-analyzer false-positive warnings.
## 2020-03-18
- Workarounds for Wine (Windows compatibility layer for Linux).
- `MDBX_MAP_RESIZED` renamed to `MDBX_UNABLE_EXTEND_MAPSIZE` .
- Clarify API description, fix typos.
- Speedup runtime checks in debug/checked builds.
- Added checking for read/write transactions overlapping for the same thread, added `MDBX_TXN_OVERLAPPING` error and `MDBX_DBG_LEGACY_OVERLAP` option.
- Added `mdbx_key_from_jsonInteger()` , `mdbx_key_from_double()` , `mdbx_key_from_float()` , `mdbx_key_from_int64()` and `mdbx_key_from_int32()` functions. See `mdbx.h` for description.
- Fix compatibility (use zero for invalid DBI).
- Refine/clarify error messages.
- Avoids extra error messages "bad txn" from mdbx_chk when DB is corrupted.
## 2020-01-21
- Fix `mdbx_load` utility for custom comparators.
- Fix checks related to `MDBX_APPEND` flag inside `mdbx_cursor_put()` .
- Refine/fix dbi_bind() internals.
- Refine/fix handling `STATUS_CONFLICTING_ADDRESSES` .
- Rework `MDBX_DBG_DUMP` option to avoid disk I/O performance degradation.
- Add built-in help to test tool.
- Fix `mdbx_env_set_geometry()` for large page size.
- Fix env_set_geometry() for large pagesize.
- Clarify API description & comments, fix typos.
## 2019-12-31
- Fix returning MDBX_RESULT_TRUE from page_alloc().
- Fix false-positive ASAN issue.
- Fix assertion for `MDBX_NOTLS` option.
- Rework `MADV_DONTNEED` threshold.
- Fix `mdbx_chk` utility for don't checking some numbers if walking on the B-tree was disabled.
- Use page's mp_txnid for basic integrity checking.
- Add `MDBX_FORCE_ASSERTIONS` built-time option.
- Rework `MDBX_DBG_DUMP` to avoid performance degradation.
- Rename `MDBX_NOSYNC` to `MDBX_SAFE_NOSYNC` for clarity.
- Interpret `ERROR_ACCESS_DENIED` from `OpenProcess()` as 'process exists'.
- Avoid using `FILE_FLAG_NO_BUFFERING` for compatibility with small database pages.
- Added install section for CMake.
## 2019-12-02
- Support for Mac OSX, FreeBSD, NetBSD, OpenBSD, DragonFly BSD, OpenSolaris, OpenIndiana (AIX and HP-UX pending).
- Use bootid for decisions of rollback.
- Counting retired pages and extended transaction info.
- Add `MDBX_ACCEDE` flag for database opening.
- Using OFD-locks and tracking for in-process multi-opening.
- Hot backup into pipe.
- Support for cmake & amalgamated sources.
- Fastest internal sort implementation.
- New internal dirty-list implementation with lazy sorting.
- Support for lazy-sync-to-disk with polling.
- Extended key length.
- Last update transaction number for each sub-database.
- Automatic read ahead enabling/disabling.
- More auto-compactification.
- Using -fsanitize=undefined and -Wpedantic options.
- Rework page merging.
- Nested transactions.
- API description.
- Checking for non-local filesystems to avoid DB corruption.
2023-04-18 10:16:51 +03:00
2023-04-24 16:10:40 +03:00
********************************************************************************
2023-04-18 10:16:51 +03:00
2022-04-23 14:13:51 +03:00
For early changes see the git commit history.
