2413 Commits

Author SHA1 Message Date
Леонид Юрьев (Leonid Yuriev)
0297136648 mdbx: улучшение авто-переключения в режим without-lck при открытии БД на read-only-носителе. 2025-01-12 02:58:59 +03:00
Леонид Юрьев (Leonid Yuriev)
92a49c7c8c mdbx: устранение риска потери/перезаписи errno при неожиданных ошибках в close(). 2025-01-12 02:58:59 +03:00
Леонид Юрьев (Leonid Yuriev)
b75e16f4f8 mdbx: устранение null-dereference регресса в режиме readonly-without-lck. 2025-01-12 02:58:59 +03:00
Леонид Юрьев (Leonid Yuriev)
9c8f90b713 mdbx: доработка эвристик для выбора/подстройки default-значений в mdbx_env_set_geometry(). 2025-01-11 02:30:53 +03:00
Леонид Юрьев (Leonid Yuriev)
b00e8ea13f mdbx: использование txl_contain() в audit(). 2025-01-08 13:29:10 +03:00
Леонид Юрьев (Leonid Yuriev)
faa9753d2d mdbx: перемещение и корректировка комментария размечающего внутренние поля пишущей транзакции. 2025-01-05 14:44:00 +03:00
Леонид Юрьев (Leonid Yuriev)
5ba257fafc mdbx: добавление упущенного static для txl_reserve(). 2025-01-05 14:44:00 +03:00
Леонид Юрьев (Leonid Yuriev)
bad6e3c2e2 mdbx: очистка флажка ENV_TXKEY внутри rthc_dtor().
На штатную работу это никак не влияет, но немного облегчит разбор
ситуаций когда глобальный конструктор не вызывается, либо делается
попытка вызвать его дважды (из-за ошибок rtc/libc, etc).
2025-01-05 14:40:56 +03:00
Леонид Юрьев (Leonid Yuriev)
dc98f06d2c mdbx: логирование и возврат MDBX_INCOMPATIBLE при попытке запуска вложенных транзакций в режиме MDBX_WRITEMAP. 2025-01-03 22:14:00 +03:00
Леонид Юрьев (Leonid Yuriev)
1bf008ac16 mdbx: доработка контроля потока-владельца транзакции.
1. Теперь допускается commit/abort вложенных транзакций из любого треда в режиме MDBX_NOSTICKYTHREADS.

2. Более наглядные/явные проверки без зависимости от больше/меньше.
Одна проверка внутри check_txn() для всех основных случаев (bad_bits != 0) и две проверки для abort/reset/break (bad_bits == 0).

+-------------------------------------------------------------------------------------------------------+
|          Три анализируемых txn->flags       |         Проверка txn->owner == osal_thread_self()       |
+-----------------+------------+--------------+-----------------------+---------------------------------+
| NOSTICKYTHREADS | TXN_RDONLY | TXN_FINISHED | usual (bad_bits != 0) | abort/reset/break (bad_bits==0) |
|      -          |     -      |     -        |     +                 |         +                       |
|      -          |     -      |     +        |     +                 |         +                       |
|      -          |     +      |     -        |     +                 |         +                       |
|      -          |     +      |     +        |     +                 |         -                       |
|      +          |     -      |     -        |     -                 |         -                       |
|      +          |     -      |     +        |     +                 |         +                       |
|      +          |     +      |     -        |     -                 |         -                       |
|      +          |     +      |     +        |     +                 |         -                       |
+-------------------------------------------------------------------------------------------------------+
2025-01-03 22:12:17 +03:00
Леонид Юрьев (Leonid Yuriev)
1e4e2eb3c8 mdbx-doc: исправление опечатки в комментарии. 2024-12-29 08:42:48 +03:00
Леонид Юрьев (Leonid Yuriev)
df8b15f639 mdbx: const для транзакции в txn_take_gcprof(). 2024-12-28 09:38:08 +03:00
Леонид Юрьев (Leonid Yuriev)
26f6fd351a mdbx: подстройка dirty-pages-limit при старте транзакций. 2024-12-27 09:39:36 +03:00
Леонид Юрьев (Leonid Yuriev)
c8c541649c mdbx: доработка контроля длины ключа внутри cursor_seek().
Ранее проверка внутри cursor_seek() не позволяла искать ключи длиннее чем можно поместить в таблицу,
что при поиске/позиционировании не является ошибкой для ключей переменного размера.
2024-12-27 09:39:36 +03:00
Леонид Юрьев (Leonid Yuriev)
bfc6795762 mdbx: устранение регресса не-отпускания мьютекса при попытки повторного закрытия dbi-хендла.
Ошибка была внесена 2024-10-23 коммитом v0.13.1-35-g3049bb87b5b14d83b16d121c186ce8fb3f21383e.
2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
a76e06a48e mdbx: исправление несогласованности MDBX_DPL_PREALLOC_FOR_RADIXSORT и assert-проверки внутри dpl_bytes2size(). 2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
b9e4c1ea73 mdbx: вычленение txl_contain(). 2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
bc56a613ab mdbx: чистка исходников pnl/dpl/txl. 2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
225fb79eb2 mdbx: переименование repnl/retxl. 2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
ffb7918525 mdbx: понижение уровня логирования "reserve depleted" при обновлении GC. 2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
0339aa56d9 mdbx: перенос prefault_write_activated в транзакцию. 2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
4059686534 mdbx: опечатки в комментариях. 2024-12-22 10:39:49 +03:00
Леонид Юрьев (Leonid Yuriev)
e15079ec68 mdbx: изменение log_if_error() ради устранения ложных "may be used uninitialized" предупреждений в LTO-сборках.
При включении LTO анализатор путей выполнения внутри GCC начинает укачивать из-за выражений вида `return LOG_IFERR(MDBX_EINVAL);`

Проблема в том, что несмотря на __builtin_assume() и __builtin_unreachable(), комплятор не хочет
видеть что функция log_if_error() всегда возвращает получаемое значение. А если допустить что значение
будет изменено, то вместо ошибки может быть MDBX_SUCCESS, и тогда в вызывающем как-бы может произойти
обращение к неинициализированным данным, что и беспокоит компилятор.

Например, при сборке mdbx_load:
  ‘txn_info.txn_space_dirty’ may be used uninitialized [-Wmaybe-uninitialized]

Проэтому проще пойти анализатору навстречу и упростить исходный код.
Теперь код ошибки явно пробрасывается через тело inline-функции, но это
требует 1-2 дополнительных процессорных инструкции на каждое применение
макроса LOG_IFERROR.

Также здесь откатывается коммит 81a8127084d9a6a7777bb375e029062330e51979.
2024-12-17 22:00:33 +03:00
Леонид Юрьев (Leonid Yuriev)
ba6df2bb6d mdbx: выделение API-функций в api-файлы. 2024-12-17 19:00:39 +03:00
Леонид Юрьев (Leonid Yuriev)
4607184999 mdbx: макрос osal_malloc_usable_size() вместо непосредственного использования malloc_usable_size(). 2024-12-17 18:58:44 +03:00
Леонид Юрьев (Leonid Yuriev)
5168c80be8 mdbx: сбор затрат на pnl_merge() при включении MDBX_ENABLE_PROFGC. 2024-12-17 18:54:58 +03:00
Леонид Юрьев (Leonid Yuriev)
6ed4dcb4ea mdbx: добавление отладочных сообщений при возврате ошибок из API. 2024-12-16 13:31:07 +03:00
Леонид Юрьев (Leonid Yuriev)
526ed28de1 mdbx: добавление mdbx_cursor_count_ex() в API. 2024-12-16 11:54:24 +03:00
Леонид Юрьев (Leonid Yuriev)
90b187c3ba mdbx: добавление проверок в inner_hollow(). 2024-12-16 11:30:10 +03:00
Леонид Юрьев (Leonid Yuriev)
a845522db7 mdbx: исправление регресса состояния dupsort-курсора после cursor_put(APPEND).
При добавлении нового ключа в append-режиме, в случае когда в текущей
(последней) позиции с ключом связаны несколько значений и
(соответственно) вложенный dupsort-курсор инициализирован, вставка
происходила без сброса вложенного курсора.

В результате вложенный курсор логически оставался стоять на
multivalue-данных связанных с предыдущей позицией основного курсора,
т.е. переходил в неконсистентное состояние.

Ошибка проявлялась возвратом неверных значений из mdbx_cursor_count()
или срабатывание assert-проверки в отладочных сборках.
2024-12-15 22:17:12 +03:00
Леонид Юрьев (Leonid Yuriev)
c66dac50c3 mdbx: доработка osal_bootid() для LXC.
Из LXC-контейнера не доступен файл хостовой системы "/proc/sys/kernel/random/boot_id".
Вместо него, при каждом старте контейнера, создается и заполняется
случайными данными собственный boot_id смонтированный через bind из tmpfs.
https://github.com/lxc/lxc/issues/3027

Поэтому полноценный контроль по boot_id не возможен, так как при
рестарте LXC-контейнера (но не хоста) boot_id будет меняться, хотя
данные в unified page cache сохраняются.

Таким образом, при рестарте LXC-контейнера, libmdbx будет производить
откат БД до крайней точки устойчивой фиксации, что может приводить к
утрате данных пользователя в случаях когда они могли быть сохранены.
Однако, улучшить ситуацию пока не представляется возможным, как минимум
до доступности boot_id хостовой системы изнутри LXC-контейнера.

Этот коммит частично улучшает ситуацию тем, что позволяет использовать
фейковый/замещенный boot_id размещенный в файловой системе с типом tmpfs
при работе внутри LXC-контейнера.
2024-12-13 22:30:40 +03:00
Леонид Юрьев (Leonid Yuriev)
ccdb6255e9 mdbx: возврат MDBX_EINVAL при попытке запустить вложенную читающую транзакцию. 2024-12-13 08:26:55 +03:00
Леонид Юрьев (Leonid Yuriev)
8867c2ddc2 mdbx: новые настройки clang-format (косметика). 2024-12-11 21:22:04 +03:00
Леонид Юрьев (Leonid Yuriev)
1566a0006c mdbx: исправление регресса в mdbx_env_stat_ex(). 2024-12-07 19:04:27 +03:00
Леонид Юрьев (Leonid Yuriev)
9481c0e5c4 mdbx: опечатки/орфография. 2024-12-06 23:56:13 +03:00
Леонид Юрьев (Leonid Yuriev)
44865dadc7 mdbx: переименование и доработка опций сборки. 2024-12-03 00:23:37 +03:00
Леонид Юрьев (Leonid Yuriev)
35177611d2 mdbx: исправление сборки при MDBX_ENABLE_DBI_SPARSE=OFF. 2024-12-03 00:11:28 +03:00
Леонид Юрьев (Leonid Yuriev)
acb3cb0290 mdbx: исправление сборки при включении профилирования GC (опция MDBX_ENABLE_PROFGC). 2024-12-02 17:40:07 +03:00
Леонид Юрьев (Leonid Yuriev)
ad0b374eb5 mdbx: добавление MDBX_MAYBE_UNUSED для log_if_error(). 2024-11-28 00:05:36 +03:00
Леонид Юрьев (Leonid Yuriev)
76c9b42e86 mdbx: исправление GET_MULTIPLE для специальных случаев и/или одного значения. 2024-11-27 18:28:39 +03:00
Леонид Юрьев (Leonid Yuriev)
81a8127084 mdbx: устранение "may be used uninitialized" предупреждений в LTO-сбрках из-за усложнения SSA/CTF вследствие добавления LOG_IFERR(). 2024-11-27 18:28:39 +03:00
Леонид Юрьев (Leonid Yuriev)
28bd805ed8 mdbx: возможность логирования ошибок возвращаемых из API (return LOG_IFERR).
Возможность полезная, но пожалуй еще нуждается в доработке и/или
до-осмыслении. Основное неудобство в нестыковке с основным логированием.

С одной стороны, сообщение об ошибках следует выводить с
уровнем/severity MDBX_LOG_ERROR. Однако, это замусоривает и ломает
тесты.

Поэтому сейчас при возвращении ошибок из API сообщения логируются
MDBX_LOG_ERROR, но производится это только при включении уровня
логирования MDBX_LOG_DEBUG или более детальном.
2024-11-27 12:08:32 +03:00
Леонид Юрьев (Leonid Yuriev)
9daff17c82 mdbx: поддержка Semantic Versioning.
Было `MAJOR.MINOR.RELEASE.REVISION`
Теперь `MAJOR.MINOR.PATCH[.TWEAK][-PRERELEASE][+BUILDMETADATA]`

https://semver.org/

 - вместо квартета `MAJOR.MINOR.RELEASE.REVISION`
   триплет c опцинальным четвертым членом `MAJOR.MINOR.PATCH[.TWEAK]`

 - `TWEAK` не входит в тег git, а формируется автоматически и
   соответствует кол-ву коммитов после тега git и опускается если 0.

 - Поле `PRERELEASE` опционально и переносится в версию из тега git.

 - Поле `BUILDMETADATA` опционально, не входит в тег git, а
   добавляется во время сборки если задана опцией `MDBX_BUILD_METADATA`.
2024-11-24 20:46:21 +03:00
Леонид Юрьев (Leonid Yuriev)
2194349644 mdbx: устранение зацикливания обновления GC при фиксации транзакций.
В продолжение 6c56ed97bbd8ca46abac61886a113ba31e5f1291, включая исправление регрессов.
2024-11-22 20:14:45 +03:00
Леонид Юрьев (Leonid Yuriev)
881d4d4207 mdbx-build: добавление build-metadata и опции сборки MDBX_BUILD_METADATA. 2024-11-22 20:14:45 +03:00
Леонид Юрьев (Leonid Yuriev)
2b71df417e mdbx-windows: использование ntdll вместо CRT только при явном отключении C++ API.
Изменение поведения по-умолчанию, но без утраты контроля.

Без изменения:
  Определение опции MDBX_WITHOUT_MSVC_CRT в значение 0 или 1 позволяет явно выбирать между использование ntdll и CRT.
  При этом включение C++ API (MDBX_BUILD_CXX=1) требует использования CRT.

Ранее:
  По-умолчанию, когда не определены опции MDBX_WITHOUT_MSVC_CRT и MDBX_BUILD_CXX, делался выбор в пользу использования ntdll, вместо CRT.

Теперь:
  Функции ntdll будет использоваться вместо CRT только если явно выключена поддержка C++ API (задано MDBX_BUILD_CXX=0).
2024-11-21 19:47:26 +03:00
Леонид Юрьев (Leonid Yuriev)
ddea36c54a mdbx: освобождение памяти сброшенных/прерванных читающих транзакций передаваемых в mdbx_txn_commit().
Исторически в API была слабость/неоднозначность в жизненном цикле читающих транзакций:

 - В простейших сценариях читающие транзакции запускались посредством
   mdbx_txn_begin() и завершались посредством mdbx_txn_abort(), либо mdbx_txn_commit();

 - Для экономии накладных расходов были предусмотрены функции
   mdbx_txn_reset() и mdbx_txn_renew(), которые сбрасывали/прерывали
   читающую транзакцию без её освобождения/разрушения и затем перезапускали её.
   При этом транзакции сброшенные посредством mdbx_txn_reset() должны были
   быть либо перезапущены, либо освобождены посредством mdbx_txn_abort();

 - Заминка возникала при вызове mdbx_txn_commit() для читающих
   транзакций сброшенных/прерванных посредством mdbx_txn_reset().
   В таких ситуациях возвращалась ошибка MDBX_BAD_TXN, а транзакция
   не освобождалась.

Такое поведение вносило лишнюю асимметрию в API и способствовало
появлению ошибок утечки ресурсов, но поддерживалось для совместимости.

Этот коммит изменяет историческое поведение с нарушением совместимости,
но делает API более регулярным и уменьшает вероятность ошибок утечки
ресурсов.

Теперь mdbx_txn_commit() освобождает/разрушает читающие транзакции
сброшенные/прерванные посредством mdbx_txn_reset() возвращая при этом
MDBX_RESULT_TRUE вместо MDBX_SUCCESS, по аналогии обработки фиксации
аварийных пишущих транзакций.
2024-11-17 22:52:07 +03:00
Леонид Юрьев (Leonid Yuriev)
efaa46d7cd mdbx: предотвращение незначащих, но мешающих отладке, ошибок внутри copy2fd(). 2024-11-17 22:52:07 +03:00
Леонид Юрьев (Leonid Yuriev)
92dec0bca9 mdbx: исправление утечки памяти из-за регресса в txn_end() при добавлении парковки транзакций.
Если читающая транзакция была припаркована и затем вытеснена, то при её
завершении ресурсы не освобождались.
2024-11-17 22:52:07 +03:00
Леонид Юрьев (Leonid Yuriev)
f32d3f260f mdbx: безусловное прерывание транзакции при опции MDBX_CP_DISPOSE_TXN. 2024-11-16 11:18:47 +03:00