file_provider.py 9.2 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333
  1. # -*- coding: utf-8 -*-
  2. """
  3. Datei-basierter Secrets-Provider.
  4. Lädt Secrets aus JSON/YAML-Dateien mit optionaler Verschlüsselung.
  5. """
  6. from __future__ import annotations
  7. import json
  8. from pathlib import Path
  9. from typing import Any, TypeVar
  10. from trixy_core.config.secrets.provider import SecretsProvider, SecretValue
  11. T = TypeVar("T")
  12. class FileSecretsProvider(SecretsProvider):
  13. """
  14. Provider für Secrets aus Dateien.
  15. Unterstützt JSON und YAML Formate.
  16. Kann Secrets aus mehreren Dateien laden.
  17. Example:
  18. provider = FileSecretsProvider("secrets.json")
  19. # Aus mehreren Dateien
  20. provider = FileSecretsProvider([
  21. "secrets/base.json",
  22. "secrets/production.json"
  23. ])
  24. password = provider.get("database.password")
  25. """
  26. def __init__(
  27. self,
  28. paths: str | Path | list[str | Path],
  29. watch: bool = False,
  30. nested_separator: str = ".",
  31. file_format: str | None = None,
  32. ) -> None:
  33. """
  34. Initialisiert den File-Provider.
  35. Args:
  36. paths: Pfad(e) zu Secret-Dateien.
  37. watch: Ob Dateien auf Änderungen überwacht werden.
  38. nested_separator: Trennzeichen für verschachtelte Pfade.
  39. file_format: Format ('json', 'yaml', oder None für Auto-Detect).
  40. """
  41. super().__init__("FileSecretsProvider")
  42. if isinstance(paths, (str, Path)):
  43. paths = [paths]
  44. self._paths = [Path(p) for p in paths]
  45. self._watch = watch
  46. self._nested_separator = nested_separator
  47. self._file_format = file_format
  48. self._secrets: dict[str, Any] = {}
  49. self._file_mtimes: dict[Path, float] = {}
  50. self._load_all()
  51. def _detect_format(self, path: Path) -> str:
  52. """Erkennt das Dateiformat anhand der Endung."""
  53. suffix = path.suffix.lower()
  54. if suffix in [".yaml", ".yml"]:
  55. return "yaml"
  56. return "json"
  57. def _load_file(self, path: Path) -> dict[str, Any]:
  58. """Lädt eine einzelne Datei."""
  59. if not path.exists():
  60. return {}
  61. file_format = self._file_format or self._detect_format(path)
  62. with open(path, "r", encoding="utf-8") as f:
  63. if file_format == "yaml":
  64. try:
  65. import yaml
  66. return yaml.safe_load(f) or {}
  67. except ImportError:
  68. raise ImportError(
  69. "PyYAML ist erforderlich für YAML-Dateien"
  70. )
  71. else:
  72. return json.load(f)
  73. def _load_all(self) -> None:
  74. """Lädt alle konfigurierten Dateien."""
  75. self._secrets.clear()
  76. for path in self._paths:
  77. if path.exists():
  78. data = self._load_file(path)
  79. self._deep_merge(self._secrets, data)
  80. self._file_mtimes[path] = path.stat().st_mtime
  81. def _deep_merge(self, base: dict, override: dict) -> None:
  82. """Führt zwei Dictionaries tief zusammen."""
  83. for key, value in override.items():
  84. if key in base and isinstance(base[key], dict) and isinstance(value, dict):
  85. self._deep_merge(base[key], value)
  86. else:
  87. base[key] = value
  88. def _get_nested(self, data: dict, path: str) -> Any:
  89. """Holt einen verschachtelten Wert."""
  90. keys = path.split(self._nested_separator)
  91. current = data
  92. for key in keys:
  93. if isinstance(current, dict) and key in current:
  94. current = current[key]
  95. else:
  96. return None
  97. return current
  98. def _set_nested(self, data: dict, path: str, value: Any) -> None:
  99. """Setzt einen verschachtelten Wert."""
  100. keys = path.split(self._nested_separator)
  101. current = data
  102. for key in keys[:-1]:
  103. if key not in current:
  104. current[key] = {}
  105. current = current[key]
  106. current[keys[-1]] = value
  107. def _flatten(
  108. self,
  109. data: dict,
  110. prefix: str = "",
  111. ) -> dict[str, Any]:
  112. """Flacht ein verschachteltes Dictionary ab."""
  113. result: dict[str, Any] = {}
  114. for key, value in data.items():
  115. full_key = f"{prefix}{self._nested_separator}{key}" if prefix else key
  116. if isinstance(value, dict):
  117. result.update(self._flatten(value, full_key))
  118. else:
  119. result[full_key] = value
  120. return result
  121. def _check_reload(self) -> bool:
  122. """Prüft, ob Dateien neu geladen werden müssen."""
  123. if not self._watch:
  124. return False
  125. for path in self._paths:
  126. if path.exists():
  127. mtime = path.stat().st_mtime
  128. if path not in self._file_mtimes or mtime > self._file_mtimes[path]:
  129. return True
  130. return False
  131. def get(self, key: str, default: T | None = None) -> T | None:
  132. """
  133. Holt einen Secret-Wert.
  134. Args:
  135. key: Schlüssel (z.B. 'database.password').
  136. default: Standardwert.
  137. Returns:
  138. Secret-Wert oder Default.
  139. """
  140. if self._check_reload():
  141. self._load_all()
  142. value = self._get_nested(self._secrets, key)
  143. return value if value is not None else default
  144. def get_secret(self, key: str) -> SecretValue | None:
  145. """
  146. Holt ein Secret mit Metadaten.
  147. Args:
  148. key: Schlüssel.
  149. Returns:
  150. SecretValue oder None.
  151. """
  152. value = self.get(key)
  153. if value is None:
  154. return None
  155. # Quelle ermitteln
  156. source_files = [str(p) for p in self._paths if p.exists()]
  157. return SecretValue(
  158. key=key,
  159. value=value,
  160. source=", ".join(source_files),
  161. metadata={"paths": source_files},
  162. )
  163. def exists(self, key: str) -> bool:
  164. """Prüft, ob ein Secret existiert."""
  165. return self.get(key) is not None
  166. def list_keys(self) -> list[str]:
  167. """Listet alle Secret-Schlüssel (flach)."""
  168. if self._check_reload():
  169. self._load_all()
  170. return sorted(self._flatten(self._secrets).keys())
  171. def set(self, key: str, value: Any) -> bool:
  172. """
  173. Setzt einen Secret-Wert.
  174. Speichert in der ersten konfigurierten Datei.
  175. Args:
  176. key: Schlüssel.
  177. value: Wert.
  178. Returns:
  179. True wenn erfolgreich.
  180. """
  181. self._set_nested(self._secrets, key, value)
  182. # In erste Datei speichern
  183. if self._paths:
  184. primary_path = self._paths[0]
  185. # Existierende Datei laden und aktualisieren
  186. if primary_path.exists():
  187. file_data = self._load_file(primary_path)
  188. else:
  189. file_data = {}
  190. self._set_nested(file_data, key, value)
  191. self._save_file(primary_path, file_data)
  192. return True
  193. def delete(self, key: str) -> bool:
  194. """
  195. Löscht ein Secret.
  196. Args:
  197. key: Schlüssel.
  198. Returns:
  199. True wenn vorhanden.
  200. """
  201. keys = key.split(self._nested_separator)
  202. current = self._secrets
  203. for k in keys[:-1]:
  204. if isinstance(current, dict) and k in current:
  205. current = current[k]
  206. else:
  207. return False
  208. if keys[-1] in current:
  209. del current[keys[-1]]
  210. # In Datei speichern
  211. if self._paths:
  212. primary_path = self._paths[0]
  213. if primary_path.exists():
  214. file_data = self._load_file(primary_path)
  215. # Schlüssel auch aus Datei entfernen
  216. try:
  217. file_current = file_data
  218. for k in keys[:-1]:
  219. file_current = file_current[k]
  220. if keys[-1] in file_current:
  221. del file_current[keys[-1]]
  222. self._save_file(primary_path, file_data)
  223. except (KeyError, TypeError):
  224. pass
  225. return True
  226. return False
  227. def _save_file(self, path: Path, data: dict) -> None:
  228. """Speichert Daten in eine Datei."""
  229. path.parent.mkdir(parents=True, exist_ok=True)
  230. file_format = self._file_format or self._detect_format(path)
  231. with open(path, "w", encoding="utf-8") as f:
  232. if file_format == "yaml":
  233. import yaml
  234. yaml.dump(data, f, default_flow_style=False)
  235. else:
  236. json.dump(data, f, indent=2)
  237. def reload(self) -> None:
  238. """Lädt alle Dateien neu."""
  239. self._load_all()
  240. def get_all(self) -> dict[str, Any]:
  241. """
  242. Gibt alle Secrets als Dictionary zurück.
  243. Returns:
  244. Flaches Dictionary mit allen Secrets.
  245. """
  246. if self._check_reload():
  247. self._load_all()
  248. return self._flatten(self._secrets)
  249. def get_raw(self) -> dict[str, Any]:
  250. """
  251. Gibt die rohe Secrets-Struktur zurück.
  252. Returns:
  253. Verschachteltes Dictionary.
  254. """
  255. if self._check_reload():
  256. self._load_all()
  257. return dict(self._secrets)