Testing

​

title: Тестирование description: “Модульные тесты, сквозные тесты и вспомогательные инструменты тестирования” icon: flask-vial

failproofai содержит два набора тестов: модульные тесты (быстрые, с мокированием) и сквозные тесты (реальные вызовы подпроцесса).

---

​

Запуск тестов

# Запустить все модульные тесты один раз
bun run test:run

# Запустить модульные тесты в режиме наблюдения
bun run test

# Запустить E2E тесты (требует настройки - см. ниже)
bun run test:e2e

# Проверка типов без сборки
bunx tsc --noEmit

# Линтинг
bun run lint

---

​

Модульные тесты

Модульные тесты находятся в __tests__/ и используют Vitest с jsdom.

__tests__/
  hooks/
    builtin-policies.test.ts      # Логика политик для каждой встроенной
    hooks-config.test.ts          # Загрузка конфига и слияние областей видимости
    policy-evaluator.test.ts      # Инъекция параметров и порядок оценки
    custom-hooks-registry.test.ts # Добавление/получение/очистка реестра globalThis
    custom-hooks-loader.test.ts   # ESM загрузчик, переходные импорты, обработка ошибок
    manager.test.ts               # Операции установки/удаления/списания
  components/
    sessions-list.test.tsx        # Компонент списка сеансов
    project-list.test.tsx         # Компонент списка проектов
    ...
  lib/
    logger.test.ts
    paths.test.ts
    date-filters.test.ts
    telemetry.test.ts
    ...
  actions/
    get-hooks-config.test.ts
    get-hook-activity.test.ts
    ...
  contexts/
    ThemeContext.test.tsx
    AutoRefreshContext.test.tsx

​

Написание модульного теста политики

import { describe, it, expect, beforeEach } from "vitest";
import { getBuiltinPolicies } from "../../src/hooks/builtin-policies";
import { allow, deny } from "../../src/hooks/policy-types";

describe("block-sudo", () => {
  const policy = getBuiltinPolicies().find((p) => p.name === "block-sudo")!;

  it("denies sudo commands", () => {
    const ctx = {
      eventType: "PreToolUse" as const,
      payload: {},
      toolName: "Bash",
      toolInput: { command: "sudo apt install nodejs" },
      params: { allowPatterns: [] },
    };
    expect(policy.fn(ctx)).toEqual(deny("sudo command blocked by failproofai"));
  });

  it("allows non-sudo commands", () => {
    const ctx = {
      eventType: "PreToolUse" as const,
      payload: {},
      toolName: "Bash",
      toolInput: { command: "ls -la" },
      params: { allowPatterns: [] },
    };
    expect(policy.fn(ctx)).toEqual(allow());
  });

  it("allows patterns in allowPatterns", () => {
    const ctx = {
      eventType: "PreToolUse" as const,
      payload: {},
      toolName: "Bash",
      toolInput: { command: "sudo systemctl status nginx" },
      params: { allowPatterns: ["sudo systemctl status"] },
    };
    expect(policy.fn(ctx)).toEqual(allow());
  });
});

---

​

Сквозные тесты

Сквозные тесты вызывают реальный бинарный файл failproofai как подпроцесс, передают JSON-полезную нагрузку в stdin и проверяют выходные данные stdout и код выхода. Это тестирует полный путь интеграции, который использует Claude Code.

​

Настройка

Сквозные тесты запускают бинарный файл прямо из исходного кода репозитория. Перед первым запуском соберите CJS-пакет, который файлы пользовательских хуков используют при импорте из 'failproofai':

bun build src/index.ts --outdir dist --target node --format cjs

Затем запустите тесты:

bun run test:e2e

Пересоберите dist/ всякий раз, когда вы изменяете публичный API хука (src/hooks/custom-hooks-registry.ts, src/hooks/policy-helpers.ts или src/hooks/policy-types.ts).

​

Структура сквозного теста

__tests__/e2e/
  helpers/
    hook-runner.ts      # Запуск бинарного файла, передача JSON-полезной нагрузки, перехват кода выхода + stdout + stderr
    fixture-env.ts      # Изолированные для каждого теста временные директории с файлами конфигурации
    payloads.ts         # Заводы полезных нагрузок, точные для Claude, для каждого типа события
  hooks/
    builtin-policies.e2e.test.ts   # Каждая встроенная политика с реальным подпроцессом
    custom-hooks.e2e.test.ts       # Загрузка и оценка пользовательских хуков
    config-scopes.e2e.test.ts      # Слияние конфигов между проектом/локальным/глобальным
    policy-params.e2e.test.ts      # Инъекция параметров для каждой параметризованной политики

​

Использование вспомогательных инструментов E2E

FixtureEnv - изолированная среда для каждого теста:

import { createFixtureEnv } from "../helpers/fixture-env";

const env = createFixtureEnv();
// env.cwd    - временная директория; передайте как payload.cwd чтобы подхватить .failproofai/policies-config.json
// env.home   - изолированная домашняя директория; никаких утечек реального ~/.failproofai

env.writeConfig({
  enabledPolicies: ["block-sudo"],
  policyParams: {
    "block-sudo": { allowPatterns: ["sudo systemctl status"] },
  },
});

createFixtureEnv() автоматически регистрирует очистку afterEach.

runHook - вызвать бинарный файл:

import { runHook } from "../helpers/hook-runner";
import { Payloads } from "../helpers/payloads";

const result = await runHook(
  "PreToolUse",
  Payloads.preToolUse.bash("sudo apt install nodejs", env.cwd),
  { homeDir: env.home }
);

expect(result.exitCode).toBe(0);
expect(result.parsed?.hookSpecificOutput?.permissionDecision).toBe("deny");

Payloads - готовые заводы полезных нагрузок:

Payloads.preToolUse.bash(command, cwd)
Payloads.preToolUse.write(filePath, content, cwd)
Payloads.preToolUse.read(filePath, cwd)
Payloads.postToolUse.bash(command, output, cwd)
Payloads.postToolUse.read(filePath, content, cwd)
Payloads.notification(message, cwd)
Payloads.stop(cwd)

​

Написание сквозного теста

import { describe, it, expect } from "vitest";
import { createFixtureEnv } from "../helpers/fixture-env";
import { runHook } from "../helpers/hook-runner";
import { Payloads } from "../helpers/payloads";

describe("block-rm-rf (E2E)", () => {
  it("denies rm -rf", async () => {
    const env = createFixtureEnv();
    env.writeConfig({ enabledPolicies: ["block-rm-rf"] });

    const result = await runHook(
      "PreToolUse",
      Payloads.preToolUse.bash("rm -rf /", env.cwd),
      { homeDir: env.home }
    );

    expect(result.exitCode).toBe(0);
    expect(result.parsed?.hookSpecificOutput?.permissionDecision).toBe("deny");
  });

  it("allows non-recursive rm", async () => {
    const env = createFixtureEnv();
    env.writeConfig({ enabledPolicies: ["block-rm-rf"] });

    const result = await runHook(
      "PreToolUse",
      Payloads.preToolUse.bash("rm /tmp/file.txt", env.cwd),
      { homeDir: env.home }
    );

    expect(result.exitCode).toBe(0);
    expect(result.stdout).toBe("");  // allow → empty stdout
  });
});

​

Форматы ответов E2E

Решение	Код выхода	stdout
PreToolUse deny	0	{"hookSpecificOutput":{"permissionDecision":"deny","permissionDecisionReason":"..."}}
PostToolUse deny	0	{"hookSpecificOutput":{"additionalContext":"Blocked ... because: ..."}}
Instruct (не-Stop)	0	{"hookSpecificOutput":{"additionalContext":"Instruction from failproofai: ..."}}
Stop instruct	2	пусто stdout; причина в stderr
Allow	0	пустая строка

​

Конфигурация Vitest

Сквозные тесты используют vitest.config.e2e.mts с:

• environment: "node" - браузерные глобальные переменные не требуются
• pool: "forks" - истинная изоляция процессов (тесты запускают подпроцессы)
• testTimeout: 20_000 - 20s на тест (запуск бинарного файла + оценка хука)

Пул forks важен: рабочие процессы на основе потоков делят globalThis, что может мешать тестам, запускающим подпроцессы. Форки на основе процессов избегают этого.

---

​

CI

Полный запуск CI (bun run lint && bunx tsc --noEmit && bun run test:run && bun run build) должен пройти успешно перед объединением. Набор E2E тестов работает как отдельная задача CI параллельно.

См. Contributing для полного списка проверок перед объединением.