Инкрементальный парсер tree-sitter

Инкрементальный парсер tree-sitter.

1 Общая информация

• Репозиторий: https://github.com/tree-sitter/tree-sitter.
• Сайт: https://tree-sitter.github.io/tree-sitter/
• Инструмент для создания парсеров и библиотека инкрементального парсинга.
• Может построить синтаксическое дерево для исходного файла и эффективно обновлять синтаксическое дерево при изменении исходного файла.
• Поддерживает множество языков программирования.

2 Как работает Tree-sitter

• использует алгоритм обобщённого LR-парсинга (GLR), который позволяет работать с неоднозначностями в синтаксисе;
• поддерживает инкрементальный парсинг, при изменении кода обрабатывает только изменённую часть, а не весь файл целиком;
• строит конкретное синтаксическое дерево (CST), которое сохраняет информацию о расположении каждого токена в документе;
• позволяет выполнять запросы к синтаксическому дереву для поиска определённых структурных паттернов.

3 Tree-sitter нацелен быть

• Достаточно общим, чтобы парсить любой язык программирования.
• Достаточно быстрым, чтобы парсить на каждое нажатие клавиши в текстовом редакторе.
• Достаточно надёжным, чтобы выдавать пригодные результаты даже при наличии синтаксических ошибок.
• Не иметь зависимостей, чтобы библиотека (написанная на чистом C) могла быть встроена в любое приложение.

4 Использование Tree-sitter

• Подсветка синтаксиса

  • Tree-sitter широко используется в текстовых редакторах (например, Visual Studio Code, Atom) для более качественной подсветки синтаксиса по сравнению с методами на основе регулярных выражений.

• Свёртка кода

  • Зная синтаксическую структуру кода, текстовый редактор может сворачивать блоки кода независимо от величины отступов.

• Расширение выделения

  • Знание синтаксической структуры позволяет расширять выделение кода, что полезно при работе с блоками кода.

• Обработка ошибок

  • Tree-sitter устойчив к синтаксическим ошибкам и может выделять только ошибочные участки кода, а не окрашивать всё красным.

• Создание пользовательских линтеров и анализаторов

  • С помощью Tree-sitter можно писать инструменты для анализа кода, специфичные для конкретной кодовой базы или языка программирования.

• Генерация документации

  • Tree-sitter может анализировать сигнатуры функций, комментарии и структуру кода для автоматической генерации документации.

• Разработка функций IDE

  • При создании собственной интегрированной среды разработки (IDE) или плагина Tree-sitter помогает реализовать такие функции, как контекстно-зависимое автодополнение, обнаружение ошибок и встроенная документация.

• Парсинг неязыковых форматов

  • Помимо языков программирования, Tree-sitter можно адаптировать для парсинга других структурированных текстовых форматов, таких как JSON, Markdown или доменно-специфических языков (DSL).

• Поиск по коду, diff и другие проекты

  • Tree-sitter находит применение в различных инструментах для работы с кодом, например, для поиска по коду или сравнения изменений (diff).