Создание базы знаний экспертной системы осуществляется инженером по знаниям, который выполняет большой объем работы по переводу знаний эксперта на язык ИИ. В этом процессе могут привлекаться и использоваться как явные (эксплицитные), так и неявные (имплицитные) знания эксперта. Явные знания отделены от их носителя и, как правило, представлены в виде описаний, текстов, образцов и т. п. Неявные знания принадлежат их носителю и могут быть переданы только им лично в ситуации, когда их осознание, формулировка или демонстрации возможны. Работа с неявными знаниями представляет большую сложность с точки зрения их извлечения. В результате производительность извлечения знаний может быть очень низкой (несколько правил или описаний объектов в день).

Работа по извлечению знаний проходит в несколько этапов:

1. Определение проблемной области, в которой будет использоваться ЭС, а также необходимых данных и критериев оценки качества ее работы.
2. Разработка концепции представления знаний. Концепция должна описывать структуру знаний и данных, максимально релевантных для проблемной области с точки зрения структурных и причинных связей.
3. Формализация или перевод концепции на язык формальной обработки знаний – пространство состояний и построение путей поиска решений внутри него, а также накладываемые логические и структурные ограничения на достоверность формального вывода.
4. Реализация – то есть прописывание структуры правил и программное воплощение экспертной системы на соответствующем языке программирования, включая методы обращения к данным и деление системы на модули.
5. Тестирование является проверкой работы системы на значительном объеме данных и задач из проблемной области, а также выявлением ошибок и их устранением.