Eine IP Telefonanlage kann in den unterschiedlichsten Formen aufgebaut sein. Bevorzugt werden hier jedoch Softwarelösungen. Das hat einen ganz einfachen Grund. Die IP Telefonanlagen auf Softwarebasis können wesentlich preiswerter beschafft werden als eine Anlage, die an Hardware gebunden ist. Darüber hinaus bieten sie die Möglichkeit, in Kombination mit speziellen Ports vorhandene analoge oder ISDN Endgeräte auch weiterhin nutzen zu können. Wird die IP Telefonanlage auf einem Server betrieben, stehen intern gleichzeitig noch andere Möglichkeiten der kostenlosen Kommunikation zur Verfügung. Diese virtuelle Telefonanlage verschafft dem Nutzer die Chance, an nur einem einzigen DSL Anschluss ohne großen Aufwand mehrere Nebenstellen gleichzeitig betreiben zu können.
Die einfachste Form der IP Telefonanlage besteht aus einer LAN Verbindung zwischen zwei Rechnern, auf denen eine spezielle Software installiert ist. Über das öffentliche Telefonnetz und die vorhandenen Verbindungen des Internets potenzieren sich die möglichen Kommunikationskanäle für Voice over IP. In der Praxis kommt im privaten Bereich die Kombination aus DSL Anschluss, Splitter und Router zum Einsatz. Der Splitter wird direkt an die TAE Dose der Telekom oder eines anderen geeigneten Anbieters angeschlossen. Mit verschiedenen Filtern werden die Signale der einzelnen Anschlussformen voneinander getrennt und danach an entsprechenden Ausgängen zur Verfügung gestellt. Am problematischsten ist die Signaltrennung im Bereich des Übergangs von DSL auf ISDN. Dort kommt es häufig zu Überlagerungen. Von dort aus werden die Signale entweder an ein NTBA oder an einen DSL Router übergeben.
Der DSL Router stellt dabei das Kernstück der IP Telefonanlage dar. Er ist die Schnittstelle zur Wandlung der Signale und zur Umsetzung der universalen Protokolle, wie sie für den Transport der Daten über das Internet benötigt werden. Gleichzeitig wird er intern zum Netzwerkknoten, denn er stellt in der modernen Form sowohl LAN als auch WLAN Ports zur Verfügung. Gleichzeitig übernimmt der Router auch Serverfunktionen, denn hier können via USB sowohl Drucker als auch Speichermedien angeschlossen werden. Die auf dem Router installierte Software agiert gleichzeitig als virtuelle IP Telefonanlage. Hier kann über die Verteilung der eingehenden Anrufe entschieden werden. Auch ist es möglich, ausgehende Anrufe über die Benutzeroberfläche der sogenannten Firmware zu koordinieren. Als sinnvoll hat es sich erwiesen, beispielsweise abgehende Notrufe über das herkömmliche Festnetz zu realisieren. Das ermöglicht im Ernstfall eine schnellere Lokalisierung des Anrufs. Auch Sonderrufnummern können direkt für die Anwahl über das Festnetz eingestellt werden, weil sie ohnehin nicht in den Rahmen einer ggf. vereinbarten Flatrate fallen.
Der Router stellt bei den modernen Flatrates eine ständige Verbindung zum Internet her. Er ist dadurch de facto mit einer Standleitung vergleichbar. Diese dauerhafte Verbindung wird vom Provider nur einmal täglich kurzzeitig unterbrochen, weil in Deutschland eine Zwangstrennung nach einer gewissen Zeit gesetzlich vorgeschrieben ist. Den Zeitpunkt dieser Unterbrechung kann man bei den meisten Providern selbst bestimmen. Für die Internettelefonie bekommt man von seinem Provider entweder spezielle Rufnummern innerhalb eines geografisch unabhängigen Vorwahlbereiches oder man meldet seine vorhandene Festnetzrufnummer zur Nutzung als Internetrufnummer mit an. Sind diese physischen Verbindungen geschaffen worden, braucht man nur noch eine geeignete Anwendung für den Computer, über die Voice over IP möglich gemacht werden kann.