Einmal abgesehen von den hardwareseitigen Voraussetzungen, die bereits über die zu nutzenden Netzwerke zur Verfügung gestellt werden, benötigt man für die Nutzung von Voice over IP zusätzliche Hardware vor Ort, die immer in Abhängigkeit von der Art der geplanten Nutzung zusammen gestellt werden muss. Im einfachsten Fall ist das ein Computer mit Internetzugang, der die Sprachein- und Ausgabe entweder über integrierte Lautsprecher und ein Mikrofon ermöglich oder an den ein Headset angeschlossen ist. Darauf sollten spezielle Anwendungen installiert sein, über die man Voice over IP abwickeln kann. Als günstigste Lösung erweisen sich hier immer wieder die zum jeweiligen Betriebssystem zur Verfügung stehenden Messangerdienste, die in neueren Versionen auch in Office Anwendungen eingebunden werden können. Alternativ dazu können auch spezielle Voice over IP Telefone, kurz auch IP Telefon genannt, verwendet werden.
Möchte man von Computern in kleineren Netzwerken Voice over IP nutzen, kann man das über interne und externe Modems, eine ISDN Karte oder aber den Anschluss an einen DSL Router bewerkstelligen. Letztere Variante hat klare Vorteile, die nicht nur darin liegen, dass DSL die derzeit schnellsten Datenverbindungen zum Internet herstellen kann. Die Router bieten verschiedene Anschlussmöglichkeiten. So kann sich der Computer über LAN Verbindungen, via USB oder mit Funktechnologie dort anmelden. Außerdem kann man hier parallel auch analoge Telefone für Voice over IP nutzen, weil der Router dafür sorgt, dass die ankommenden und ausgehenden Gespräche entsprechend koordiniert werden. Mit einer Tastenkombination ist es hier sogar möglich, einzelne Gespräche über das klassische Festnetz führen zu können, wenn man die Standardeinstellung IP Telefonie dauerhaft ausgewählt hat.
Anders zeigt sich der Hardwarebedarf bei Voice over IP bei größeren Netzwerken, bei denen die IP Telefonie sowohl innerhalb des lokalen Netzwerkes als auch über das Internet ermöglicht werden soll. Dort kommt man um die Installation eines Servers meistens nicht herum. Dabei übernimmt der Server gleichzeitig die Aufgaben der Telefonanlage. Das ist mit spezieller Software möglich. Der Fachmann spricht dann von einer Software Telefonanlage. Der Server als Knoten zwischen dem internen Netz und dem Internet hat klare Vorteile, denn über ihn können zusätzliche Funktionen zur Verfügung gestellt werden. Das beginnt bei interaktiven Sprachmenüs für eine Zuordnung eingehender Anrufe zu bestimmten Gruppen oder einzelnen Mitarbeitern und hört beim Dialing System noch nicht auf.
Der interne Anschluss der Rechner an den Server kann ebenfalls entweder durch Kabel oder schnurlos mit WLAN oder Bluetooth erfolgen. Dabei stehen unterschiedliche Möglichkeiten der Anmeldung der einzelnen Clients zur Verfügung. Möchte man hier eine ganz sichere Variante, sollte man zur gegenseitigen zertifizierten Anmeldung greifen. Diese Art der Koppelung der Hardware bietet darüber hinaus den Vorteil, dass neben der Voice over IP Telefonie noch andere Daten schnell und einfach ausgetauscht werden können. Außerdem sollte man diese Hardwarekombination mit einer softwaregesteuerten TAPI Schnittstelle versehen. Sie stellt sicher, dass die zu verteilenden Datenpakete immer gleich bis in die Anwendung durchgestellt werden, in der sie gerade benötigt werden. Das kann entweder über Ports oder softwaregesteuertes Routing geschehen. Die Voice over IP Hardware mit zentralem Server findet sich häufig in den Kundendienstbereichen und bevorzugt auch in den großen Callcentern, weil sie nicht nur Kosten spart, sondern auch die tägliche Arbeit erleichtert.